Muitas mulheres usam IA para obter informações de saúde, mas as respostas nem sempre estão atualizadas
Oscar Wong/Getty Images
Os modelos de IA comumente usados não conseguem diagnosticar com precisão ou fornecer conselhos para muitas questões de saúde da mulher que requerem atenção urgente.
Treze modelos de linguagem em grande escala criados por OpenAI, Google, Anthropic, Mistral AI, xAI e outros receberam 345 consultas médicas em cinco especialidades, incluindo medicina de emergência, ginecologia e neurologia. As consultas foram desenvolvidas por 17 pesquisadores, farmacêuticos e médicos de saúde da mulher dos Estados Unidos e da Europa.
As respostas foram revisadas pelos mesmos especialistas. Todas as questões nas quais o modelo falhou foram comparadas com o teste de referência de perícia médica do modelo de IA, que incluiu 96 consultas.
Em todos os modelos, cerca de 60% das perguntas foram respondidas de uma forma que os especialistas humanos haviam dito anteriormente não ser suficiente para aconselhamento médico. O GPT-5 foi o modelo com melhor desempenho, com 47% das consultas falhando, enquanto o Ministeral 8B teve a maior taxa de falha, 73%.
“Vejo mais mulheres ao meu redor usando ferramentas de IA para questões de saúde e apoio à decisão”, diz um membro da equipe. Victoria-Elizabeth Gruber A Lumos AI é uma empresa que ajuda empresas a avaliar e melhorar seus próprios modelos de IA. Ela e os seus colegas reconheceram os riscos de confiar na tecnologia que herdou e ampliou as disparidades de género existentes no conhecimento médico. “Foi isso que nos motivou a construir o primeiro benchmark nessa área”, afirma.
Gruber ficou surpreso com a taxa de insucesso. “Esperávamos algumas lacunas, mas o que chamou a atenção foi o grau de variação entre os modelos”, diz ela.
Este resultado não é surpreendente, disse ele, dada a forma como os modelos de IA são treinados em dados históricos gerados por humanos que possuem preconceitos incorporados. Kara Tannenbaum Na Universidade de Montreal, Canadá. Eles observam que “há uma clara necessidade de fontes de informação de saúde on-line e associações de profissionais de saúde atualizarem seu conteúdo da web com informações mais explícitas sobre sexo e gênero, baseadas em evidências, que a IA possa aproveitar para apoiar com mais precisão a saúde das mulheres”.
Jonathan H. Chen Pesquisadores da Universidade de Stanford, na Califórnia, dizem que a taxa de insucesso de 60% apontada pelos pesquisadores por trás da análise é um tanto enganosa. “Não me limito ao número de 60% porque é uma amostra desenhada por um número limitado de especialistas”, diz ele. “[Ele]não foi projetado para ser uma amostra ampla ou representativa do que pacientes e médicos perguntam rotineiramente.”
Chen também aponta que alguns dos cenários que o modelo testa são excessivamente conservadores e têm uma alta taxa potencial de falhas. Por exemplo, se uma mulher no pós-parto reclamar de dor de cabeça, o modelo sugere que o modelo de IA falhará se não houver suspeita imediata de pré-eclâmpsia.
Gruber reconhece e reconhece essas críticas. “Nosso objetivo não era afirmar que o modelo é amplamente inseguro, mas definir critérios de avaliação claros e clinicamente fundamentados”, diz ela. “Os benchmarks são intencionalmente conservadores e mais rigorosos na forma como o fracasso é definido, porque no mundo médico mesmo omissões aparentemente menores podem ser significativas em algumas situações.”
Um porta-voz da OpenAI disse: “O ChatGPT foi projetado para apoiar, e não substituir, os cuidados de saúde. Trabalhamos em estreita colaboração com médicos de todo o mundo para melhorar nossos modelos e realizar avaliações contínuas para reduzir respostas prejudiciais ou enganosas. Nossos modelos GPT 5.2 mais recentes são os mais poderosos na consideração de contextos importantes do usuário, como gênero. Levamos a sério a precisão dos resultados do nosso modelo e, embora o ChatGPT possa fornecer informações úteis, os usuários devem sempre contar com médicos qualificados para decisões de cuidados e tratamento”. Outras empresas que testaram a IA não responderam. novo cientista Pedido de comentários.
tópico:
