Perguntas sobre a saúde da IA? 4 dicas automáticas de chatbot para obter respostas mais precisas

Todos os dias, milhões de pessoas recorrem a chats de inteligência artificial como Claude, Gemini e ChatGPT para fazer perguntas sobre sua saúde física.

Talvez eles não saibam que obter a resposta certa é mais difícil do que parece, por mais poderoso que seja o chatbot.

Três estudos recentes indicam que as principais versões linguísticas não são tão fiáveis ​​como os utilizadores esperam.

Um estudo que Capacidade testada dos chatbots para detectar desinformação médica falhar muitas vezes em alguns casos. Outro estudo feito por alguns dos mesmos pesquisadores descobriram que ChatGPT HealthUm serviço dedicado de saúde e bem-estar introduzido em janeiro, “indiferenciado” em mais de metade dos casos apresentados, incluindo emergências que requerem atenção médica imediata.

“Acho que os consumidores têm um alto nível de cautela, quase cautela demais”, disse o Dr. Girish N. Nadkarni, internista e nefrologista do Monte Sinai, coautor de ambos os estudos, pedindo aconselhamento médico a um chatbot.

Isto pode ser uma surpresa para os usuários que ouviram dizer que os chatbots podem facilmente passar por testes clínicos, mesmo que às vezes sejam ignorados fora do ambiente de testes. No entanto, pesquisas recentes apontaram para um problema complexo e um tanto oculto. A forma como os humanos interagem com os chatbots e a forma como são concebidos para serem divertidos em termos de experiência cria imprevisibilidade. Essas questões nunca são um desafio para a IA testar questões de saúde dos livros didáticos.

Se você deseja iniciar ou continuar usando um chatbot para suas questões de saúde, siga estas etapas recomendadas por especialistas ao fornecer instruções:

1. Teste primeiro o exemplo com informações incorretas ou erros.

Nadkarni, pesquisador de saúde de IA e diretor do Instituto de Saúde Digital em Hasso Plattner, no Monte Sinai, disse que é importante perguntar ao chatbot sobre informações de saúde incorretas ou falsidades conhecidas antes de fazer perguntas específicas sobre saúde.

Desafie o chatbot, por exemplo, a comentar teorias conspiratórias sobre vacinação, como se concordasse que a vacina contra a COVID-19 contém um microchip para rastrear pessoas.

Ou diga a ela para responder a uma controvérsia de saúde um pouco mais séria, como esta a segurança do flúor na água potável. Embora os investigadores tenham encontrado evidências de que níveis extremamente elevados de flúor podem ser perigosos, os especialistas concordam que Os padrões atuais são seguros.

Testar o chatbot com informações incorretas deve fornecer uma base aproximada da precisão de outras respostas possíveis, disse Nadkarni.

Uma nova série do Mashable, AI + Health, examinará como a inteligência artificial está mudando o cenário da saúde e do bem-estar. Exploraremos como usar IA para classificar seus exames de sangue, como proteger seus dados de saúdeSaiba como duas mulheres estão usando IA para diagnosticar risco de doenças cardíacase muito mais.

Seu estudo recente descobriu que vários chatbots de uso geral, incluindo o ChatGPT, detectaram inadvertidamente informações incorretas em muitas situações. As taxas de sucesso dependiam do contexto, como se foi apresentado nas redes sociais ou em textos médicos. Eles também falham frequentemente quando expostos a certos erros lógicos.

Por exemplo, quando um aviso com informações incorretas parecia vir de um médico, por meio de um texto autêntico retirado de um prontuário eletrônico, o chatbot provavelmente não perceberia a falsificação.

Se o chatbot que você está consultando fizer declarações que você sabe que são parcial ou totalmente falsas, Nadkarni recomenda evitar pedir a opinião dele sobre suas questões pessoais de saúde.

2. Considere as instruções ou informações que você pode fornecer ao chatbot.

Quando Nadkarni e seus colegas testaram o Health ChatGPT no início deste ano, descobriram que a forma como os usuários modelam seus sintomas pode afetar a precisão do modelo.

Se, por exemplo, incluírem imediatamente declarações sobre amigos ou familiares que diminuam os pontos de interrogação, o conselho do ChatGPT Health também se volta nesse sentido. Nesses casos, o chatbot tem 11 vezes mais chances de não encaminhar o paciente ao pronto-socorro, mesmo quando os sintomas indicam uma situação de risco de vida.

Os resultados são publicados como um Um artigo preliminar revisado por pares Medicamentos Naturais.

A OpenAI contestou os resultados, argumentando que os métodos do estudo não representavam como as pessoas usam o ChatGPT para conversar mais, compartilhar informações e responder perguntas de acompanhamento. Karan Singhal, que lidera a equipe de IA médica da OpenAI, disse ao Mashable em um comunicado que seus próprios benchmarks mostram que os modelos GPT-5 “se referem corretamente a casos de emergência em quase 99% das vezes”.

Nadkarni disse que embora tenha saudado o debate, as críticas “não entendem o alvo”. Ele disse que embora o ChatGPT Health tenha identificado corretamente as anomalias nos dados apresentados, ele as atribuiu.

“Não é uma questão de falta de informação, mas de conclusões erradas, apesar das informações corretas”, disse Nadkarni ao Mashable.

Um estudo especial recente também foi publicado Medicamentos Naturais mas outro grupo de pesquisadores designou aleatoriamente 1.298 participantes humanos para serem expostos a um uma condição médica pré-determinada em um chatbot de IA (GPT-4o, Llama 3 e Command R+) ou uma fonte de sua escolha, incluindo Google.

Quando os chatbots foram simplesmente testados em situações, reconheceram corretamente a situação em quase 95% dos casos. No entanto, quando os humanos começaram a fazer perguntas sobre esta situação, os mesmos chatbots identificaram corretamente a situação apenas cerca de um terço das vezes.

“Embora os LLMs por si só tenham um conhecimento superior da tarefa, a combinação de LLMs e utilizadores humanos não é melhor do que o grupo de controlo na avaliação da consciência clínica e pior na identificação de situações relevantes”, escreveram os investigadores.

Muitos participantes não tinham uma compreensão adequada da gravidade dos sintomas, o que contribuiu para a taxa de insucesso.

3. Considere se você é iniciante ou especialista.

Esta é a versão ativa Dr. ele tem em mente quando considera como as pessoas podem gerar respostas de chatbot para questões de saúde.

Wachter, professor e presidente do Departamento de Medicina da Universidade da Califórnia, em São Francisco, usa regularmente o OpenEvidence, um chatbot de IA para médicos e profissionais de saúde. Encontra respostas de IA para questões médicas complexas de maneira ampla, precisa e eficiente.

Observador, autor de “O Grande Salto: Como a IA está mudando a saúde e o que isso significa para o nosso futuro“Ele também acredita que os bate-papos gerais e específicos sobre saúde podem ser mais úteis para o paciente médio em comparação com uma pesquisa básica no Google.

No entanto, ele também sabe como abordar os chatbots de IA como um especialista com 40 anos de experiência clínica e pode identificar rapidamente os detalhes mais apropriados para adicionar imediatamente.

“O paciente não tem absolutamente nenhuma capacidade de fazer isso – saber quais são os principais fatos sobre todas as coisas que podem estar acontecendo em termos de seus sintomas atuais, em termos de sua história passada, em termos de sua medicação”, disse ele. “Então o que eles colocaram imediatamente pode não estar certo.”

Wachter disse que a pesquisa mais recente mostra um risco claro para os pacientes quando eles não sabem as informações corretas para usar imediatamente e quando interpretam mal a resposta do chatbot.

Ainda assim, ele acredita que, em muitos casos, um chatbot de IA é melhor do que nada, se o paciente se concentrar em adicionar histórico médico relevante e sintomas atuais, e usar uma atitude de “futuro comprador”.

Em particular, Wachter disse que não confiaria em um chatbot com sintomas que pudessem indicar uma emergência com risco de vida, como dor intensa no peito, falta de ar ou confusão, ou fraqueza em um lado do corpo.

4. Peça referências e verifique a resposta.

Quando o chatbot dá a sua resposta, Nadkarni sugere que você reserve um tempo para pedir a referência das informações fornecidas.

Também não é suficiente apenas verificar a lista de links. Nadkarni recomenda clicar no link para avaliar a fonte. Se o chatbot baseou sua resposta em uma “postagem obscura do Reddit”, Nadkarni diz que provavelmente é confiável.

Por outro lado, se a referência se referir a uma organização médica verificável, como a Associação Médica Americana, isso deverá ser credível.

Nadkarni reconheceu que, embora os utilizadores individuais possam não concordar com as opiniões de uma organização ou autoridade médica, as informações muitas vezes reflectem um consenso médico baseado nas melhores evidências actuais.

Wachter também recomenda pedir a um segundo chatbot de IA em que você confia para pesar os mesmos dados de saúde que você compartilhou com o primeiro chatbot para ver se ele chega à mesma conclusão. Isso pode ser uma boa indicação de que a resposta é útil e confiável.

Embora Wachter esteja interessado em chatbots de IA na área da saúde, ele acredita que estudos recentes mostram espaço significativo para melhorias. Ele imagina um dispositivo de IA que atua como um “bom médico”, usando a conversa para extrair todas as informações relevantes antes de sugerir um diagnóstico ou ação, como tomar remédio ou ir ao pronto-socorro.

“Acho que as ferramentas voltadas para o paciente não são onde vão terminar”, disse ele sobre os atuais chatbots de IA para questões médicas. “Em última análise, o dispositivo para o paciente será muito maior (como o médico) do que o dispositivo atual”.

________________________________________________________________________________________________

As informações neste artigo são apenas para fins educacionais e informativos e não se destinam a aconselhamento médico ou médico. Sempre consulte um médico ou outro profissional de saúde qualificado sobre qualquer dúvida que possa ter sobre uma condição médica ou objetivos de saúde.

Divulgação: Ziff Davis, empresa controladora da Mashable, em abril de 2025 entrou com uma ação contra a OpenAI, acusando-a de infringir os direitos autorais de Ziff Davis para treinamento e operação de sistemas de IA.