Num estudo de Harvard, a IA forneceu diagnósticos mais precisos do que um médico de emergência local

Um novo estudo examina a aparência dos grandes modelos de linguagem em vários contextos médicos, incluindo casos reais de pronto-socorro, onde pelo menos um modelo parecia ser mais preciso do que os médicos humanos.

Foi interessante publicado esta semana na Science e vem de uma equipe de pesquisa liderada por médicos e cientistas da computação da Harvard Medical School e do Beth Israel Deaconess Medical Center. Os pesquisadores disseram que conduziram vários experimentos para medir como os modelos OpenAI se comparam aos médicos humanos.

Em um experimento, os pesquisadores compararam 76 pacientes que compareceram ao pronto-socorro de Beth Israel com diagnósticos fornecidos por dois médicos assistentes gerados pelos modelos o1 e 4o da OpenAI. Esses diagnósticos foram avaliados por outros dois médicos assistentes, que não sabiam quais eram de humanos e quais eram de IA.

“Em cada toque diagnóstico, 01 é nominalmente melhor ou igual a dois médicos assistentes e 4o”, disse o estudo, acrescentando que as diferenças “são especialmente pronunciadas no primeiro toque diagnóstico (triagem inicial no pronto-socorro), onde há menos informações disponíveis sobre o paciente e é mais urgente para tomar a decisão certa”.

Na Faculdade de Medicina de Harvard Enéias às vezes chora No final do estudo, os pesquisadores enfatizaram que não “pré-processaram os dados de forma alguma” – os modelos de IA foram apresentados com as mesmas informações que estavam disponíveis nos prontuários eletrônicos no momento de cada diagnóstico.

Com essas informações, o modelo o1 ofereceu um “diagnóstico preciso ou próximo” em 67% dos casos de triagem, em comparação com um médico que teve um diagnóstico exato ou próximo em 55% das vezes, e outros que acertaram a marca em 50% das vezes.

“Testamos o modelo de IA em quase todos os benchmarks e ele eclipsou os modelos anteriores e nossa base de médicos”, disse Arjun Manrai, que dirige o laboratório de IA da Harvard Medical School e foi um dos principais autores do estudo, em um comunicado à imprensa.

Para ser claro, o estudo não afirmou que a IA esteja pronta para tomar decisões reais de vida ou morte nas urgências. Mas ele disse que as descobertas demonstram uma “necessidade urgente de testes futuros para avaliar essas tecnologias em ambientes reais de atendimento ao paciente”.

Os pesquisadores também observaram que estudaram apenas o desempenho dos modelos quando fornecidos com informações eletrônicas, e “os estudos existentes sugerem que os modelos fundamentais mais recentes são mais limitados no raciocínio sobre entradas não textuais”.

Adam Rodman, médico de Beth Israel que também é um dos principais roteiristas do estúdio; avisou o guarda “não existe agora uma estrutura formal para a responsabilização” em torno dos diagnósticos de IA, e os pacientes ainda “querem que as pessoas os orientem em decisões de vida ou morte (e) os orientem em decisões desafiadoras de tratamento”.