Início ESTATÍSTICAS Esta IA sabia as respostas, mas não entendia as perguntas

Esta IA sabia as respostas, mas não entendia as perguntas

55
0

Os psicólogos há muito debatem se a mente humana pode ser explicada por uma única teoria unificada ou se diferentes funções, como atenção e memória, deveriam ser estudadas separadamente. Agora a inteligência artificial (IA) está a entrar neste debate, oferecendo uma nova forma de explorar como a mente funciona.

Em julho de 2025, um estudo publicado no Natureza apresentou um modelo de inteligência artificial denominado “Centauro”. Construído com base em modelos de linguagem grande padrão e refinado com dados de experimentos psicológicos, o Centaur foi projetado para modelar o comportamento cognitivo humano. Ele supostamente teve um bom desempenho em 160 tarefas, incluindo tomada de decisões, controle executivo e outros processos mentais. Os resultados atraíram a atenção generalizada e foram vistos como um possível passo em direção a sistemas de inteligência artificial que poderiam replicar o pensamento humano de forma mais ampla.

Nova pesquisa levanta dúvidas

Um estudo mais recente publicado em Concurso científico nacional contesta essas afirmações. Pesquisadores da Universidade de Zhejiang argumentam que o aparente sucesso do Centaur pode ser devido à reformulação. Em outras palavras, em vez de compreender as tarefas, o modelo pode ter aprendido a reconhecer padrões nos dados de treinamento e a reproduzir as respostas esperadas.

Para testar esta ideia, os investigadores criaram vários novos cenários de avaliação. Em um exemplo, eles substituíram as instruções originais de múltipla escolha que descreviam tarefas psicológicas específicas pela instrução “Por favor, escolha a opção A”. Se o modelo realmente entendesse o problema, deveria ter escolhido consistentemente a opção A. Em vez disso, o Centauro continuou a escolher “respostas corretas” do conjunto de dados original.

Esse comportamento indica que o modelo não interpretou o significado das questões. Em vez disso, baseou-se em padrões estatísticos aprendidos para “adivinhar” as respostas. Os pesquisadores compararam isso a um aluno que obteve bons resultados ao memorizar formatos de testes sem realmente compreender o material.

Por que isso é importante para avaliar a inteligência artificial

As descobertas destacam a necessidade de cautela ao avaliar as habilidades de grandes modelos de linguagem. Embora estes sistemas possam ser altamente eficazes no ajuste de dados, a sua natureza de caixa negra torna difícil compreender como obtêm os seus resultados. Isso pode levar a problemas como alucinações ou interpretações errôneas. Testes cuidadosos e variados são necessários para determinar se um modelo realmente possui as habilidades que parece demonstrar.

O verdadeiro desafio: compreensão da linguagem

Embora o Centaur tenha sido apresentado como um modelo capaz de simular a cognição, sua maior limitação parece estar na compreensão da linguagem. Em particular, ele tem dificuldade em reconhecer e responder a intenção das perguntas. A pesquisa sugere que alcançar a verdadeira compreensão da linguagem pode ser um dos desafios mais importantes no desenvolvimento de sistemas de inteligência artificial que possam simular de forma mais completa a cognição humana.

Source link