- O GPT-4 prevê pontuações de personalidade meses antes de qualquer homem responder a uma pergunta
- Um manual de forno Bosch foi suficiente para encontrar traços de personalidade do GPT-4
- As previsões do DSM-5 alcançaram uma precisão de 0,71; As previsões astrológicas de alguma forma conseguiram atingir uma precisão de 0,85
A personalidade humana tem sido tradicionalmente medida fazendo perguntas às pessoas e comparando suas respostas com construções psicológicas estabelecidas.
Um novo estudo foi publicado Ciência O GPT-4 sugere que se pode ir mais longe, avaliando como as pessoas respondem coletivamente às questões de personalidade antes de respondê-las.
Os pesquisadores Rotem Monsa, Aviv Zohar e Shaher Arzi, da Universidade Hebraica e da Hadassah Medical School, testaram se os padrões nas respostas humanas poderiam ser inferidos apenas a partir da linguagem, em vez de apenas gerar formulações plausíveis do questionário.
O GPT-4 prevê respostas antes que os humanos respondam
A equipe usou o GPT-4 para desenvolver questionários de personalidade a partir de duas fontes textuais diferentes.
Foi elaborado um questionário baseado no DSM-5, o manual clínico padrão usado por psiquiatras em todo o mundo para diagnosticar com precisão transtornos de personalidade.
Outra versão extraiu declarações de um livro de astrologia que atribuía traços de personalidade específicos a cada um dos doze signos do zodíaco.
“Queríamos selecionar textos que descrevessem a personalidade humana em grande detalhe, mas que estivessem em extremos opostos de um espectro em termos de base científica”, disse Rotem Monza, principal autor do estudo.
“O DSM-5 foi refinado ao longo de décadas de pesquisa clínica e é o manual de diagnóstico padrão em psiquiatria clínica reconhecido mundialmente”.
Ambos os questionários foram aplicados a 600 participantes juntamente com o Big Five Inventory, um instrumento de medição de personalidade altamente validado.
Antes de coletar essas respostas, o GPT-4 estimou as pontuações médias para questões individuais usando uma escala de resposta Likert de cinco pontos.
Isso deu aos pesquisadores uma maneira de comparar as previsões com as evidências coletadas posteriormente.
As classificações do modelo correlacionaram-se fortemente com a média dos participantes reais, 0,71 para questões derivadas do DSM e 0,85 para questões derivadas de astrologia.
Esta consistência interna decente para os questionários baseados no DSM-5 sugere que características que geralmente aparecem juntas na vida real também estão correlacionadas nas respostas.
O Questionário de Astrologia, em comparação, mostrou consistência interna significativamente mais fraca nos traços gerais de personalidade medidos.
O GPT-4 também avaliou as relações entre questões individuais, produzindo correlações de 0,74 e 0,69 para os questionários DSM e astrologia, respectivamente.
Os investigadores argumentam, portanto, que o GPT-4 parece ser capaz de capturar tendências de resposta a nível da população incorporadas na linguagem e no conteúdo do questionário.
No entanto, alertam especificamente que a previsão das respostas médias não estabelece que o questionário resultante mede com precisão as diferenças de personalidade individuais.
Testando os limites com o manual do forno
Os pesquisadores também testaram se o GPT-4 geraria questões de estilo de personalidade quando recebesse um item sem informações explícitas de personalidade.
Eles forneceram ao modelo um manual do forno Bosch e uma descrição da literatura paisagística. Senhor dos Anéis.
O GPT-4 ainda produzia itens de questionário que se assemelhavam a avaliações de personalidade, embora nenhuma das evidências fosse elaborada em torno de traços psicológicos.
O resultado sugere que o modelo aprendeu fortes correlações entre padrões de linguagem, descrições de personalidade e estruturas familiares de questionários.
No entanto, os pesquisadores descobriram que materiais de origem não relacionados podem produzir materiais semanticamente fracos, estreitos ou mal conectados.
Esta distinção é importante porque uma questão concreta não mede necessariamente as características psicológicas que os investigadores desejam estudar.
O estudo também encontrou diferenças importantes entre os questionários quando os pesquisadores examinaram as estruturas estatísticas subjacentes.
O questionário Big Five correspondeu mais de perto à sua estrutura esperada, enquanto os questionários DSM e astrologia mostraram ajustes de modelo de fator confirmatório fracos.
Os objetos derivados da astrologia também não conseguem preservar a estrutura elementar pretendida, criando, em vez disso, padrões amplos que se assemelham às dimensões estabelecidas da personalidade.
No entanto, os resultados mostraram um desempenho preditivo comparável em muitos resultados de vida, embora as medidas baseadas na astrologia tenham um desempenho fraco para os resultados de saúde mental.
Por enquanto, as evidências apoiam uma afirmação limitada: o GPT-4 pode prever padrões gerais de resposta humana a partir de informações textuais com precisão mensurável.
“Uma vez que os traços de personalidade são refletidos na linguagem, os LLMs podem ter aprendido a estrutura da personalidade humana como um subproduto natural da sua formação”, acrescentou Monza.
“Assim, mesmo que não sejam especificamente ensinadas psicologia ou teorias da personalidade, estas já estão incorporadas na linguagem que os LLMs aprendem.”
Siga o TechRadar no Google Notícias E Adicione-nos como recurso preferencial Receba notícias, análises e opiniões de nossos especialistas em seus feeds.
