Depois que o ChatGPT se tornou amplamente disponível no final de 2022, muitos pesquisadores começaram a dizer aos colegas que poderiam fazer mais com essas novas ferramentas de IA. Ao mesmo tempo, os editores de periódicos relataram um aumento no número de submissões bem escritas que não pareciam agregar muito valor científico.
Um novo estudo de Cornell sugere que estes relatórios informais apontam para mudanças mais amplas na forma como os estudiosos preparam os manuscritos. Os pesquisadores descobriram que grandes modelos de idiomas (LLMs), como o ChatGPT, podem aumentar a produção de artigos, o que é particularmente benéfico para estudiosos de inglês não nativos. Mas o volume cada vez maior de texto escrito por IA também torna mais difícil para os tomadores de decisão distinguirem trabalho significativo de conteúdo de baixo valor.
“Este é um modelo muito difundido em vários campos da ciência, desde as ciências físicas e da computação até as ciências biológicas e sociais”, disse Yan Yin, professor associado de ciência da computação na Faculdade de Computação e Informática Cornell Ann S. Bowers. “Há grandes mudanças no nosso ecossistema atual que exigem um olhar muito sério, especialmente para aqueles que tomam decisões sobre que ciência devemos apoiar e financiar”.
As descobertas foram publicadas em um artigo intitulado “Produção científica na era dos grandes modelos de linguagem”, publicado em 18 de dezembro em Ciência.
Como a equipe de Cornell mediu o uso da inteligência artificial no trabalho científico
Para examinar como os MAs afetam a publicação acadêmica, a equipe de Yin coletou mais de 2 milhões de artigos publicados entre janeiro de 2018 e junho de 2024 em três principais plataformas de pré-impressão. Estes são os sites arXiv, bioRxiv e Social Science Research Network (SSRN). Juntos, eles representam as ciências físicas, as ciências da vida e as ciências sociais, e realizam pesquisas que ainda não foram submetidas à revisão por pares.
Os pesquisadores usaram documentos publicados até 2023 que se acreditava terem sido escritos por humanos e os compararam com textos gerados por inteligência artificial. A partir dessa comparação, eles construíram um modelo projetado para identificar documentos que provavelmente foram escritos com a ajuda de mestres do direito. Usando esse detector, eles avaliaram quais autores provavelmente usariam o LLM para escrever, rastrearam quantos artigos esses acadêmicos publicaram antes e depois de usar as ferramentas e, em seguida, verificaram se os artigos foram posteriormente aceitos por periódicos acadêmicos.
Grande aumento de produtividade, especialmente para falantes não nativos de inglês
Os resultados mostraram um claro salto na produtividade associado ao uso explícito do LLM. No arXiv, os acadêmicos identificados como usuários de programas LLM publicaram cerca de um terço a mais de artigos do que aqueles que não o fizeram. No bioRxiv e SSRN, o crescimento ultrapassou 50%.
Um maior crescimento foi alcançado por académicos que escrevem em inglês como segunda língua e enfrentam barreiras adicionais quando comunicam trabalhos técnicos numa língua estrangeira. Por exemplo, investigadores afiliados a instituições asiáticas publicaram 43,0% a 89,3% mais artigos depois de o detector ter sugerido que tinham começado a utilizar o LLM, em comparação com investigadores semelhantes que não pareciam ter adoptado a tecnologia, dependendo do site de pré-impressão. Yin espera que a vantagem possa eventualmente deslocar os padrões globais de produtividade científica para regiões restringidas pelas barreiras linguísticas.
A pesquisa de IA pode expandir o que os cientistas citam
O estudo também apontou benefícios potenciais em pesquisas bibliográficas e geração de citações. Quando os investigadores procuram trabalhos relevantes para citar, o Bing Chat – descrito como a primeira ferramenta de pesquisa generalizada alimentada por IA – tem um desempenho melhor do que as ferramentas de pesquisa tradicionais na localização de novos artigos e livros relacionados. As ferramentas tradicionais, por outro lado, tinham maior probabilidade de retornar fontes mais antigas e mais citadas.
“As pessoas que utilizam programas LLM exploram conhecimentos mais diversificados, o que pode contribuir para ideias mais criativas”, disse o primeiro autor Keigo Kusumegi, estudante de doutorado em ciência da informação. Ele planeja pesquisas futuras para testar se o uso da IA está associado a uma ciência mais inovadora e interdisciplinar.
Um novo desafio para revisão por pares e avaliação de pesquisas
Embora os programas LLM ajudem os indivíduos a produzir mais manuscritos, as mesmas ferramentas podem tornar mais difícil para outros julgarem o que constitui um conhecimento verdadeiramente forte. Na escrita humana, uma escrita mais clara mas mais complexa, incluindo frases mais longas e palavras maiores, era muitas vezes um sinal útil de uma melhor investigação. No arXiv, bioRxiv e SSRN, os artigos escritos por pessoas com pontuação alta no Teste de Dificuldade de Escrita também tiveram maior probabilidade de serem aceitos pelos periódicos.
Esse padrão parecia diferente para documentos que provavelmente foram escritos usando LLM. Mesmo que esses artigos rotulados com IA tenham uma pontuação alta em dificuldade de redação, é menos provável que sejam aceitos pelos periódicos. Os investigadores interpretam isto como um sinal de que uma linguagem polida já não pode reflectir de forma fiável o valor científico e que os revisores podem rejeitar alguns destes artigos, apesar do som forte do texto.
Esta lacuna entre a qualidade da escrita e a qualidade da investigação pode ter consequências graves, disse Yin. Os editores e revisores podem ter mais dificuldade em identificar as submissões mais valiosas, enquanto as universidades e as agências de financiamento podem descobrir que o número de publicações não editadas já não reflete a contribuição científica.
O que vem por aí para a pesquisa generativa de inteligência artificial
Os pesquisadores enfatizam que esses resultados são preliminares. Como próximo passo, eles esperam testar causa e efeito usando abordagens como experimentos controlados, incluindo projetos nos quais alguns cientistas são designados aleatoriamente para usar o LLM e outros não.
Yin também está organizando um simpósio no campus de Ithaca, agendado para 3 a 5 de março de 2026. O evento explorará como a inteligência artificial generativa está mudando a pesquisa e como cientistas e legisladores podem liderar essas mudanças.
À medida que a inteligência artificial se torna mais comum para escrever, codificar e até mesmo gerar ideias, Yin espera que sua influência se expanda, transformando efetivamente esses sistemas em uma espécie de assistentes de pesquisa. Ele argumenta que os legisladores precisam atualizar as regulamentações para acompanhar a rápida evolução da tecnologia.
“A questão não é mais se você usou inteligência artificial? A questão é exatamente como você usou a IA e se ela ajuda ou não.”
Autores do estudo e financiamento
Os coautores incluem Xinyu Yang, estudante de doutorado em ciência da computação; Paul Ginsparg, Professor Cornell Bowers de Ciência da Informação e de Física na Faculdade de Artes e Ciências, fundador do arXiv; e Matthias de Waan e Toby Stewart, da Universidade da Califórnia, Berkeley.
A pesquisa foi apoiada pela National Science Foundation.
