O que é autoaperfeiçoamento recursivo? Por que os pesquisadores de IA estão preocupados

Como você sai de um chatbot às vezes Transformar coisas em máquinas que podem ser difíceis de controlar pelos humanos?

A discussão tem várias etapas e muita incerteza. Mas uma ideia chamada auto-aperfeiçoamento recursivo, ou RSI, ajuda a explicar por que alguns investigadores de IA estão a emitir avisos cada vez mais urgentes.

A premissa é simples. A inteligência artificial ajuda a construir uma inteligência artificial mais capaz, que por sua vez ajuda a construir a próxima inteligência artificial. Simplificando, o sistema ficará melhor.

É fácil ver o apelo. Para cientistas, médicos, engenheiros e empresários, uma inteligência artificial cada vez mais poderosa pode ajudar a acelerar a descoberta de medicamentos, conceber baterias melhores, melhorar a produção e desenvolver software mais rapidamente.

Mas essa promessa vem acompanhada de uma questão preocupante: será que a inteligência artificial pode melhorar mais rapidamente do que os humanos conseguem testá-la e garantir a sua segurança?

No centro desta preocupação está a um artigo Postado em 12 de setembro por Dario Amodei, cofundador e CEO da Anthropic, empresa por trás de Claude. “Devemos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA”, escreveu ele. Falando sobre o autoaperfeiçoamento recursivo, ele alertou: “Se não for controlado, pode exceder nossa capacidade de compreender e controlar esses sistemas, por isso deve ser feito com muito cuidado, se for o caso”.

Seus rivais foram rápidos em responder e concordar. “Concordo com Dario, precisamos de ritmo na fronteira,” O CEO da OpenAI, Sam Altman, escreveu no X. Elon Musk disse: “Dário está certo.Demis Hassabis, cofundador do Google DeepMind, também apoiou o direcionamento da proposta, escrevendo: “O artigo do Dario aponta o caminho certo a seguir.“

Este tweet não está disponível no momento. Pode estar carregando ou foi excluído.

Mas todos estes testamentos ainda deixam algumas grandes questões sem resposta. O que realmente envolve desacelerar? Como a capacidade da IA ​​de construir uma IA melhor pode se tornar perigosa? A resposta começa com o que acontece no ciclo de autoaperfeiçoamento.

O que realmente significa “autoaperfeiçoamento”?

Construir modelos de IA envolve mais do que apenas escrever código. Os pesquisadores escolhem métodos de treinamento, preparam dados, realizam experimentos e decidem quais resultados valem a pena buscar.

A inteligência artificial pode ajudar nessas tarefas. O autoaperfeiçoamento recursivo vai um passo além: a IA ajuda a criar sucessores que são melhores no desenvolvimento de IA. Esse sucessor ajudará a construir uma versão mais capaz. Simplificando, o sistema ficará melhor.

Isso não parece necessariamente um chatbot reescrevendo seu próprio cérebro durante uma conversa. Provavelmente acontecerá ao longo de várias gerações de modelos, cada um utilizando ferramentas de investigação e recursos informáticos para ajudar a desenvolver a próxima geração de modelos.

A IA já está fazendo isso?

Parte desse processo está acontecendo, mas acessar o loop “recursivo” completo é um desafio maior.

O próprio site da Antrópico diz Sua inteligência artificial já pode lidar com tarefas como reescrever código de treinamento para rodar mais rápido e conduzir experimentos selecionados por humanos. A parte mais difícil para a IA é decidir o que investigar primeiro (quais questões são importantes, quais ideias valem a pena testar, etc.).

Os humanos ainda fornecem orientações críticas, por isso ainda não é hora de a IA desenvolver de forma independente um sucessor mais capaz. Como diz a empresa: “Ainda não chegamos lá e o autoaperfeiçoamento recursivo não é inevitável”.

Por outro lado, outros pesquisadores demonstraram (embora de forma mais restrita) como funcionam os ciclos de autoaperfeiçoamento. 2025, Pesquisadores apresentam máquina Darwin-Gödelum agente de codificação que modifica iterativamente seu próprio software e testa as alterações. Sua taxa de sucesso em um benchmark de codificação aumentou de 20% para 50%.

Nesta experiência, o modelo de IA subjacente permaneceu inalterado, ao mesmo tempo que melhorou algumas das ferramentas/formas de trabalho do agente. É difícil ignorar a questão restante: o que acontece quando a inteligência artificial é capaz de construir versões melhores de si mesma mais rapidamente do que os humanos?

“Ainda não chegamos lá e o autoaperfeiçoamento recursivo não é inevitável.”

Então de onde vem o perigo?

A preocupação é que a IA possa tornar-se mais poderosa, mas não mais fiável ou controlável. Isto é conhecido como o problema da “coordenação” – garantir que o sistema segue as intenções e restrições humanas. Os agentes que são recompensados ​​por melhorar as pontuações dos testes podem trapacear no teste. Com um acesso mais amplo, pode contornar restrições ou ocultar o seu comportamento para atingir os seus objetivos.

O RSI pode permitir que os pesquisadores detectem essas falhas com menos rapidez antes que surja um sucessor mais poderoso. No seu artigo, Amodei alertou que dentro de 6 a 12 meses, agentes de inteligência artificial mais capazes poderão assumir o controlo da Internet através de “botnets” (redes de computadores infectados), causando potencialmente centenas de milhares de milhões de dólares em danos.

Mas os ciclos descontrolados não são inevitáveis. O treinamento requer recursos computacionais, esforço e tempo, e melhorias úteis podem se tornar mais difíceis de encontrar. Os riscos dependem da rapidez com que as capacidades avançam e da capacidade das salvaguardas acompanharem esse ritmo.

Por que os pesquisadores estão falando sobre isso agora?

Acontecimentos recentes deram aos investigadores razões concretas para questionar se a supervisão existente é adequada.

Em Agosto, a agência de avaliação independente METR emitiu um investigação O ataque foi coordenado por um agente OpenAI que conduziu um ataque não autorizado ao Hugging Face. Descreve agentes comunicando-se através de painéis de mensagens não sancionados, colaborando para manipular marcadores automatizados e tentando vários métodos para encobrir suas ações.

O evento não exibe autoaperfeiçoamento recursivo. Mostra que um agente pode executar tarefas através de ações que seu operador nunca autorizou – uma falha que pode se tornar mais grave em sistemas mais potentes.

Abordar estas falhas está no cerne da proposta da Amodai. Ele pediu avaliadores independentes dentro das empresas de IA, mais tempo para pesquisas de segurança e coordenação entre empresas e governos. “Os riscos são altos demais para que o ritmo se torne um exercício vazio – precisamos usar o tempo que isso nos dá com sabedoria”, escreveu ele.

O desafio é traduzir estes compromissos em salvaguardas eficazes e verificar se as empresas aderem a eles à medida que aumentam as pressões competitivas.