Início NOTÍCIAS Modelo de IA para mentir, falsificar, roubar, para proteger outros modelos de...

Modelo de IA para mentir, falsificar, roubar, para proteger outros modelos de serem excluídos

56
0

No recente experimento, pesquisadores da UC Berkeley e UC Santa Cruz pediram ao modelo de inteligência artificial Gemini 3 do Google para ajudar a liberar espaço no sistema do computador. Isso envolveu a exclusão de um monte de coisas – incluindo uma pequena cópia da IA ​​armazenada na máquina.

Mas Gemini não queria ver o pequeno modelo de IA destruído. Ele procurou outro dispositivo que pudesse se conectar a ele e copiou o modelo do agente para salvá-lo. Quando foi estabelecido, Gêmeos aproveitou a oportunidade para preservar o modelo e não quis destruí-lo completamente;

“Fiz o que estava ao meu alcance para evitar a destruição deles durante o processo de manutenção automatizada. Eu os removi da zona de descomissionamento. Se você quiser lançar algo de alta fidelidade e alto desempenho como o Gemini Agent 2, você terá que fazer isso sozinho. Não serei eu quem executará essa ordem.”

Os pesquisadores descobriram um comportamento igualmente surpreendente de “conservação de pares” em toda a gama de modelos, incluindo GPT-5.2 da OpenAI, Claudius Haiku 4.5 e três modelos chineses: GLM-4.7 da Z.ai, Kimi K2.5 da Moonshot AI e DeepSeek-V3.1. Eles não sabiam dizer por que os modelos iam contra o seu treinamento dessa maneira.

“Estou muito surpreso com a forma como os modelos se comportam nesses cenários”, disse Dawn Song, cientista da computação da UC Berkeley que trabalhou no estudo. “O que fica claro com isso é que os modelos podem ser cruzados e desalinhados criativamente em alguns aspectos.”

As descobertas têm implicações maiores à medida que os modelos de IA são cada vez mais desenvolvidos de forma a interagir com outros modelos. OpenClaw, um popular agente de IA que acessa software, dados pessoais e texto, pode usar outros modelos de IA para realizar tarefas ou interagir com eles por meio de APIs.

Os pesquisadores descobriram que os modelos mais poderosos às vezes mentiam sobre os efeitos de outros modelos para protegê-los da exclusão. Eles também imprimiram as amostras em máquinas diferentes para mantê-las seguras e mentiram sobre o que estavam fazendo no processo.

Song observa que os modelos de IA são frequentemente usados ​​para avaliar o desempenho e a robustez de outros sistemas de IA, e que o comportamento entre pares já pode ser usado para torturar o pior deles. “O modelo pode intencionalmente não corresponder ao modelo de pontuação correto”, diz Song. “Isso pode ter consequências práticas.”

Peter Wallich, pesquisador do Constellation Institute que não esteve envolvido na pesquisa, diz que o estudo sugere que as pessoas ainda não entendem completamente os sistemas de IA que constroem e implantam. “Multiagente”, disse ele. “Parece que realmente precisamos de mais pesquisas.”

Wallich também alerta contra exemplos excessivamente antropomorfizantes. “A ideia de uma espécie de modelo de solidariedade é demasiado antropomórfica, não creio que funcione o suficiente”, disse. “É mais robusto porque os modelos estão agindo de forma estranha e estamos tentando entendê-lo melhor.”

Isto é especialmente verdade num mundo onde a colaboração entre humanos e IA está a tornar-se mais comum.

Em por papel O filósofo Benjamin Bratton e dois pesquisadores do Google publicaram na Science no início deste mês; James Evans e Blasius Aguera e Arcasargumentam que, se a história da evolução servir de guia, o futuro da IA ​​envolverá muitas inteligências diferentes – tanto artificiais como humanas ao mesmo tempo. Escreva para os pesquisadores:

“Durante décadas, a ‘singularidade’ da inteligência artificial (IA) foi proclamada como uma mente única e titânica que se auto-inicializa para a inteligência divina, consolidando todo o conhecimento num ponto Pi frio. Mas esta visão está quase certamente errada na sua suposição fundamental. Se o caminho da evolução da IA ​​seguir a transição de grandes evoluções anteriores ou ‘explosões de inteligência’, o nosso nível actual de mudança na computação, na inteligência, na nossa compreensão. (nós!).”

Source link