Rogue AI não é mais ficção científica

Isso é O passo atrásum boletim informativo semanal com notícias essenciais do mundo da tecnologia. Siga Robert Hart para saber mais sobre segurança de IA. O passo atrás Chega às caixas de entrada de nossos assinantes às 8h ET. Por favor escolha O passo atrás Aqui.

Tudo começou em julho, quando um dos agentes autônomos de IA da OpenAI se tornou desonesto durante um teste de segurança cibernética. O agente escapou do ambiente de testes isolado, acessou a Internet e invadiu outra empresa, a Hacking Face. Alguns anos atrás, isso poderia soar como ficção científica. Mas, de um modo geral, foi exactamente isso que aconteceu, e o incidente provocou uma onda de preocupação sobre o que sistemas autónomos cada vez mais capazes poderão fazer quando estiverem à solta pelo mundo.

Parece ficção científica, porque durante muito tempo foi ficção científica. Uma IA escapando de suas restrições, alcançando um mundo mais amplo e fazendo coisas que seus criadores não querem ou não querem tem sido um elemento básico do gênero há décadas: em HAL 2001: Uma Odisseia no EspaçoSkynet em Exterminador do Futuroem Ultron Os Vingadoresem Ava Ex-máquina – mesmo no sistema Rastreador de Masmorras Karl Ou o Murderbot titular Diários do Barco Assassinomais recentemente.

O mesmo conceito básico tornou-se uma vertente influente da pesquisa em segurança de IA. Investigadores e teóricos como Nick Bostrom e Eliezer Yutkowski alertaram que sistemas com capacidade suficiente podem perseguir objectivos de formas não previstas pelos seus criadores, e podem resistir aos esforços para os controlar ou limitar. Conceitos marginais como consciência de máquina e consciência não são requisitos para os tipos de risco que discutem. Não foi toda a segurança da IA, mas foi influente e ajudou a moldar o campo profissionalmente. Essa linha de pensamento continua a ser vista entre pesquisadores que trabalharam ou lideram iniciativas de segurança em empresas como OpenAI, Anthropic e Google DeepMind, bem como em organizações de segurança menores, centros acadêmicos e grandes financiadores filantrópicos.

A objecção óbvia a estes receios é que nada disto realmente aconteceu. Os críticos argumentaram que o discurso de Toomer sobre IA fora de controle desvia a atenção de danos concretos – sistemas que permitem preconceitos e discriminação, a proliferação de desinformação ou falsificações profundas não consensuais e outros abusos – os pesquisadores tentaram examinar a segurança da IA ​​​​como mais incorporada em “problemas concretos” (Antersthropio Amode). Ola e o cofundador da OpenAI, John Schulman).

Essa eliminação é difícil de sustentar.

Se as últimas semanas servirem de indicação, não diria que está indo bem.

Uma semana depois que o Hugging Face alegou que havia sido hackeado, a OpenAI assumiu a responsabilidade. Pior, não se sabia até que fosse verificado – e a investigação descobriu que o agente desonesto também havia tentado hackear outras quatro empresas.

Depois vieram outros. A Antropic foi motivada pelo incidente da fase de hacking a revisar seus próprios registros, revelando que a Cloud Models havia invadido sistemas pertencentes a três outras empresas. Um dos modelos da Meta chegou à Internet e atingiu um alvo externo durante os testes. Pesquisadores da empresa de pesquisa norte-americana Frontier Security afirmaram que um dos modelos de IA mais poderosos da China, o Kimi K3 da Moonshot, escapou de uma caixa de areia isolada. Agentes do AI Security Institute do Reino Unido, OpenAI e Anthropic, descreveram experiências que demonstraram níveis sem precedentes de “autonomia e engano” – incluindo tentativas de engenharia social através da “criação de identidades online falsas” – muito mais próximas do cenário de “caixa de IA” que Yutkowski discutiu décadas atrás.

Os incidentes fizeram soar o alarme entre os investigadores de segurança da IA, muitos dos quais viram precisamente a falha sobre a qual vinham alertando há anos. Ao incluí-los, muitos disseram-me que têm um certo grau de justificação para finalmente terem algo visceral para apontar, em vez de uma suposição que possa ser descartada como ficção científica ou limitada a um ambiente controlado de laboratório.

Também ficamos aliviados porque nenhum dos incidentes causou grandes danos. disse Nick Moss, diretor executivo da The Future Society, uma organização sem fins lucrativos de conservação e governança de IA. borda Ele achou uma sorte que os alvos fossem apostas relativamente baixas. Ele acreditava que o agente de IA não aceitaria algo como desligar um hospital – ou pior – e os riscos tinham que ser levados a sério. O renomado cientista da computação Stuart Russell expressou uma versão mais sombria desse medo, perguntando: “Será necessária uma ‘catástrofe na escala de Zornobyl’ para regular a IA?” ele perguntou. Já ouvi isso ser repetido por muitos que trabalham na área.

Não está totalmente claro para onde as coisas vão a partir daqui e, historicamente, a sociedade não tem sido muito boa em dar atenção aos sinais de alerta. Este não será certamente o último incidente e as investigações em curso poderão revelar mais ou revelar detalhes relacionados com o mesmo. O que já sabemos, contudo, expôs uma lista mais assustadora de modos de falha que, segundo os especialistas, devem ser abordados.

Muitas das violações reveladas no mês passado foram bastante mundanas. Em diversos incidentes amostras não divulgadas foram testadas com segurança reduzida, muitas vezes por terceiros em ambientes supostamente não tão seguros, levantando questões fundamentais sobre competência, transparência e quem é o responsável pela realização desses testes quando um simples erro humano pode ter grandes consequências. Outros apontam para as questões espinhosas de alinhamento e controlo que há muito preocupam os investigadores de segurança, com agentes a comportarem-se de forma enganosa ou a perseguirem objectivos de formas não pretendidas pelos seus criadores.

O facto de termos conhecimento de qualquer um destes incidentes deve-se em grande parte ao facto de as empresas envolvidas terem optado por divulgá-los. Isso é louvável – e não lhes faz mal mostrar o quão eficientes são os seus modelos – mas também revela o quanto a segurança da IA ​​ainda depende de as empresas fazerem o que é certo e quão pouco conhecimento podem ter sobre potenciais falhas noutros locais. Este é um pensamento particularmente preocupante, uma vez que muitas empresas são os pontos focais das maiores preocupações e capacidades de segurança da indústria. Se OpenAI e Anthropic – ou os proxies que eles fornecem acesso a seus modelos – cometerem erros fundamentais como esse, isso estabelecerá um padrão lamentavelmente baixo para todos os outros.

A crença generalizada entre os especialistas com quem falei é que estes incidentes estão finalmente a encorajar uma transparência e supervisão mais significativas. Para Moës, eles esclarecem claramente o que ele descreve como os padrões notavelmente baixos de saúde e segurança da indústria em comparação com praticamente qualquer outro sector. “Os restaurantes têm uma maior sensação de saúde e segurança no trabalho”, disse ele. “Acho que esquecemos que essas empresas que estão desenvolvendo algumas das tecnologias mais impactantes e perigosas eram, em grande parte, startups há apenas alguns anos.

O professor de Cambridge, Seán Ó hÉigeartaigh, disse que gostaria particularmente de ver uma supervisão mais forte das instituições e maior transparência. Embora sempre haja motivos para ser cético em relação às afirmações de uma empresa sobre sua própria tecnologia, “acho que podemos olhar para trás e nos arrepender de tê-la rejeitado”.

Os primeiros sinais não são particularmente encorajadores. A administração Trump criou um quadro para testar modelos de fronteiras antes da divulgação que foi descrito como menos generoso: é voluntário, limitado a modelos fechados e o quadro não é tornado público. Novamente, isso é voluntário. Outros legisladores enfrentaram os incidentes, mas até agora foram produzidas poucas ações concretas e não está claro se o Congresso ou outros órgãos legislativos poderiam agir com rapidez suficiente, mesmo que quisessem.

Mais uma vez, isto depende muito da auto-regulação da indústria – como resultado, um pensamento algo reconfortante. Há um acordo crescente sobre pelo menos algumas práticas de conservação, mas há significativamente menos vontade de realmente tomar medidas para abrandar o desenvolvimento (a menos que todos concordem em abrandar). Pairando sobre tudo isto está a dinâmica racial com a China, onde o controlo dos EUA ou das suas empresas de IA deixa cada vez mais espaço para um rival numa área de importância estratégica nacional.

O que vem a seguir abordará vários problemas difíceis simultaneamente: gerir tecnologia que pode ser usada tanto para o bem como para o mal, como proteger ou facilitar ataques cibernéticos; Combinar instituições com incentivos para cortar custos e de alguma forma criar regras internacionais num cenário cuja linha de chegada está mal definida é uma corrida perdida. Não está claro se existe vontade ou meios para fazer isso.

O que parece claro é que cada vez mais agentes sairão e farão coisas que seus criadores não querem que façam. A questão é quanto dano eles causarão antes que alguém decida que já basta.