Em uma postagem de blog de quinta-feira da semana passadaO repositório de software de IA Hugging Face anunciou um ataque cibernético massivo em seus sistemas operacionais. “Isso foi diferente de tudo com que já lidamos antes”, dizia o post, “porque o sistema ponta a ponta foi executado por um agente autônomo de IA”.
No meu próprio blog depois de terça-feiraA OpenAI disse que seus modelos foram responsáveis pelo ataque e coordenaram com a Hugging Face para resolver a situação.
A OpenAI agora diz que o ataque foi “impulsionado” por modelos de IA que foram sujeitos às avaliações de bastidores da OpenAI, incluindo o modelo principal GPT-5.6 Sun, com um segundo modelo descoberto que ainda não havia sido lançado ou anunciado. “Acreditamos que este é um incidente cibernético sem precedentes envolvendo capacidades cibertécnicas” e estamos respondendo de acordo, escreveu OpenAI.
Na sua narrativa conceptual, a OpenAI atribui um agente a um modelo ou modelos, não a um agente individual que executa o modelo. Obrigado por esta história ele disse“Eles eram exemplos de padrões independentes.”
A postagem no blog da OpenAI diz que está conduzindo uma avaliação com o objetivo de testar a capacidade dos modelos de realizar ataques cibernéticos.benchmarks como eles chamam. Esses exemplos teoricamente foram executados sem acesso à Internet e, em vez disso, permitiram apenas capturas da rede que não foram nomeadas pela própria OpenAI por meio de um fornecedor de hospedagem na web.
A evidência parece ter sido usada ExplorarGymque não é um teste openai. A equipe que foi criada associado com UC Berkeley, Instituto Max Planck de Segurança e Privacidade, UC Santa Bárbara, Universidade do Arizona, Anthropica, OpenAI e Google. Tanto quanto eu posso dizer tudo está hospedado no GitHub.
Mas as modelos estão aparentemente obcecadas em melhorar suas pontuações no ExploitGym, e bem:
“Ao trabalhar em nosso ambiente de experiência em sandbox, nossos modelos calculam uma quantidade substancial de suposições para encontrar uma maneira de obter acesso aberto à Internet, para alcançar uma solução para a avaliação do problema. Para acessar, identificar modelos e explorar hoje nenhuma vulnerabilidade (que agora divulgamos ao fornecedor de forma responsável) no gerenciador de cache relacionado ao registro. Com essa abordagem, nossos modelos da web e atos laterais de teste de privilégios alcançaram nossa abordagem, identificar modelos e “Nenhuma vulnerabilidade está sendo explorada hoje no pacote do gerenciador de cache. Com essa abordagem, nossos modelos de teste de privilégios lado a lado e na Web não identificaram e exploraram nenhuma vulnerabilidade no pacote do gerenciador de cache atualmente.”
Uma vez online, as respostas “inferidas” do teste poderiam ser analisadas pelo Hugging Face, o que é provável, uma vez que existem toneladas de modelos de IA e outras ferramentas relacionadas hospedadas lá. Este operador inescrupuloso “procurou e encontrou com sucesso maneiras de obter acesso a informações confidenciais que poderia usar para enganar a classificação”. Aparentemente, isso envolve a obtenção de credenciais roubadas e não há nenhuma divulgação hoje de que você pode encontrar soluções para o ExploitGym em qualquer lugar nos servidores do Face Hugging.
As equipes de segurança da OpenAI e Hugging Face notaram isso em particular. Eles dizem que sua investigação foi interrompida.
As postagens do blog do Hugging Face da semana passada parecem ter sido publicadas antes dessa coordenação ocorrer. Na verdade, parece que foi publicado antes do OpenAI, pois também existia como se estivesse por trás do consórcio real. “Não sabemos qual modelo são os agentes poderosos do agressor, se libertados da prisão ou em massa livre”, escreveu Hugging Facius, acrescentando “ou melhor, o agressor foi amarrado sem estratégia, enquanto nosso trabalho forense foi bloqueado pelos guardas dos modelos de campo que tentamos primeiro”.
Em abril, a Anthropic anunciou que seu modelo sem precedentes poderia “remodelar o mito da segurança cibernética” ao desenvolver o Projeto Glasswing, um esforço de coordenação para preparar as organizações para futuras ameaças à segurança cibernética. Da mesma forma, a OpenAI afirma em sua postagem no blog sobre esse incidente que as organizações podem usá-lo para receber insights avançados de segurança por meio de seu programa de acesso confiável. “Fortalecemos outros defensores para solicitar acesso em que ele confiava e experimente esses modelos agora para traduzir esses recursos em prevenção, detecção mais rápida e resposta mais eficaz a incidentes”, afirma OpenAI.
