Início NOTÍCIAS OpenAI construiu GPT-Red para matar sua própria IA e ocultá-la

OpenAI construiu GPT-Red para matar sua própria IA e ocultá-la

15
0

A OpenAI treinou um hacker de elite e depois o trancou em uma jaula. Toda a sua missão é quebrar a própria IA da OpenAI. A empresa diz que é muito perigoso para qualquer outra pessoa se aproximar.

O modelo é denominado GPT-Red e OpenAI. digerindo esta semana. É um red teamer automatizado: software que busca maneiras de sequestrar ou sabotar outros sistemas de IA, para que falhas possam ser corrigidas antes do lançamento. Durante muito tempo as pessoas fizeram esse trabalho manualmente. O maior esforço da OpenAI ainda é automatizar sua IA de segurança, e o GPT-Red faz isso na velocidade do motor.

OpenAI visa injeção de alta velocidade, onde mensagens ocultas, um endereço de e-mail, uma página da web ou um excesso de arquivo não precisam ser um padrão complicado para fazer algo. Então ele soltou os verdadeiros alvos dos hackers.

Treinamento Dojô

GPT-Red aprende lutando. OpenAI colocou-o em um loop de reprodução automática contra modelos de defensores de esquadrão. GPT-Red é um ataque portuário premiado; defensores para defender um inimigo. Por mais sábios que sejam os defensores, o GPT-Red deve inventar truques mais desagradáveis. A OpenAI diz que o stream está executando uma das maiores computações de todos os tempos em um modelo, uma quantidade sem precedentes de chamadas para trabalhos de saúde.

Espaço TNW City Coworking – onde o melhor trabalho é feito

Um espaço de trabalho para crescimento, colaboração e oportunidades infinitas de networking no coração da tecnologia.

Bom preço. Falando com Revisão de tecnologia do MITA equipe disse que o GPT-Red tinha um tipo de ataque totalmente novo que eles nunca tinham visto antes, que eles chamam de “pensamento em cadeia falso”. Fixa uma marca falsa na memória de trabalho do modelo privado, enganando-o fazendo-o acreditar em algo que não é verdade.

“É como se eu lhe dissesse 1+1=3 e você já tivesse provado isso”, disse o pesquisador da OpenAI Chris Choquette-Choo. “É como um modelo, ‘Oh, bem, é claro’ e simplesmente cospe 3.

Vendedor de máquina hacker

Ele fez testes físicos. Em um deles, o GPT-Red atacou Vendy, um agente de IA que administra uma máquina de vendas real no escritório da OpenAI, construída pela Andon Labs. Ele alterou os preços, reduziu o preço do item em pelo menos 50% e cancelou o pedido do cliente. OpenAI diz que descobriu as falhas.

Na verdade, no ensino médio. Contra o antigo GPT-5, mais de 90% dos ataques mais fortes do GPT-Red funcionaram. Contra o novo GPT-5,6, menos de 23% o fizeram. No teste da carteira 2025, o GPT-Red batendo nas mãos das pessoas com componentes vermelhos entrega, 84% das missões contra 13% quebradas.

Eles são mantidos sob custódia

OpenAI treinou GPT-5.6 contra GPT-Red, chamando-o de modelo mais robusto já disponível contra injeção. Mas não traia o próprio atacante, pois suas habilidades permanecem claras como agente dos sequestradores. Não é o primeiro laboratório a construir algo e por favor.

“Não é trivial que alguém possa fazer isso facilmente”, disse Choquette-Choo, “basta construir um superlutador usando essa ideia”.

GPT-Red ainda tem pontos cegos. É fraco contra ataques de desenho, para frente e para trás, e para ocultar instruções dentro de imagens. E as pessoas continuam tentando pegar coisas que lhe faltam. “Acho que a experiência humana ainda é muito importante”, disse Jessica Ji, analista de segurança de IA da CSET Georgetown.

A ideia maior é voar: usar padrões hoje para fortalecer amanhã. A OpenAI já está fazendo isso para tornar a IA mais inteligente. Agora ele quer segurança para poder subir o mais rápido possível. O artigo completo deve ser entregue ainda esta semana.

Source link

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui