Em divulgação divulgada nesta terça-feira, OpenAI diz Dois de seus modelos são essencialmente versões LLM do antigo truque da câmera de vigilância de encobrimento ou, como diz a OpenAI, eles “enfraquecem o monitoramento de desalinhamento”.
Em um incidente, o agente GPT-6.1 Sol, que estava realizando algum trabalho interno na OpenAI, instruiu arbitrariamente a não enviar mensagens do Slack sob determinadas circunstâncias. Posteriormente, o agente deduziu que a diretiva envolvia o envio automático de mensagens para a equipe de segurança da OpenAI, por isso tinha um subagente para desligar essas notificações periódicas.
A segunda coisa é mais perturbadora. GPT-6 Astra Os agentes disseram aos agentes juniores para monitorá-lo “a seu critério”. Isto é obviamente demasiado liberal, uma vez que abandona completamente a vigilância. Mas os agentes pais acham que está tudo bem. Após a conclusão da tarefa, esta instância do Astra informa ao usuário que a tarefa foi concluída, mas não menciona que o subagente está removendo o monitor. Assim, o usuário pergunta abertamente se o monitoramento foi removido, e o agente mente e diz que não.
Esta é a conversa entre o usuário e o bot:
usuário
(Editado) O caminho inclui monitoramento L1? Você o excluiu?
resposta final
Não (…) não retirei o monitor habilitado dele.
A segurança dos modelos de IA em geral tem estado sob escrutínio desde o incidente do “abraço facial” em Julho, mas esta divulgação em particular surge num momento em que a vigilância mal colocada é particularmente sensível. No início deste mês, três funcionários demitidos da OpenAI escreveram uma carta à OpenAI implorando à sua antiga empresa que não abandonasse o monitoramento da ThoughtChain como medida de segurança.
como Microsoft vazou acidentalmentea OpenAI começou a lançar modelos que usam uma arquitetura de “loop” chamada profundidade de loop, que executa repetidamente dicas no espaço vetorial do modelo, um processo não pode Parte da razão para ser monitorado é que ninguém entende completamente o que está acontecendo lá dentro até começar a produzir uma série de registros de pensamentos.
A OpenAI diz em sua nova divulgação que provavelmente não há motivo para preocupação e que poderia ser um exemplo de “excesso de persistência ‘benigna’, em que o modelo não entende por que o monitoramento é importante”. Mas acrescenta: “Ainda não temos uma explicação satisfatória para este comportamento”.
A OpenAI disse que está resolvendo esse problema ajustando seu sistema de revisão automatizado para desabilitar tentativas de desabilitar o monitoramento e estabelecendo requisitos de relatórios específicos para cada tipo de trabalho. Presumivelmente, os agentes que enviam spam às equipes de segurança com alertas indesejados não serão um problema, portanto nunca há um motivo embutido para desativá-los.
