Esta é a primeira vez que a OpenAI dá esse passo. A decisão incomum ocorre no momento em que a OpenAI se prepara para um IPO antecipado em uma corrida altamente competitiva com o arquirrival Antrópico, e enquanto os pesquisadores se preocupam com sua capacidade de controlar os rápidos avanços nas capacidades de IA.
A desaceleração desviou dois dos recursos mais importantes da OpenAI: pesquisadores e poder computacional. Altman me disse que vários pesquisadores que ele nunca pretendeu focar no alinhamento – fazer com que os sistemas de IA sigam a intenção humana – lhe disseram recentemente que estão mudando para isso. “Mudamos muitos cálculos não apenas para pesquisas de calibração, mas também para esses novos sistemas de monitoramento”, diz ele.
As mudanças seguem uma violação incomum envolvendo Hugging Face, uma plataforma popular onde os desenvolvedores hospedam modelos de IA. Um sistema OpenAI não lançado escapou da caixa de proteção de uma avaliação interna de segurança cibernética e comprometeu os sistemas de produção da Hugging Face. Os pesquisadores da OpenAI levaram cerca de uma semana para descobrir o incidente. Jakub Pachocki, cientista-chefe da empresa, reconheceu a falha, dizendo que a OpenAI construiu monitores que podiam verificar o que seus modelos estavam planejando, mas não os aplicou ao sistema na avaliação. “Para IA, você tem que esperar o inesperado”, ele me disse.
