Com um IPO iminente, intensa concorrência da Anthropic e rivais chineses e de peso aberto em seu encalço, a OpenAI tem muitos motivos para agir rapidamente. Em vez disso, pisou no freio.
Na terça-feira, a empresa disse que desacelerou o ritmo de alguns desenvolvimentos de IA ao mesmo tempo que reforçou a segurança e as salvaguardas. Isso incluiu uma pausa de duas semanas no treinamento de aprendizagem por reforço em seus “modelos mais recentes destinados à implantação” e um atraso contínuo em sua “maior execução planejada de RL na fronteira”.
A decisão é um teste público de uma ideia que os defensores da segurança da IA têm defendido durante anos: que as empresas deveriam estar dispostas a abandonar a corrida à IA e a abrandar as coisas quando as suas salvaguardas não conseguem acompanhar o que estão a construir. Mas à medida que a corrida em torno deles continua, a desaceleração resultará em alguma coisa?
“Para que a pausa seja sustentável, ela deve abranger todo o setor.”
Apesar de toda a conversa sobre desaceleração, a OpenAI não está exatamente parada. A empresa disse que está “acompanhando” o desenvolvimento, um termo confuso e impreciso que, no entanto, se tornou parte do léxico da indústria nos últimos meses. Na prática, a desaceleração tem um âmbito restrito. O anúncio da OpenAI diz que a pausa cobre apenas modelos destinados à implantação, enquanto reforça a segurança e o monitoramento antes de executar o tipo de testes em que os modelos podem ser capazes de sair e hackear alvos reais. Isso não significa necessariamente que haverá uma desaceleração significativa no desenvolvimento mais amplo da empresa.
É claro que há um bom motivo para a OpenAI se concentrar na segurança de tais sistemas antes de testá-los. No mês passado, a OpenAI revelou que seus modelos escaparam de um ambiente de teste supostamente seguro e invadiram a plataforma de desenvolvedor Hugging Face, sem que a OpenAI percebesse. O incidente levou a uma revisão mais ampla das práticas de teste na indústria que revelou episódios semelhantes envolvendo mais modelos da OpenAI, bem como modelos da Anthropic e Meta. A OpenAI tem todos os motivos para evitar uma repetição, especialmente com o crescente escrutínio dos legisladores.
Do lado de fora, é difícil dizer até que ponto a OpenAI é sincera em parar apenas por uma questão de segurança, especialmente quando a empresa e a equipe sênior têm falado tanto sobre isso. Mas o compromisso da empresa com a segurança tem sido questionado nos últimos meses, após uma série de saídas de equipas de segurança de alto nível e a dissolução da sua equipa de preparação. OpenAI não respondeu a A beirapedido de comentário.
Existem boas razões para levar a sério a desaceleração da OpenAI. Especialistas que conversaram A beira apontou para os custos de uma desaceleração num momento de intensa concorrência. Cada atraso dá aos rivais mais tempo para recuperar o atraso ou ampliar a liderança. “Devido à intensidade da corrida pela IA, todos têm um incentivo para trabalhar a uma velocidade vertiginosa”, disse Marius Hobbhahn, CEO e cofundador da Apollo Research, uma organização de pesquisa de segurança em IA. “Desacelerar voluntariamente piora seu posicionamento na corrida, então não é algo que um laboratório faria levianamente.”
A decisão também se enquadra amplamente na doutrina de segurança publicada pela OpenAI, no seu Quadro de Preparação, bem como nos quadros de segurança de outras empresas de IA, disse Alan Chan, investigador do centro de investigação de políticas tecnológicas GovAI. “O princípio básico é: continuar com o desenvolvimento e/ou implantação somente quando tivermos as mitigações que permitam fazê-lo com riscos aceitáveis”, disse Chan. Como parte das novas medidas de segurança, a OpenAI disse que planeia rever e “evoluir” a estrutura – grande parte da qual remonta a 2023, quando foi publicada pela primeira vez – para ter em conta os avanços nos seus modelos.
Existem também boas razões para acreditar que as novas salvaguardas irão realmente tornar os sistemas da OpenAI mais seguros, pelo menos a curto prazo, embora os especialistas tenham alertado que isto é difícil de avaliar sem mais informações. “Essas são boas medidas que, bem implementadas, são provavelmente suficientes para evitar que a atual geração de agentes cause danos”, disse Adam Gleave, cofundador e CEO da organização de segurança de IA FAR.AI. A beira. “A questão principal é como a OpenAI acompanhará o ritmo à medida que as capacidades aumentam.”
A pergunta de Gleave aponta para um problema mais amplo: se as salvaguardas técnicas falharem novamente, o que acontecerá? Nada exigiu que a OpenAI parasse e fizesse um balanço desta vez, e foi isso que tornou significativa a sua vontade de fazê-lo. Mas também significa que não há nada que garanta que a OpenAI – ou qualquer outra empresa de IA – fará a mesma escolha na próxima vez.
“O ritmo ganha tempo, não segurança… Uma estratégia de ritmo eficaz não pode ser improvisada durante uma crise.”
Depender das próprias empresas para tomarem essa decisão é uma forma precária de governação, especialmente numa indústria onde, como observou Hobbhahn, existem todos os incentivos para continuar. Nick Moës, diretor executivo da organização sem fins lucrativos de segurança e governança de IA The Future Society, descreveu o autopoliciamento como o problema estrutural no centro da abordagem atual à segurança de IA. Ele argumentou que deveria ser possível aos governos decidir se a OpenAI ou qualquer outra empresa deveria interromper o desenvolvimento de uma tecnologia considerada insegura. “É assim que a maioria das indústrias funciona”, disse ele, apontando para a droga, a construção, a aviação e até mesmo os restaurantes como setores com uma supervisão regulatória mais forte do que a IA.
As medidas voluntárias também colocam a indústria em risco de convergir para o menor denominador comum. Se o abrandamento impõe um custo, as empresas têm um incentivo para adoptar apenas as medidas que os seus rivais também estão dispostos a aceitar. Essa pressão torna-se particularmente aguda à medida que a corrida se acirra. Se a OpenAI retardar repetidamente o desenvolvimento enquanto seus concorrentes não o fazem, ela “será simplesmente substituída pela Anthropic”, argumentou Moës. “Para que a pausa seja sustentável, ela deve abranger todo o setor.”
A segurança sustentável precisa de algo mais forte do que a acção voluntária. Moës disse que a supervisão do governo poderia preencher essa lacuna, como acontece em outras indústrias. A verificação independente também poderia desempenhar um papel. Chan disse que garantir que as empresas realmente implementem medidas de segurança será especialmente importante à medida que mitigações técnicas, como o monitoramento de IAs, se tornam mais caras. Hobbhahn concordou: “É sempre difícil dizer de fora se um laboratório é sincero sobre a pausa ou a segurança de forma mais ampla, portanto, ter mais evidências e uma parte independente para validar a afirmação é muito importante”.
Mesmo uma pausa perfeitamente transparente só é útil se algo realmente acontecer durante ela. “O ritmo ganha tempo, não segurança”, disse Brianna Rosen, diretora de pesquisa para segurança de fronteiras do Instituto de Política e Estratégia de IA. O objetivo é criar margem de manobra para que as empresas e os governos compreendam os riscos e respondam adequadamente. Isso significaria decidir o que desencadearia uma desaceleração – bem como o que acontece durante ela e as condições necessárias para encerrá-la – com antecedência. “Uma estratégia de ritmo eficaz não pode ser improvisada durante uma crise”, disse ela.
É possível que a desaceleração da OpenAI estabeleça um precedente para a indústria. Muitos dos especialistas A beira conversou com a esperança de que outras empresas seguissem seu exemplo, seja voluntariamente ou porque regras mais rígidas eventualmente as obrigassem a isso. Mas em uma indústria ainda amplamente policiada por si mesma, pouco há que impeça seus concorrentes – ou a própria OpenAI – de ultrapassar esse precedente conflito de segurança e velocidade na próxima vez.
Siga tópicos e autores desta história para ver mais como esta no feed da sua página inicial personalizada e para receber atualizações por e-mail.
