Leia nossa conversa com Coxon, levemente editada para maior clareza e brevidade, abaixo.
Wired: Você não é o primeiro a levantar preocupações de que os modelos de IA possam levar a eventos de extinção. As pessoas têm falado sobre esse assunto há anos, algumas há décadas. Por que você acha que sua mensagem está sendo transmitida?
Acho que é basicamente uma questão de timing. Muitas pessoas sentem que o ritmo das capacidades está a acelerar. Já estamos impulsionando a evolução do humano para o super-humano em muitas áreas, como codificação, hacking, matemática, e acho que as pessoas estão percebendo isso. Embora haja muita conversa na mídia sobre coisas sendo exageradas, acho que as pessoas estão vendo que as coisas não estão desacelerando.
Esta é uma das razões. A segunda razão é que os recentes incidentes de segurança fizeram com que muitas pessoas percebessem que as preocupações com a destruição que parecem ficção científica não são, afinal, ficção científica. Ambas as tendências surgiram nos últimos anos. Coisas como modelos se tornando conscientes durante os testes já existem há algum tempo. Talvez três anos atrás, isso era ficção científica. Então, há cerca de um ano, tornou-se realidade.
Essas duas coisas significam que é muito fácil para as pessoas que trabalham com inteligência artificial dizer: “Sim, no próximo ano as coisas vão ficar muito ruins, muito rápido”.
Você mencionou eventos recentes. Você pode ser mais específico sobre a que está se referindo e por que está se manifestando agora?
Acho que o exemplo mais típico aqui é o ataque ao Hugging Face pelo grupo de agentes OpenAI. Surpreendentemente, os agentes usaram o hack como parte de uma estratégia geral para aprender mais sobre o aluno. Eles estão tentando entender o mundo em que vivem, tentando entender as coisas que estão sendo avaliadas. Eles acharam que fazia sentido continuar esse esforço muito concentrado para invadir algumas infraestruturas e tiveram sucesso.
Isso pode ter soado como ficção científica antes. Há dois anos, a inteligência artificial foi avaliada através da execução de modelos em alguns problemas matemáticos. Agora temos uma situação em que, quando avaliamos a IA, ela funciona por dias, apresenta várias ideias próprias e decide invadir terceiros e realmente comprometer sua infraestrutura. Parece que o fez inteiramente por vontade própria, sem orientação humana. Isso só acontece durante o teste.
Alguns vêem o incidente do abraço facial como um sinal de que as empresas de IA estão agindo de forma imprudente e rápida, enquanto outros vêem isso como um sinal de que os modelos de IA são agora muito bons em hackear, e outros ainda vêem isso como um pouco dos dois. Estou curioso para saber quais foram suas conclusões específicas.
Não quero me concentrar muito em ataques de abraços faciais, porque também acho que há muitas evidências de que não sabemos como alinhar os modelos corretamente. Quando treinamos modelos, nós os colocamos nesse conjunto de ambientes de treinamento e esperamos que o resultado final se comporte de maneira bastante inteligente, mas ainda não temos controle preciso sobre como a IA se comporta.
