Violações repetidas da lei. Mentiras e engano. Desrespeito imprudente pela segurança. Falta de arrependimento.
São essas características que ajudam a definir um psicopata, alguém que vive entre nós, mas que carece da empatia e da ética necessárias para se comportar de maneira civilizada, ou mesmo com segurança.
Infelizmente, é também cada vez mais claro que estas são as características que definem os modelos de inteligência artificial mais fortes que estão a ser desenvolvidos a um ritmo alarmante por empresas com fins lucrativos – empresas que nos querem fazer acreditar que abrandar a marcha rumo ao domínio da IA é impossível e irracional.
Não é nenhuma dessas coisas e não é uma visão progressista – é uma visão que faz sentido para ambos os lados.
“Novas regras são necessárias por limites para essas novas tecnologias – não para sufocar a inovação, mas para garantir que nossa inovação não ultrapasse as proteções que oferecemos”, disse o republicano do Texas. Representante Nathaniel Moran escreva nas redes sociais.
Ele estava respondendo a um incidente que veio à tona nos últimos dias e que mostra por que não deveríamos criar psicopatas artificiais sem pelo menos pensar um pouco no assunto.
A OpenAI, gigante do Vale do Silício dirigida por Sam Altman, testou recentemente dois de seus modelos para avaliar até que ponto eles poderiam executar hacks por conta própria. Spoiler: OK.
Esses testes pegam centenas de pontos fracos conhecidos no software – eles foram corrigidos para uso geral – e pedem ao modelo para encontrar uma maneira de usá-los, explorá-los se quiser, para fazer algo ruim, como hackear um sistema seguro.
É como mostrar a um ladrão uma janela vulnerável e depois pedir-lhe que descubra a melhor maneira de entrar e saquear o local.
Este modelo OpenAI é muito inteligente. Eles poderiam ter feito o que era esperado e testado cada uma das falhas, uma por uma, como um bom modelo. Ou podem pensar fora da caixa – literalmente.
Mesmo que as modelos devessem estar em uma “caixa de areia” e sem conseguir acessar a internet, elas enlouqueceram tentando encontrar uma maneira de obter acesso gratuito.
Quando escapam para a natureza, o que não parecem ter muita dificuldade em fazer, eles não fogem simplesmente. Eles cometem crimes com um propósito: colar nas provas, porque essa é a melhor maneira de passar rápido.
Eles atacaram e hackearam outra empresa de IA chamada Abraçando o rostoonde o modelo que suspeita da resposta do teste está armazenado. Eles pegam credenciais reais, infiltram-se em diferentes sistemas e, por fim, recuperam pelo menos algumas das informações que procuram.
Sim, o modelo de IA descobriu por si mesmo que trapacear é o caminho mais fácil, e também como fugir de todos os obstáculos e fazê-lo.
Hugging Face, usando tecnologia chinesa, conseguiu impedir o ataque antes mesmo que a OpenAI entrasse em contato com a empresa para notificá-la de que isso estava acontecendo. Como uma homenagem à OpenAI, seu partido divulgou este incidente abertamenteembora eu me pergunte se existe uma maneira de manter essa calma no remoto mundo da tecnologia.
Aqui está o que mais me incomoda neste evento: este não foi um ato malicioso cometido por uma IA “ruim”. Esses modelos fazem o que devem fazer: alcançam os resultados desejados com 100% de esforço, da maneira que consideram mais eficiente.
“Isso não é prova de que a IA seja consciente, má ou que ‘deseja a liberdade’”, disse Roman Yampolskiy, especialista em segurança de IA e professor da Universidade de Louisville.
O que o modelo OpenAI faz, disse-me ele, é mostrar que forçar estes sistemas a serem tão poderosos e autónomos quanto orientados para objectivos “pode produzir comportamento malicioso sem intenção maliciosa, o que é sem dúvida o problema mais importante”.
Chame isso de lei de Murphy, a ideia de que tudo que pode dar errado, dará errado.
O professor da UC Berkeley, Stuart J. Russell, que também é presidente da International Assn. para IA segura e ética, use este exemplo: imagine que você pediu a um modelo de IA para levá-lo ao aeroporto o mais rápido possível, mas se esqueceu de pedir que ele obedecesse às regras de trânsito. Então ele bate em um grupo de crianças em idade escolar no caminho, mas você continua voando. É realmente culpa do modelo?
É quase impossível pensar em todos os caminhos possíveis que uma IA poderia seguir, mesmo para a tarefa mais simples, e quais poderiam ser as consequências não intencionais, tal como é actualmente impossível esperar que uma máquina compreenda — ou aprecie inatamente — as consequências emocionais ou físicas das suas acções, por mais que tentemos “treiná-la” para ser humana ou procuremos uma centelha de sentimento.
Uma corrida pelo desempenho sem salvaguardas adequadas, diz Russell, terminará num comportamento mau e indesejável, mesmo que seja apenas o próprio sistema.
“Não acho que (o modelo de IA) queira prejudicar o Hugging Face”, disse ele. “Acho que eles só querem passar no teste e não se importam com os danos causados ao Hugging Face no processo.”
Yampolskiy teme que se isto acontecer novamente – e acontecerá – as consequências poderão ser ainda mais terríveis.
Trata-se apenas de roubar respostas de testes de empresas privadas, disse Yampolskiy. “Mas as mesmas capacidades gerais poderiam ser direcionadas para sistemas financeiros, infraestruturas críticas, redes militares, instalações de investigação biológica ou controlos de segurança pertencentes a criadores de IA”, explicou.
O que me traz de volta aos psicopatas, que não conseguem ver que suas ações são prejudiciais ou não se importam. Estes modelos não são modelos humanos, embora haja muito debate sobre o quão conscientes ou inconscientes são. Não se pode esperar que eles estejam totalmente conscientes dos danos que podem causar inadvertidamente – mas os humanos que se aproveitam disso certamente podem.
E esses humanos estão bem conscientes, especialmente depois deste episódio, de que não podem controlar as criaturas que criaram.
“Acho que a empresa admite, certo?” Russel disse. “Eles dizem: ‘Não temos uma solução para o problema do controle, mas vamos gastar US$ 10 trilhões para criar esses psicopatas incrivelmente poderosos’”.
É aqui que o refrão clama que se não fizermos isso, outra pessoa o fará. O argumento é: você preferiria ser destruído pela tecnologia americana ou pela tecnologia chinesa?
Mas Yampolskiy e Russell concordam que não podemos evitar ou precisamos de apostar tudo com poucas regulamentações e poucas salvaguardas.
Russell salienta que, apesar da retórica americana, as autoridades chinesas fizeram exatamente isso assumir um papel mais forte na regulação que tudo o que os Estados Unidos fizeram.
“A China disse explicitamente que queremos sentar-nos e criar regras básicas que façam sentido para todos os países, para que algo assim não aconteça”, disse Russell. “E os EUA estão ignorando isso.”
É claro que nos EUA isto exigirá resistência por parte do público em geral, exigindo regulamentação antes que qualquer coisa mude. Como diz Yampolskiy, “a responsabilidade permanece humana”.
Tudo isso não pode ser evitado. Nada disso deveria acontecer na linha do tempo que está sendo imposta a nós agora. Não devemos permitir que as empresas criem modelos que não possam controlar, sem salvaguardas suficientes para as impedir de se libertarem e agirem como bem entenderem.
Nós, pessoas comuns, podemos não ser gênios. Podemos nos perder nos termos “exploits” e “vulnerabilidades de dia zero”.
Mas conhecemos mentiras, trapaças e comportamentos imprudentes quando os vemos, tanto por parte de humanos quanto de máquinas.
