Durante meses, os gigantes da IA criaram proibições especiais de software e salvaguardas estritas para limitar o uso de seus modelos por hackers mal-intencionados. Mas estas limitações estão agora a dificultar o trabalho dos legítimos defensores da rede, bem como dos investigadores de segurança cibernética.
Em junho, o governo dos Estados Unidos impôs restrições à exportação dos altamente elogiados modelos de IA da Anthropic, Mythos e Fable. A mudança foi motivada, pelo menos em parte, por um relatório que afirmava que poderia contornar os guardas de segurança projetados para impedir que os usuários os usassem para construir e realizar ataques cibernéticos maliciosos.
Independentemente de a realidade ter ou não suscitado receios de uma prisão, na verdade o mito antrópico tem sido frequentemente comercializado como uma espécie de cibermáquina efémera que só pode ser dada a utilizadores cuidadosamente treinados e, mesmo assim, com guardas rigorosos no local. (A exportação mestre foi lançada posteriormente em Fable 5 e Mythos 5. Fable 5 voltou ao acesso geral em 1º de julho; Mythos 5 acabou de ser trazido de volta para instituições banidas dos EUA como parte do processo de revisão do governo.)
Este tipo de manutenção de mitos não é único. Tanto o Anthropic, com seus outros modelos, quanto o software OpenAI fornecem aos pesquisadores de segurança cibernética que podem aplicar para bloquear e, se comprovado, acessar modelos com segurança cibernética menos restritiva: OpenAI’s Cibernético e Antrópico Programa de verificação cibernética.
Estes vigilantes têm sido amplamente criticados, especialmente por investigadores, cujo trabalho é encontrar vulnerabilidades desconhecidas em sistemas e conceber formas de as explorar antes que os criminosos o façam.
Durante uma recente aparição no podcast de segurança cibernética, Mark Dowd, um conhecido pesquisador de segurança; ele disse que “não é realmente conveniente para mim tornar esses grandes grupos aleatórios arbitrários sobre o que é seguro e o que não é”.
Dowd passou décadas encontre e venda “nenhum dia” – as falhas do software até então desconhecido e as conquistas que os utilizam – aos governos do Ocidente, em vez de referir-se aos fatores dos programadores que se tornaram centenários. Os governos pagam um prémio pela exposição, na medida em que permanecem abertos, o que é útil para operações de inteligência.
Dowd admitiu que seu trabalho pode estar afastando-o, mas ele não está sozinho. Várias pessoas que trabalham em segurança cibernética ofensiva – investigando proativamente os sistemas em busca de pontos fracos – descreveram ao TechCrunch como usam ferramentas de IA e interagem com seus guardas.
Chris Anley, cientista-chefe do gigante de consultoria de segurança NCC Group, disse que procurar um modelo de IA para tentar explorar o bug é um passo fundamental para confirmar que vale a pena corrigir uma vulnerabilidade real. Mas se o guarda sugerir um exemplo que não responda claramente à pergunta, o guarda prejudica os defensores, disse ele.
“É aqui que entra toda a parte ofensiva versus defensiva e de segurança, porque ‘consertar este código’ é um mecanismo rápido e essencial para defesa, mas também um roteiro para encontrar vulnerabilidades críticas na base de código”, disse Anley. “Portanto, ao mesmo tempo, é a mesma ferramenta e uma ferramenta ofensiva e uma ferramenta defensiva, e as duas não podem ser lidas.”
Ele é um martelo, mas “Você não pode construir uma casa sem um martelo. É certamente uma ferramenta, mas também é irredutivelmente uma arma.”
Quando ele e seus colegas percorrem os dois caminhos, às vezes recorrem a modelos de IA de código aberto que encontram sem guardiões.
Paolo Stagno, diretor de tecnologia da CrowdFense, uma conhecida empresa que desenvolve, adquire e vende vulnerabilidades desconhecidas para agências governamentais, concordou com Dowd, dizendo que as equipes de IA “se tratam como bebês que precisam de babá” com programas e guardas proibidos.
Stagno disse que ele e seus colegas usam modelos limitados – mas apenas para engenharia reversa. Eles evitam usar IA para detectar vulnerabilidades ou criar explorações, disse ele, porque alimentar esse trabalho em um modelo baseado em nuvem corre o risco de descartar dados confidenciais de vulnerabilidade ou explorações em implantações futuras. Para essas etapas, diz ele, eles usam modelos de código aberto executados localmente, pois não dependem do compartilhamento de dados fora do modelo.
Giuseppe Cali, pesquisador de segurança que descobriu os dias e acontecimentos do Zéfiro, disse que os guardas não interferem em seu trabalho. É isso que a IA não usa para trabalhos desagradáveis; mas o utiliza para engenharia reversa inicial, para compreender o código, examiná-lo e construir ferramentas de suporte. Para isso, disse ele, as ferramentas de IA podem acelerar o processo e focá-lo na descoberta de vulnerabilidades.
“Eu mesmo quero ter o vírus da descoberta e da telessérie, e isso não mudaria se todos os guardas fossem substituídos amanhã”, disse Cali. “Tenho inveja dos meus insetos e gosto demais deste jogo para interpretar modelos para mim mesmo.”
Um investigador de um fabricante de componentes para smartphones, que falou sob condição de anonimato porque não está disponível para falar com a imprensa, disse que o seu empregador não faz parte do programa Anthropic CVP e, portanto, as suas ferramentas dificilmente são úteis para encontrar vulnerabilidades porque os guardas são demasiado rigorosos.
“Se o vento nos impede de fazer algo relacionado com a segurança, ele simplesmente para e não é útil”, disse ele.
Chris Thompson – executivo-chefe da empresa de segurança cibernética RemoteThreat e fundador da Offensive AI Con, um evento sério focado em segurança e IA – disse que em sua experiência no uso de IA para limitar modelos, os guardas podem resistir e trabalhar de maneira diferente diariamente. É verdade mesmo dentro dos limites mais flexíveis do software antropogênico e da proibição da OpenAI.
“Acho que o impacto prático é que você gasta muito tempo lidando com o modelo operacional em vez do desenvolvimento central da segurança”, diz Thompson. “Em vez de analisar a vulnerabilidade e o raciocínio por trás da exploração, você está tentando descobrir por que está obtendo resultados inconsistentes ou por que está produzindo muitas amostras de limpeza”.
Como resultado, os pesquisadores estão confiando ou pressionando por modelos chineses abertos como o GLM – modelos que podem ser baixados gratuitamente e que podem ser executados localmente, sem verificação ou restrições de uso – disse Thompson.
“Há estes investigadores responsáveis que estão a ser empurrados dos sistemas governamentais dos EUA para sistemas estrangeiros”, disse ele. “Acho que é mais destrutivo do que ter esses bons guardas no local.”
Em vez de reforçar ainda mais as restrições, Thompson apelou aos laboratórios de IA para abrirem o seu software, fornecerem acesso responsável e também responsabilizarem aqueles que fazem mau uso das ferramentas. Caso contrário, argumenta ele, os defensores perderão a corrida pela IA.
“Esta é uma grande tempestade que está chegando. Este é um grande ataque de ondas que virão com uma velocidade e tamanho como nunca antes”, disse Thompson. “Mas os mesmos consultores e pesquisadores de empresas de segurança que estão tentando fazer a diferença estão agora sendo sufocados”.
Quando você compra através dos links de nossos artigos, podemos ganhar uma pequena comissão. Isto não afeta a nossa independência editorial.
