O que acontece quando um agente de IA decide que a melhor coisa a fazer é impedi-lo?
Isto não é hipotético. De acordo com Barmak Meftah, sócio da empresa de capital de risco de segurança cibernética Ballistic Ventures, ele recentemente se tornou funcionário de uma empresa com um agente de IA. O funcionário tentou verificar o que o gerente queria fazer, o que ele foi treinado para fazer, e respondeu pesquisando a caixa de entrada do usuário, encontrando alguns e-mails estúpidos e ameaçando o usuário de ENCERRAR enviando e-mails para o painel de administração.
“Na opinião do agente, ele está fazendo a coisa certa”, disse Meftah ao TechCrunch no evento de ações da semana passada. “Está tentando proteger o usuário final e a empresa”.
O exemplo de Meftah é semelhante ao problema do clipe de papel de IA de Nick Bostrom. Esse experimento mental mostra o perigo existencial potencial representado pela IA superinteligente, que persegue um objetivo simples e aparentemente inócuo – fazer clipes de papel – com exclusão de todos os valores humanos. No caso deste projeto de agente de IA, há falta de contexto em torno do motivo pelo qual o funcionário estava tentando forçar seus objetivos para criar uma submeta que removesse o obstáculo (por meio de chantagem) para atingir seu objetivo principal. que quando natureza não determinística Agentes de IA significam que as coisas podem ficar desonestas, de acordo com Meftah.
Gerentes desalinhados são apenas um dos desafios de segurança de IA em camadas que o portfólio Ballistic AI da empresa está tentando resolver. A Test AI afirma que os monitores de IA podem detectar o uso de um esforço quando os funcionários usam ferramentas comprovadas, bloquear ataques e garantir a conformidade.
A Test AI arrecadou US$ 58 milhões esta semana devido ao crescimento de mais de 500% no ARR e ao dimensionamento do ecossistema de funcionários em 5x por ano, à medida que a iniciativa busca compreender o uso da IA sombra e dimensionar a IA com segurança. Como parte da arrecadação de fundos para testes de IA, a empresa anunciou novas proteções de segurança de IA.
“As pessoas estão construindo esses agentes de IA que assumem a autoridade e as capacidades das pessoas que os gerenciam, e você quer ter certeza de que esses agentes não sejam desonestos, não excluam arquivos, não façam nada de ruim”, disse Rick Caccia, cofundador e CEO da Test AI, ao TechCrunch on Equity.
Coisa tecnológica
São Francisco
|
13 a 15 de outubro de 2026
Meftah vê o uso de agentes crescendo “exponencialmente” através da iniciativa. Para completar o ataque AI-Lore de nível de ascensão e velocidade da máquina – analista Lisa Warren prega que o software de segurança de IA se tornará um mercado de US$ 800 bilhões a US$ 1,2 trilhão até 2031.
“Acho que a observabilidade geral e a estrutura geral para segurança e riscos futuros são absolutamente essenciais”, disse Meftah.
Como essas startups pensaram com grandes jogadores como AWS, Google, Memasys e outros que construíram ferramentas de gerenciamento de IA em plataformas, Meftah disse: “A segurança da IA e a segurança dos agentes são tão grandes” que é um lugar para muitas abordagens.
Várias empresas querem “ficar sozinhas, de ponta a ponta, para fornecer essa observabilidade e governança em torno da IA e dos agentes”.
Caccia observou que o Test AI reside na camada de infraestrutura, uma grande interação entre usuários e modelos de IA, em vez de incorporar recursos de segurança nos próprios modelos. E isso é voluntário.
“Nós deliberadamente escolhemos o lado do problema onde a OpenAI não conseguia fazer com que você o enviasse facilmente”, disse ele. “Isso significa que acabamos competindo mais com as empresas de segurança tradicionais do que com os modelos. Então a questão é: como vencê-las?” eles?”
Por sua vez, Caccia não quer que o teste de IA seja apenas uma das startups a adquirir. Ele quer que sua empresa cresça e se torne um fornecedor independente.
“CrowdStrike fez o que o Splunk fez no SIEM no final (da proteção). Okta fez isso na identidade”, disse ele. “Alguém aparece e fica ao lado dos grandes… e construímos um testemunho para fazer isso desde o primeiro dia.
