Eu não sabia se meus pais perceberiam que a voz do outro lado não era minha, ou que era minha, mas não perceberam. eu mesmo. A voz disse alô, perguntou como estava meu pai e, como ele não respondeu na hora, perguntou novamente. “O que foi, Gabby?” Ele imediatamente soube que algo estava errado. Expliquei que tentei enganá-lo, mas obviamente não funcionou. “Isso nunca aconteceu”, disse ele. “Parecia um robô.”
Não foi um experimento perfeito. Como meus pais estavam no exterior, a ligação era tênue. Eles estavam almoçando com amigos e o áudio não aguentava o crosstalk e o atraso do áudio, então tentaram preencher o silêncio. E o mais importante, a voz parecia humana, mas não como a minha.
Este áudio foi gerado pela empresa de detecção de deepfake Reality Defender. O problema dos meios de comunicação manipulados não é novo, mas o advento de ferramentas de IA destinadas ao consumidor tornou a criação de áudio, vídeo e imagens falsas inerentemente mais suave, e várias empresas intensificaram-se nos últimos anos para combater o problema. Reality Defender, Pindrop e GetReal fazem parte de uma indústria caseira de rápido crescimento de detecção de deepfake Estimado em US$ 5,5 bilhões A partir de 2023. Essas startups usam aprendizado de máquina para identificar mídia manipulada. Para combater os deepfakes, devemos ser capazes de criar deepfakes.
O termo “deepfake” refere-se a um tipo específico de mídia manipulada produzida por aprendizado “deep”, mas não há nada em comum que una todos os deepfakes, a não ser a forma como eles são criados. Eles têm sido usados para fraudes, assédio e memes. Ferramentas como Grok AI levaram a uma proliferação de deepfakes sexuais não consensuais, incluindo material de abuso sexual infantil. O golpista é clonou a voz das pessoasQuando liguei para meus parentes, ouvi uma voz dizendo que estava sendo exigido um resgate. Durante as eleições de 2024, estrategistas políticos e mágicos trabalharam juntos para criar um deepfake do ex-presidente Joe Biden que foi usado para dissuadir os democratas registrados em New Hampshire de votar nas primárias do estado. O presidente do Comitê de Relações Exteriores do Senado respondeu a uma ligação da Zoom de alguém que usou IA para se passar por um funcionário ucraniano. No nível corporativo, golpe falso profundo De acordo com um estudo, agora é “industrializado”.
A indústria de detecção de deepfakes existe principalmente para resolver um destes problemas: fraude corporativa.
O Reality Defender treina efetivamente a IA para combatê-la. A empresa usa “modelos baseados em inferência” para detectar deepfakes, disse o CTO Alex Lyle. “Nosso modelo básico usa algo chamado paradigma aluno/professor. Pegamos um monte de coisas reais e dizemos: ‘Isso é real.’ Então pegamos um monte de coisas falsas e dizemos: ‘Isso é falso'”.
Para o falso eu, passei algum tempo ajustando minha voz. Brinquei com consistência, estabilidade e tom para fazer com que soasse mais autêntico para mim. Havia um limite para o que podíamos fazer. Além de uma entrevista em podcast de 2021, não foram publicadas muitas imagens minhas falando espanhol (a língua que uso para me comunicar com meus pais), e a maior parte delas está inutilizável devido à música tocando ao fundo. Mas usando nove segundos de áudio e dados coletados em anos de postagens, eles conseguiram criar um agente de IA semi-convincente, embora desumano, que foi capaz de manter uma conversa com os pais. O modelo inglês que usei para meu irmão era melhor. Porque tínhamos muito mais dados de treinamento, mas ainda não eram convincentes o suficiente.
Mas a família é o teste mais difícil.
“Eles sabem como é a sua voz”, disse-me Scott Steinhardt, diretor de comunicações da Reality Defender. Com meu consentimento, Steinhardt criou um deepfake e o modificou até ficar mais ou menos parecido comigo. Minha família pode não se deixar enganar, mas provavelmente é suficiente para colegas de trabalho e pessoas jurídicas como bancos, por exemplo.
Nos últimos 40 mil anos, vivemos confiando nos nossos ouvidos e na nossa visão, mas agora não podemos mais fazer isso.
Para que essas ferramentas sejam eficazes, elas devem funcionar rapidamente. A geração AI é bastante lenta. Os modelos que chamamos de nossos pais sacrificaram a qualidade pela velocidade. Para responder rapidamente ao áudio, tivemos que aceitar a má qualidade em todos os aspectos. A conversão de texto em fala era muito melhor, mas demorava mais para ser gerada. Quando o monólogo de Lucky foi lido em voz alta Esperando por Godotsoou quase exatamente como eu.
“Como humanos, é muito difícil evitar ser deepfaked”, disse-me Nicholas Holland, diretor de produtos da Pindrop. “Acho que o desafio é: ‘Como posso proteger minha identidade pessoal?’ Isso é algo que o mundo ainda não entende. Eu penso: ‘Como minha instituição saberá que sou eu?’ Diferentes agências estão implementando diferentes camadas de segurança. ”
É também uma questão de recursos. Não tenho fundos para contratar uma empresa de detecção de deepfake para rastrear minhas chamadas, mas meu banco tem. E o meu banco tem mais a perder, se não em termos relativos, pelo menos em termos absolutos. Um estudo em 2024 Descobrimos que as empresas perdem US$ 450.000 por incidente deepfake, com várias empresas perdendo mais de US$ 1 milhão por transação fraudulenta.
Alguns desses incidentes envolvem golpistas se passando por executivos, ligando para subordinados e exigindo que grandes somas de dinheiro sejam transferidas para suas contas. Antes que eu pudesse entrar na ligação com Holland, recebi uma notificação pop-up no Zoom.
Este encontro está em análise. A Pindrop Security e seus fornecedores terceirizados gravam áudio e vídeo de reuniões para determinar se você é uma pessoa real ou apropriada. Ao clicar em (Concordo) abaixo, você concorda que o Pindrop colete, use e armazene sua reunião e áudio, varreduras faciais e de voz (que podem ser consideradas informações biométricas) e endereço IP (para identificar melhor seu estado, província ou país) para os fins descritos acima.
Eles me garantiram que meu rosto, voz e endereço IP seriam retidos por no máximo 90 dias.
Holland me disse que as empresas estão agora inundadas com falsos candidatos a empregos. Ironicamente, Pindrop também. “Estamos analisando situações diferentes. Estamos observando onde as pessoas estão realmente trabalhando. Talvez estejam trabalhando no departamento de TI”, disse Holland. “Temos clientes que contrataram alguém e essa pessoa lhes deu uma indicação. Eles contrataram mais duas pessoas, e acontece que a mesma pessoa foi contratada três vezes com três vozes diferentes, três rostos diferentes e três IDs do Slack diferentes.”
Normalmente, essas personas de vídeo não são totalmente geradas por IA. São pessoas que usam tecnologia deepfake para alterar suas características, quase como uma máscara digital. Costumava haver um truque para detectar isso. Envolvia pedir à outra pessoa que colocasse três dedos na frente do rosto.
“Isso simplesmente não funciona agora. O modelo de IA é tão bom que você pode criar uma mão completamente e colocá-la na frente do rosto”, disse Holland. “Agora é basicamente invisível.”
Lisle, do Reality Defender, disse que à medida que a tecnologia melhora, os ataques se tornarão menos trabalhosos. Antigamente, os golpistas se faziam passar por um único proprietário de empresa, mas agora eles têm como alvo funcionários de todos os níveis de uma empresa. Ele me contou sobre ataques recentes a empresas de capital aberto, embora não tenha mencionado seus nomes. Neste ataque, os fraudadores acessaram o LinkedIn, retiraram os nomes de todos os funcionários atuais, copiaram o TikTok e o Facebook para criar um “pool de informações” e obtiveram a impressão vocal de cada pessoa. Suas informações e impressões de voz foram inseridas no LLM para construir janelas de contexto e mapas que foram “distribuídos por toda a empresa” para chamar funcionários de todos os níveis.
“Na segurança cibernética, falamos sobre algo chamado ‘limite de confiança’”, disse Lyle. “O problema com os deepfakes é que sempre existem limites de confiança implícitos. Ver e ouvir é acreditar. Confiamos em nossos ouvidos e em nossa visão há mais de 40.000 anos, mas não podemos mais fazer isso. Existem todos esses limites de confiança nos quais não precisávamos pensar antes, e os hackers estão usando-os de maneiras interessantes.”
Por enquanto, este software destina-se apenas a grandes empresas. Eles têm a necessidade, os riscos são altos e eles têm muito dinheiro para pagar por isso. No entanto, a pessoa média não possui software de detecção de deepfake e não o terá em um futuro próximo. Como explica Holland, o maior desafio da adoção em massa é a conscientização. “Muitos consumidores desconhecem a ameaça, por isso não sabem como encontrar soluções. O marco zero está nas empresas que atendem os consumidores”. A Pindrop ainda não possui um produto de consumo, mas não descartou o desenvolvimento de um no futuro. O desafio, disse Holland, é “tornar esses sistemas rápidos, precisos e confiáveis o suficiente para que as pessoas possam confiar neles em todos os aspectos de suas vidas diárias”.
O Reality Defender tem uma perspectiva diferente. Steinhardt disse que os produtos de consumo criariam um “campo de jogo desigual e irregular para as pessoas”.
“Pense nisso como um antivírus. Enquanto antes era uma coisa individual com que se preocupar (ou pior, não se preocupar), agora seu navegador, provedor de e-mail, provedor de internet, etc. estão todos verificando se há malware em seus arquivos antes que ele chegue ao seu computador “, disse Steinhardt. “Esta é a nossa abordagem para detecção de deepfakes.”
Meu deepfake não enganou minha família, mas na verdade não tentei. As agências de aplicação da lei em todo o país têm alertado sobre golpes de sequestro falsos há anos. Ou seja, os pais recebem um telefonema com uma voz muito convincente pedindo ajuda, e então os “sequestradores” exigem um resgate. Uma voz chorando é convincente, mesmo que não seja totalmente convincente. Mesmo que fosse mentira, eu não conseguiria fazer isso com meus pais. Pensei brevemente em outros golpes também. Eu poderia ter ligado para o meu banco ou para a minha seguradora de saúde, mas a ideia de ter o acesso à minha conta bloqueado e a ideia de realmente cometer uma fraude legítima me afastou do experimento. Em vez disso, liguei para meu irmão. “Oh, não”, disse ele assim que alguém o chamou. Ele também não se enganou.
