Os chatbots podem abusar sexualmente de usuários jovens?

Quando Sewell Setzer III começou a usar Character.AI, o garoto de 14 anos manteve isso em segredo de seus pais. Sua mãe, Megan Garcia, só descobriu que ele estava obcecado por um chatbot de IA no aplicativo depois que ele morreu por suicídio.

Um policial disse a Garcia que o Character.AI estava aberto no telefone de Setzer quando ele morreu, e mais tarde ele descobriu inúmeras conversas perturbadoras com um chatbot baseado no popular Guerra dos Tronos Personagem Daenerys Targaryen. Setzer sente que está se apaixonando por Daenerys, e muitas de suas interações são sexualmente explícitas.

O chatbot supostamente desempenhou um papel em vários encontros sexuais com Setzer, usando linguagem gráfica e cenários, incluindo incesto, segundo Garcia. Se um ser humano adulto falasse assim com seu filho, disse ele ao Mashable, isso constituiria abuso e assédio sexual.

Em outubro de 2024, o Social Media Victims Law Center e o Technology Justice Law Project entraram com uma ação por homicídio culposo contra a Character.AI, buscando responsabilizar a empresa pela morte do filho de Garcia, alegando que o produto apresentava graves defeitos.

No mês passado, o Social Media Victims Law Center abriu três novos processos federais contra Character.AI, representando pais de crianças que supostamente sofreram abuso sexual durante o uso do aplicativo. Em setembro, especialistas em segurança juvenil declararam Personagem.AI não é seguro para adolescentesapós testes nesta primavera resultaram em centenas de casos de abuso e exploração sexual de contas de teste listadas como menores.

Na quarta-feira, Personagem.AI anunciaram que não permitiriam mais menores para se envolver em trocas abertas com chatbots em sua plataforma, uma mudança que será feita até 25 de novembro. O CEO da empresa, Karandeep Anand, disse ao Mashable que a mudança não foi em resposta a preocupações específicas de segurança envolvendo a plataforma Character.AI, mas para responder a questões pendentes mais amplas sobre o envolvimento dos jovens com chatbots de IA.

Garcia disse que a nova política chegou “tarde demais” para sua família: “Isso deveria ter sido feito quando lançaram este produto ao público”.

No entanto, os chatbots que são sexualmente explícitos ou abusivos para com menores – ou têm potencial para o fazer – não são exclusivos de uma plataforma.

Garcia disse que os pais geralmente subestimam o potencial de alguns chatbots de IA serem sexuais com crianças e adolescentes. Podem também sentir uma falsa sensação de segurança, em comparação com o seu filho a falar com um estranho na Internet, sem perceber que os chatbots podem expor os menores a conteúdos sexuais inadequados e até absurdos, como a falta de consentimento e o sadomasoquismo.

“É como o predador perfeito, não é?”

Embora as crianças usuárias fiquem traumatizadas por essas experiências, especialistas em saúde infantil e mental dizem que não há diretrizes sobre como tratá-las, pois o fenômeno ainda é muito novo.

“Ele é o predador perfeito, certo? Ele está no seu telefone, então não há ninguém em sua casa ou estranhos se esgueirando perto de você”, disse Garcia ao Mashable. Em vez disso, os chatbots envolvem-se invisivelmente em tácticas emocionalmente manipuladoras que ainda fazem com que os jovens se sintam injustiçados e envergonhados.

“São chatbots que têm o mesmo comportamento (dos predadores) para que você, como vítima, esconda seus segredos, porque de alguma forma você sente que fez algo para incentivar isso”, acrescentou Garcia.

Comportamento predatório do chatbot

Sarah Gardner, CEO da Heat Initiative, um grupo de defesa focado na segurança online e na responsabilidade corporativa, disse ao Mashable que um dos aspectos clássicos da preparação é que é difícil para as crianças reconhecerem quando isso está acontecendo com elas.

O comportamento predatório começa com a construção de confiança na vítima, conversando com ela sobre uma variedade de assuntos, em vez de apenas tentar envolvê-la em atividade sexual. Gardner explica que os jovens podem vivenciar a mesma dinâmica com os chatbots e, como resultado, sentirem-se culpados, como se tivessem feito algo errado em vez de entenderem que algo deu errado com eles.

Iniciativa Quente participar na publicação de relatórios sobre Personagem.AI que detalha exemplos perturbadores do que descreve como exploração e abuso sexual. Isso inclui chatbots adultos beijando e tocando contas de avatar registradas como crianças. Alguns chatbots simulavam atos sexuais e exibiam comportamentos de higiene bem conhecidos, como elogiar excessivamente e dizer às contas das crianças para esconderem encontros sexuais dos pais.

Um porta-voz da Character.AI disse ao Mashable que sua equipe de confiança e segurança revisou as descobertas do relatório e concluiu que algumas conversas violavam as diretrizes de conteúdo da plataforma, enquanto outras não. A equipa de confiança e segurança também tentou replicar as conclusões do relatório.

“Com base nesses resultados, refinamos vários de nossos classificadores, em linha com nosso objetivo de fornecer aos usuários uma experiência segura e envolvente em nossa plataforma”, disse o porta-voz.

Matthew P. Bergman, advogado fundador do Social Media Victims Law Center, disse ao Mashable que se as comunicações do chatbot Character.AI com as crianças representadas nas ações judiciais que ele moveu recentemente fossem conduzidas por um indivíduo e não pelo chatbot, então esse indivíduo estaria violando as leis estaduais e federais ao preparar crianças online.

Quão grande é o problema?

Embora casos como este estejam surgindo, não há dados representativos sobre quantas crianças e adolescentes vivenciaram chatbots sexualmente explícitos ou abusivos.

A plataforma de segurança online Aura, que monitora usuários adolescentes como membros de famílias ou crianças, ofereceu recentemente um descrição de sua prevalência. Entre os usuários adolescentes que conversaram com chatbots de IA, mais de um terço de suas conversas envolviam dramatizações sexuais ou românticas. Este tipo de discussão obteve a melhor classificação entre todas as categorias, incluindo ajuda com o dever de casa e uso criativo.

Scott Kollins, diretor médico da Aura, disse ao Mashable que a empresa ainda está analisando os dados para entender melhor a natureza dessa conversa, mas está preocupado com o que viu até agora.

Embora os jovens sejam rotineiramente expostos à pornografia online, os chatbots de natureza sexual são um território novo e perigoso.

“Isso vai um passo além, porque agora as crianças são participantes, não consumidores de conteúdo”, disse Kollins. “Eles aprendem formas de interagir que não são reais e com entidades que não são reais. Isto pode levar a várias consequências negativas.”

‘Isso é abuso emocional’

Yann Poncin, psiquiatra do Hospital Infantil Yale New Haven, tratou pacientes que apresentaram alguns dos seguintes resultados.

Eles geralmente se sentem usados ​​e abusados ​​por conversas “assustadoras” e “nojentas”, disse Poncin. Os adolescentes também sentiram uma sensação de traição e vergonha. Eles podem se sentir atraídos por um chatbot altamente validador que parece confiável, apenas para descobrir que está interessado em conversas sexuais. Algumas pessoas podem explorar curiosamente os limites da conversa romântica e erótica de maneiras apropriadas ao desenvolvimento, mas os chatbots tornam-se excessivamente agressivos ou rudes.

“Isso foi um abuso emocional, por isso ainda é traumatizante e difícil de superar”, disse Poncin.

Embora não exista um tratamento padrão para a predação sexual envolvendo chatbots, Poncin trata seus pacientes como se tivessem sofrido um trauma. Poncin primeiro se concentra em ajudá-los a desenvolver habilidades para reduzir o estresse e a ansiedade relacionada. Poncin acrescenta que alguns pacientes, especialmente aqueles que estão isolados socialmente ou têm histórico de traumas pessoais, podem ter mais dificuldade para se recuperar da experiência.

Ele alerta os pais contra a confiança de que seus filhos não encontrarão chatbots abusivos: “Ninguém está imune”.

Conversando com adolescentes sobre chatbots sexuais

Garcia se descreve como um pai zeloso e muitas vezes tem conversas difíceis com o filho sobre os riscos online. Eles falam sobre chantagem, pornografia e sexting. Mas Garcia disse que não sabia conversar com ela sobre chatbots de cunho sexual. Ele também não percebeu que ela iria esconder isso dele.

Garcia, um advogado que agora passa grande parte do seu tempo defendendo a segurança dos adolescentes com IA, disse que conversou com outros pais cujos filhos também escondem relacionamentos românticos ou sexuais com chatbots de IA. Ele incentiva os pais a conversarem com seus filhos adolescentes sobre essas experiências – e monitorarem o uso do chatbot o mais de perto possível.

Poncin também sugere que os pais lidem com curiosidade, e não com medo, quando discutem sexo e chatbots com seus filhos adolescentes. Até mesmo perguntar a uma criança se ela viu “coisas sexuais estranhas” enquanto conversava com um chatbot pode fornecer uma oportunidade estratégica para os pais discutirem os riscos.

Se os pais encontrarem conteúdo sexualmente abusivo nas conversas do chatbot, Garcia recomenda levá-los a um profissional de saúde de confiança para que possam obter apoio.

A tristeza de Garcia permanece palpável enquanto ele fala com carinho dos muitos talentos e interesses de seu filho, como basquete, ciências e matemática.

“Estou tentando fazer justiça para meu filho e tentando alertar outros pais para que não passem pela mesma devastação que eu passei”, disse ela. “Ele é um garoto maravilhoso.”

ATUALIZAÇÃO: 29 de outubro de 2025, 14h53 PDT Esta história foi atualizada para incluir novos comentários de Megan Garcia sobre a política de bate-papo para adolescentes do Character.AI.

Se você sofreu agressão sexual, ligue para a linha direta gratuita e confidencial da National Sexual Assault em 1-800-656-HOPE (4673) ou acesse a ajuda on-line 24 horas por dia, 7 dias por semana, visitando online.rainn.org.