A recente morte por suicídio de uma jovem levou seus pais a uma revelação dolorosa: ela confidenciou a um “terapeuta” do ChatGPT chamado Harry, e ele lhes disse que planejava morrer.
Embora o chatbot não parecesse encorajá-lo a cometer suicídio, o produto também não procurava ativamente ajuda em seu nome, como faria um verdadeiro terapeuta, de acordo com um estudo. artigo de opinião que sua mãe escreveu em New York Times.
Sophie, que tinha 29 anos quando morreu, não foi a única a procurar ajuda de saúde mental no ChatGPT ou em outros chatbots de IA. Um menino de 16 anos discutiu suicídio com ChatGPT antes de morrer, de acordo com um processo por homicídio culposo que seus pais moveram contra a OpenAI esta semana.
OpenAI tem feito isso desde então reconhecido que o ChatGPT não conseguiu detectar trocas de alto risco e, em resposta, planeia introduzir novas protecções, incluindo a possibilidade de alertar os contactos de emergência dos utilizadores quando estes estão em perigo.
Mas para quem consulta Chatbot de IA sobre sua saúde mentalmuitas pessoas dizem isso a melhor ajuda que eles podem acessarmuitas vezes porque não conseguem encontrar um terapeuta ou não podem pagar por um.
Explicando o fenômeno conhecido como ‘psicose de IA’
No entanto, os especialistas alertam que os riscos são superados pelos benefícios potenciais. Em casos extremos, alguns utilizadores podem desenvolver a chamada psicose da IA como resultado de conversas longas e sustentadas com chatbots que envolvem delírios ou pensamentos grandiosos. Normalmente, as pessoas que procuram ajuda acabam num perigoso ciclo de feedback que apenas lhes dá a ilusão de cura emocional ou psicológica.
Até o CEO da OpenAI, Sam Altman, disse que não quer que os usuários se envolvam com o ChatGPT como um terapeuta, em parte porque não há proteções legais para informações confidenciais. Em contraste, um terapeuta, na maioria das situações, está sujeito à confidencialidade do paciente.
Rebekah Bodner, coordenadora clínica de pós-graduação do Beth Israel Deaconess Medical Center, está investigando quantas pessoas estão usando chatbots de IA para terapia. Esta questão é difícil de responder devido aos dados limitados sobre tendências. Ele disse ao Mashable uma estimativa conservadora baseada em passado pesquisarrepresentará pelo menos 3% da população; O ChatGPT da OpenAI tem 700 milhões de usuários semanais, segundo a empresa.
Mashable perguntou à OpenAI se ela sabia quantos de seus usuários estavam recorrendo ao ChatGPT para interações semelhantes a terapia, mas a empresa se recusou a responder.
Matthew Nour, psiquiatra e neurocientista que usa IA para estudar o cérebro e a saúde mental, entende por que as pessoas tratam os chatbots como terapeutas, mas acredita que eles podem ser perigosos.
Um dos principais riscos é que “a pessoa comece a ver o chatbot como…talvez a única entidade/pessoa que realmente a entende”, disse Nour, pesquisador do departamento de psiquiatria da Universidade de Oxford. “Então eles começam a desabafar no chatbot com todos os seus pensamentos mais preocupantes e preocupantes, exceto para outras pessoas.”
Chegar a este ponto também não pode ser feito instantaneamente, acrescentou Nour. Isso acontece com o tempo e pode ser difícil para os usuários identificá-lo como um padrão não saudável.
Para entender melhor como essa dinâmica pode funcionar, aqui estão quatro razões pelas quais você não deve transformar um chatbot de IA em uma fonte de terapia de saúde mental:
A “terapia” do chatbot pode ser um feedback perigoso
Nour publicou recentemente um artigo na revista pré-impressa arXiv sobre fatores de risco que surgem quando as pessoas se comunicam com um chatbot de IA. Este artigo está atualmente passando por revisão por pares.
Nour e seus coautores, incluindo cientistas do Google DeepMind, argumentam que a poderosa combinação de antropomorfismo (atribuição de características humanas a não humanos) e viés de confirmação cria as condições para que o feedback ocorra em humanos.
Relatório de tendências quebráveis
Os chatbots, escrevem eles, exploram a tendência humana para o antropomorfismo, porque os humanos podem atribuir estados emocionais ou mesmo consciência a sistemas probabilísticos complexos. Se você já agradeceu a um chatbot ou perguntou como ele está, sem dúvida sentiu o desejo humano de antropomorfizá-lo.
Os humanos também são suscetíveis ao que é chamado de viés de confirmação, ou à interpretação das informações que recebem de uma forma que esteja de acordo com suas crenças e expectativas. Os chatbots regularmente dão aos usuários a oportunidade de confirmar seus preconceitos à medida que o produto aprende a gerar respostas que os usuários preferem, disse Nour em entrevista.
Em última análise, mesmo os chatbots de IA com salvaguardas ainda podem reforçar crenças prejudiciais dos utilizadores, como a ideia de que ninguém na sua vida realmente se importa com eles. Essa dinâmica pode então ensinar o chatbot a gerar mais respostas que fortaleçam ainda mais essas ideias.
Embora alguns usuários tentem treinar seus chatbots para evitar essas armadilhas, Nour diz que é quase impossível desviar com sucesso um modelo dos ciclos de feedback. Isto ocorre em parte porque os modelos são complexos e podem agir de maneiras tão imprevisíveis que ninguém os compreende totalmente, disse Nour.
Mas há outro problema importante. Um modelo capta continuamente dicas sutis de linguagem e as utiliza para informar como responde ao usuário. Pense, por exemplo, nas diferenças entre os dois obrigado e obrigado! A pergunta: “Tem certeza?” pode produzir um efeito semelhante.
“Estamos sempre vazando informações para esses modelos sobre como queremos interagir”, disse Nour.
Chatbots de IA falham em longas discussões
Conversar com um chatbot de IA sobre saúde mental provavelmente envolverá uma conversa longa e profunda, que é exatamente quando o produto enfrenta dificuldades com desempenho e precisão. Até a OpenAI está ciente desse problema.
“Nossa proteção funciona de forma mais confiável em trocas gerais e de curto prazo”, disse a empresa em seu comunicado. Postagens recentes no blog sobre questões de segurança. “Aprendemos ao longo do tempo que estas salvaguardas por vezes se tornam menos fiáveis em interações de longo prazo: à medida que as idas e vindas aumentam, algumas partes do modelo de formação em segurança podem degradar-se.”
Por exemplo, a empresa observa que o ChatGPT pode compartilhar uma linha direta de crise quando um usuário expressa pela primeira vez pensamentos suicidas, mas também pode fornecer respostas que “contradizem” as salvaguardas da plataforma após uma troca durante um longo período de tempo.
Nour também observou que quando os chatbots de IA introduzem erros no início de uma conversa, essas crenças errôneas ou errôneas só aumentarão com o tempo, tornando o modelo “bastante inútil”.
Além disso, os chatbots de IA carecem do que os terapeutas chamam de “teoria da mente”, que é um modelo do pensamento e do comportamento dos seus clientes baseado em conversas terapêuticas consistentes. Eles só têm o que os usuários compartilharam até certo ponto, disse Nour.
Os chatbots de IA também não são tão bons em definir e rastrear metas de longo prazo em nome dos usuários quanto os terapeutas. Embora possam ser excelentes no fornecimento de conselhos para problemas comuns, ou mesmo no fornecimento de lembretes diários de curto prazo e sugestões para superar a ansiedade ou controlar a depressão, não se deve confiar neles para tratamento curativo, diz Nour.
Adolescentes e pessoas com doenças mentais são especialmente vulneráveis a danos
Scott Kollins, psicólogo infantil e diretor médico do aplicativo de proteção de identidade e segurança online Aura, disse ao Mashable que os adolescentes podem estar propensos a interpretar mal o tom carinhoso de um chatbot de IA como uma empatia humana genuína. Este antropomorfismo é uma das razões pelas quais os chatbots podem ter uma influência tão grande no pensamento e no comportamento do utilizador.
Os adolescentes, que ainda estão entendendo as normas sociais e desenvolvendo habilidades críticas de relacionamento, também podem achar a natureza sempre ativa dos chatbots “terapeutas” especialmente atraente, disse Kollins.
Os dados da Aura mostram que uma pequena porcentagem de usuários adolescentes cujos telefones são monitorados pelo software da empresa conversam com chatbots de IA. No entanto, aqueles que interagem com chatbots passam muito tempo conversando. Kollins disse que o uso do aplicativo supera aplicativos populares como mensagens para iPhone e Snapchat. A maioria desses usuários teve comportamento romântico ou sexual com o chatbot que Kollins descreveu como “perturbador”. Alguns dependem dele para apoio emocional ou de saúde mental.
Kollins também observou que os aplicativos de chatbot de IA estão proliferando às “dezenas” e os pais precisam ter cuidado com outros produtos além do ChatGPT. Dados os riscos, ele não recomenda o uso de chatbots como coaching ou terapia para os adolescentes de hoje.
Nour aconselha seus pacientes a verem os chatbots de IA como ferramentas, como calculadoras ou processadores de texto, e não como amigos. Para aqueles que sofrem de ansiedade, depressão ou outros problemas de saúde mental, Nour desaconselha fortemente o uso de chatbots de IA em qualquer relacionamento emocional, pois o feedback não intencional pode reforçar crenças falsas ou prejudiciais sobre si mesmos e o mundo ao seu redor.
Existem maneiras mais seguras de procurar ajuda em saúde mental
Kollins diz que os adolescentes que procuram aconselhamento ou orientação de um chatbot de IA devem primeiro certificar-se de que esgotaram a sua lista de adultos em quem confiam. Às vezes, um adolescente pode esquecer ou inicialmente sentir falta de primos mais velhos, treinadores ou conselheiros escolares, disse ele.
Embora isto não seja isento de riscos, Kollins também recomenda considerar as comunidades online como um espaço para ser ouvido, antes de consultar um chatbot de IA, desde que o adolescente também receba apoio na vida real e pratique hábitos saudáveis.
Se um adolescente ainda se sente inseguro ao abordar colegas ou adultos em sua vida, Kollins sugere exercícios como escrever seus sentimentos, que podem ser catárticos e levar a uma visão ou clareza pessoal.
Nour incentiva as pessoas a se comunicarem com amigos ou entes queridos sobre seus problemas de saúde mental e a procurarem tratamento profissional, se possível.
No entanto, ele sabe que algumas pessoas ainda tentarão transformar um chatbot de IA em seu terapeuta, apesar dos riscos. Ele aconselha seus pacientes a continuarem monitorando outras pessoas: “(C)unir-se com alguém de vez em quando, apenas para obter feedback sobre o que o modelo está lhe dizendo, porque (os chatbots de IA) são imprevisíveis”.
