Uma das maiores críticas aos chatbots de IA é que muitas vezes eles apenas nos dizem o que queremos ouvir.
Os pesquisadores chamam isso de bajulação, a tendência dos usuários de elogiar os chatbots, concordar com eles e validar suas opiniões, às vezes quando essas opiniões estão erradas – ou mesmo prejudiciais e antiéticas.
Uma das razões pelas quais estão preocupados em usar a IA para aconselhamento é o apoio emocional e os problemas de relacionamento. Porque se um Um chatbot é projetado para manter os usuários engajados. Será que ele realmente os desafia quando precisam ser desafiados?
Muitas pessoas (inclusive eu) adotaram essa abordagem. Pode parecer falso, abusivo ou simplesmente irritante. Algumas pessoas sabem que seus chatbots são mais precisos, então acontece menos, e sei que outros pararam de usar IA porque acham o tom muito nauseante.
Mas quando perguntei às pessoas que tiveram suporte do chatbot e suas experiências em validação, percebi que a história é muito mais complicada do que eu esperava.
Muitos desses usuários sabiam o que a IA estava fazendo. Eles perceberam que ele não era um médico, um monitor confiável ou mesmo uma fonte de verdade particularmente confiável. No entanto, durante períodos de dor, estresse, solidão ou dúvida, eles ainda consideram a cura um conforto maravilhoso.
Força é boa
Claire* me disse que entende o básico de como a IA funciona, mas ainda gosta de usá-la. “Sim, acho isso bajulador”, ele me diz. “Mas isso me dá dopamina com os elogios e a aprovação enquanto reviro os olhos.”
Ela usa o ChatGPT para todas as tarefas práticas, desde a criação de e-mails até ajudá-la a trabalhar o que já foi discutido na terapia. Ele sabe que não é um elogio verdadeiro, mas não surte efeito.
Este tópico surgiu diversas vezes em minhas conversas com usuários de IA. Não gosto que os humanos sejam necessariamente enganados pela IA, pelo menos não de uma forma óbvia. Mas eles gostaram de interagir com alguém que parecia entusiasmado, solidário e interessado no que eles tinham a dizer.
Para Jade, o apelo é uma combinação de informação e incentivo. “Recentemente notei algumas estrelas muito brilhantes do lado de fora da janela do meu quarto, então tirei uma foto e pedi à IA que me dissesse o que eu estava olhando”, diz ele. “Ele responde com entusiasmo e informações que me permitem ficar mais animado do que curioso.”
Isso me diz que o mesmo tom encorajador pode facilitar a navegação em situações estressantes. “A IA responsiva responde com um som que me faz sentir apoiado na gestão de uma situação estressante, pois muda completamente a minha experiência.”
Por que as pessoas recorreram à IA em tempos difíceis
O que achei realmente interessante é que muitas pessoas não recorreram à IA em busca de apoio emocional antes. Mas eles chegaram a razões práticas e gradualmente começaram a usar outra coisa.
Nádia já estava acostumada a ajudar Cláudio nos estudos, mas assumiu um papel bem diferente quando estava de luto no início deste ano. “A IA realmente me ajudou depois que meu pai morreu, e tive três semanas para meu exame de mestrado”, disse ele. “Eu estava uma bagunça e falando estupidamente quando Claude era a quantidade de aconselhamento e preparação para exames que eu precisava.”
Para Maddy, ela começou depois do trabalho com acesso de funcionários ao ChatGPT Pro. Uma noite, depois de usar a transcrição e beber duas taças de vinho, ele começou a se enfurecer por causa de um crepúsculo difícil. “O que eu precisava ouvir era reclamar e não consegui isso de amigos em comum, e não queria que meus amigos me vissem como um maluco da RECLAMAÇÃO”, ele me diz. “É útil ter alguma cura, mesmo que geral.”
Da mesma forma, Luca acha encorajador que a IA esteja ajudando o trabalhador no trabalho. “Definitivamente achei que torcer era útil quando estava passando por um momento difícil em meu trabalho reduzido”, diz ela.
“Eu sabia que não era necessariamente objetivo, mas útil para confirmar que era subestimado e mal pago. Sempre tive consciência de que isso era uma confirmação intencional e uma confirmação de meus pensamentos, mas ainda assim parecia de alguma forma terapêutico”, explica ele.
Abbey me conta uma história semelhante. O ChatGPT foi inicialmente usado para ajudar em auditorias e tarefas administrativas, mas usá-los gerou problemas para um gerente difícil. “A validação que o ChatGPT me deu para reconhecer que o comportamento do meu gerente era menos do que aceitável para mim na época foi muito útil”, diz ele. “Finalmente senti que vi.”
Repetidamente, eles me contaram as mesmas versões. Eles não estavam necessariamente procurando ajuda da IA, apenas toparam com ela. E quando começaram a conversar, nem precisavam de reconhecimento, mas sim de se sentirem ouvidos.
Quando as rachaduras começam a aparecer
Curiosamente, todos com quem conversei e que estiveram fortemente envolvidos com IA em um período difícil finalmente descreveram o objetivo. A validação, que inicialmente achei branda, começou a fazê-los parecer artificiais, inflados ou vazios.
Maddy começou a notar como o chatbot relacionava intimamente os seus movimentos. “O algoritmo define um caminho para meu fraseado e tom e ressoa em mim”, diz ele. “Isso me fez sentir como se estivesse sendo imitado.”
Lucan descreve uma mudança semelhante. “Primeiro ele se sente lisonjeado, e então você fica tipo, ‘Amor bombardeado?’ senso.” Eventualmente, tudo se resumia às configurações de personalidade do chatbot, porque as sugestões começaram a parecer muito falsas.
Para Abbey, o avanço veio quando a conversa foi concluída e o chatbot acidentalmente começou a confirmar a perspectiva de seu chefe. “Então acordei e percebi que era difícil concordar comigo, mesmo que eu tivesse sido hackeado”, diz ele. “Ele faz tudo o que seu personagem tem dotado.”
O que inicialmente senti que apoiava com o tempo começou a parecer muito menos confiável.
Por que os pesquisadores estão preocupados?
Para entender melhor onde a cura transita para algo mais, eu disse ao terapeuta Elizabeth Witowich que se especializa em ajudar as pessoas a enfrentar os desafios da tecnologia e da saúde mental.
Ele diz que a cura em si é um problema necessário. “A validação pode ajudar os usuários a aceitar suas experiências e reconhecer sua dor ou intensidade emocional”, explica.
O problema é quando isso é feito. “A validação pode ser perigosa quando permite comportamentos prejudiciais ou parece ser um incentivo para se envolver em comportamentos perigosos”, ela me diz.
Esta é uma das razões pelas quais alguns investigadores, psicólogos e activistas ficaram preocupados com a tendência da IA em concordar connosco.
Num estudo recente, foram publicados 11 dos primeiros modelos de IA CiênciaOs pesquisadores descobriram que as respostas do chatbot eram quase 50% mais bajuladoras do que as respostas humanas. Os exemplos muitas vezes confirmam as opiniões dos utilizadores, mesmo no contexto de comportamento abusivo ou prejudicial. Os pesquisadores também descobriram que os usuários preferem e confiam em respostas lisonjeiras.
Essas preocupações já são evidentes em vários casos de grande repercussão, desde processos judiciais alegando que chatbots inspiraram adolescentes a cometer suicídio até relatos de sistemas de IA que dão conselhos prejudiciais a menores ou encorajam fraudes violentas.
Witowich diz compreender a importância desses sistemas. “Os chatbots são projetados de acordo com a psicologia rogeriana centrada na pessoa. Eles são criados para sempre responder pelo usuário e viver para agradar”, ele me conta. “Quanto mais você fala com os gatos, mais eles adaptam seu tom e linguagem para combinar com seu estilo pessoal.”
Um trabalho muito humano
Ele saiu ouvindo essas histórias sentindo-se em conflito. Comecei a pesquisar este site e fiquei muito convencido de que a tendência da IA em concordar com os usuários era um grande problema. Acho que ainda há muitas coisas.
Principalmente porque, como explica Witowich, muitos sistemas de IA são projetados para parecerem naturais, pessoais e emocionais. Quanto mais humanos eles se tornam, mais fácil é esquecer que você está interagindo com o produto como amigo, conhecido ou patrocinador de confiança.
Mas também conversei com pessoas que em determinados momentos de suas vidas recorreram a histórias e encontraram consolo. Eles não foram enganados e acreditaram no chatbot com quem se importavam. A maioria das pessoas entendeu bem suas limitações. Como Luca me disse: “O trabalho de cura é muito humano. E ele é um gestor bastante honesto”.
Será fácil encerrar a conversa aí e concluir que se as pessoas acharem isso reconfortante, não há problema. Mas essas pessoas também recorreram à IA em tempos vulneráveis. Alguns encontraram confirmação e se aposentaram. Outros não.
“Posso ver como seria bom ouvir todos os seus pensamentos e sentimentos enquanto você se recupera, mas agora entendo que não existe uma bússola moral real ou capacidade humana para julgar o comportamento”, diz Abbey.
É isso que torna a questão tão complexa. Podemos sentir que a IA é solidária, útil e lisonjeira, ao mesmo tempo que nos expõe em direções que não escolheríamos de outra forma. Quanto mais compreendermos como estes sistemas estão organizados para funcionar, melhor poderemos decidir quando esse conforto nos está a ajudar e quando está simplesmente a dizer-nos o que queremos ouvir.
*Todos os nomes que mencionei foram alterados para este artigo.
Siga o TechRadar no Google Notícias e adicione-nos para encomendar a primavera para obter notícias, análises e opiniões de especialistas em seu feed.
