A maneira como você fala com seu chatbot pode ser mais importante do que você pensa
Oscar Wong/Getty Images
Se você falar com um chatbot de IA em uma linguagem menos formal, como muitas pessoas fazem, a precisão de suas respostas diminuirá. Isto sugere que ou precisamos ser linguisticamente rigorosos ao usar chatbots, ou que a IA precisa ser treinada para se adaptar informalmente.
Fulei Zhang e Zhou Yu, da Amazon, investigaram como as pessoas iniciam conversas com agentes humanos em comparação com assistentes de chatbot alimentados por modelos de linguagem em larga escala (LLMs). Eles usaram o modelo Claude 3.5 Sonnet para pontuar conversas com base em uma variedade de fatores e descobriram que as pessoas que interagiam com chatbots eram menos precisas gramaticalmente e menos educadas do que quando falavam com humanos. Eles também usaram um vocabulário um pouco mais restrito.
Por exemplo, de acordo com as pontuações obtidas por Claude, as interações entre humanos foram 14,5% mais educadas e formais, 5,3% mais fluentes e 1,4% mais lexicalmente diversas do que as conversas com chatbots.
“Os usuários adaptam seu estilo de linguagem durante conversas humanas-LLM, produzindo mensagens mais curtas, mais diretas, menos formais e gramaticalmente mais simples”, escreveram os autores sobre o estudo em um artigo, embora não tenham respondido aos pedidos de entrevista. “Esse comportamento pode ser moldado pelos modelos mentais dos usuários de que o chatbot LLM é menos sensível socialmente ou incapaz de interpretações diferenciadas.”
No entanto, esta abordagem informal revelou ter um lado negativo. Na segunda avaliação, os pesquisadores treinaram um modelo de IA chamado Mistral 7B em 13.000 conversas entre humanos do mundo real e o usaram para interpretar 1.357 mensagens do mundo real enviadas ao chatbot de IA. Eles anotaram cada conversa em ambos os conjuntos de dados com uma “intenção” extraída de uma lista limitada, resumindo o que o usuário estava tentando fazer em cada caso. No entanto, como a IA Mistral foi treinada em conversas entre humanos, a dupla descobriu que a IA tinha dificuldade para rotular corretamente a intenção das conversas do chatbot.
Zhang e Yu então tentaram várias estratégias para melhorar a compreensão da IA Mistral. Primeiro, eles usaram Claude AI para reescrever mensagens mais concisas dos usuários em prosa humana, que usaram para ajustar o modelo Mistral. Isso reduziu a precisão do rótulo de intenção em 1,9% em comparação com a resposta padrão.
Então eles fizeram uma reescrita “mínima” usando Claude. Isso foi mais curto e direto (por exemplo, “Paris no próximo mês. Onde fica o hotel do voo?” para perguntar sobre opções de viagem e hospedagem para uma próxima viagem), mas reduziu a precisão do Mistral em 2,6%. Reescrever a alternativa “aprimorada” usando uma redação mais formal e variada também reduziu a precisão em 1,8%. O desempenho melhorou 2,9% apenas ao treinar o modelo Mistral com reescritas mínimas e aprimoradas.
Noah Jansiracusa O professor da Universidade Bentley, em Massachusetts, disse que não está surpreso que as pessoas falem com bots de maneira diferente do que falam com humanos, mas disse que isso não é necessariamente algo a ser evitado.
“Embora a descoberta de que as pessoas comunicam com os chatbots de forma diferente do que com outros humanos seja muitas vezes enquadrada como uma desvantagem dos chatbots, defendo, em vez disso, que é bom que as pessoas reconheçam que estão a falar com um bot e adaptem o seu comportamento em conformidade”, diz Giansiracusa. “Acho que isso é mais saudável do que tentar incansavelmente diminuir a distância entre humanos e bots.”
tópico:
