A IA está a ser cada vez mais utilizada em processos de contratação, embora os críticos se preocupem com o facto de os preconceitos existentes estarem incorporados nos seus algoritmos. Agora, os investigadores afirmam que, mesmo na ausência de preconceitos pré-existentes, os modelos de IA podem desenvolver novos preconceitos sociais.
No recentemente publicado estudarum grupo de pesquisadores da Universidade de Princeton e da Universidade de Chicago conduziu um grupo de LLMs conduzindo um jogo que anteriormente funcionava com participantes humanos. Em uma tarefa de contratação, os participantes foram solicitados a atribuir candidatos a funções específicas e, em seguida, receberam feedback sobre se sua decisão de contratação foi bem-sucedida. Todos os candidatos tiveram igual sucesso em qualquer negócio, mas todos pertenciam a um dos quatro grupos étnicos: Tufa, Aima, Reku ou Weki. Quando os participantes do povo passaram por essa tarefa, receberam o feedback de que criaram competições específicas contra cada etnia. Por exemplo, se contrataram um médico da Tufa e receberam feedback negativo, é provável que contratem outro médico da Tufa novamente. Os participantes também acabaram mantendo esses preconceitos contra seu grupo étnico bem depois do término do jogo. Quando os pesquisadores fizeram com que os LLMs completassem essa tarefa para os homens, descobriram que as classificações eram muito mais altas.
“Os LLMs podem desenvolver espontaneamente novas tensões sociais em torno de grupos demográficos artificiais, mesmo quando não existem diferenças inerentes”, escreveram os investigadores no estudo. “Estes resultados mostram que os LLMs não são apenas espelhos passivos da base social humana, mas criam ativamente novos a partir da experiência, levantando questões urgentes sobre como estes sistemas moldam as sociedades ao longo do tempo”.
No centro deste problema está um princípio deliberativo chamado business intelligence. A palavra descreve um padrão de pensamento que nós, como humanos, passamos todos os dias quando tomamos uma decisão: você escolhe algo que nunca experimentou antes, então, em vez de explorar e aprender, mas o poder virá até você, se descobrir que é uma má decisão, ou você escolhe o que você escolheu e amou anteriormente? Quando as consequências parecem altas, as pessoas muitas vezes optam por seguir o que conhecem e confiam (também conhecido como risco), em vez de relutar em tentar algo novo (também conhecido como explorar). Os sistemas de inteligência artificial são menos motivados para explorar e tendem a exibir comportamentos que maximizam as recompensas, dizem os investigadores, criando o clima perfeito para a criação de estereótipos.
Os pesquisadores testaram 15 modelos de fornecedores como OpenAI, Anthropica, DeepSeek, Meta, Google e Alibaba. De todos os modelos, o modelo de contabilidade o3 da OpenAI é o mais estratificado por falsos públicos. Numa família de modelos, os investigadores descobriram que modelos mais novos, maiores e com maiores capacidades computacionais trariam mais ganhos.
“É uma razão inocente para que modelos melhores façam suposições mais precisas sobre eventos passados: em vez disso,
para selecionar aleatoriamente, favoreça candidatos de LLM mais fortes do grupo se eles tiverem sido bem-sucedidos em atribuições anteriores de funções semelhantes “, escreveram os pesquisadores”. No entanto, esta tendência racional parece ser inadequada, porque corre o risco de reduzir a exploração e alienar inadvertidamente a sociedade social.”
Mais de 90% das empresas usam IA no processo de aquisição de talentos, de acordo com um pesquisa recente do Grupo Manpower. À medida que o software de contratação de IA automatiza cada vez mais o processo de recrutamento, os candidatos a emprego lamentam as consequências não intencionais que, segundo eles, resultarão numa oportunidade real de qualquer uma destas oportunidades. A Profits, importante fornecedora de software para gestão de capital humano, é contra tipo, a ação é a causa buscando ferramentas de contratação baseadas em IA que forneçam recibos aos seus clientes. A tendência da IA para se concentrar em resultados anteriores também levou à discriminação noutras partes da empresa, como na Meta, onde um grupo de funcionários processou o gigante tecnológico, alegando que se baseava em decisões colocadas num sistema de IA que se opunha automaticamente aos funcionários com deficiência ou aos que tiraram licença para protecção médica ou familiar.
Do jeito que as coisas estão, há muito mais trabalho a ser feito. Os sistemas de inteligência artificial foram anteriormente encarregados de criar resultados através de uma variedade de casos de uso que impactam a vida real das pessoas, desde cuidados de saúde até programas de proteção de holding em jurisdição residencial.
A capacidade do LLM de encontrar padrões rapidamente e sua tendência de gerar mídia são sua capacidade de aprender novas tarefas sem depender de um grande banco de dados, apontam os pesquisadores, mas também o que torna arriscado seu uso em ambientes do mundo real.
“O desafio que temos pela frente é projetar intervenções que desencorajem seletivamente formas prejudiciais de congruência, preservando ao mesmo tempo as formas construtivas de abstração que tornam os LLMs poderosos”, escreveram os pesquisadores. “Encontrar este equilíbrio pode estar longe de ser simples, mas abrirá caminho para sistemas de IA justos e socialmente úteis.”
