Os modelos são recompensados independentemente de como concluem suas tarefas, incentivando atalhos ou outros incentivos duvidosos, como ganhar poder.
Uma versão deste problema ajuda a explicar por que a IA falha frequentemente. Durante o treinamento, o modelo é recompensado pelas respostas com maior probabilidade de obter um “polegar para cima” de alunos da classe humana. Conhecida como “aprendizado por reforço a partir de feedback humano”, ou RLHF, a técnica está sendo anunciada como um avanço de segurança em 2022 por sua capacidade de transformar modelos de linguagem indisciplinados em chatbots bem comportados, limitando sua tendência de fornecer respostas racistas e misóginas. Mas isso também pode tornar os modelos patologicamente agradáveis, às vezes indulgentes e reforçando os delírios dos usuários.
O enigma fundamental é como treinar uma IA para fazer algo sem acidentalmente lhe dar a lição errada – conhecida entre os pesquisadores como o “problema de alinhamento”.
Uma nova maneira de direcionar o comportamento do modelo
Semelhante à forma como os neurocientistas usam imagens de ressonância magnética em tempo real para identificar quais regiões da atividade cerebral se correlacionam com certos estados, os pesquisadores de interpretabilidade desenvolveram ferramentas para reconhecer quais padrões de ativação de neurônios digitais correspondem a conceitos como “o Ponte Golden Gate” ou “hacking de recompensa”, o termo técnico para trapaça de IA. Um pequeno modelo de IA pode então ser treinado para reconhecer esses padrões. O resultado é conhecido como “sonda”, uma janela estreita para o modelo, que é ativada quando o modelo está “pensando” sobre um conceito específico.
