Lembre-se daquela época em que as pessoas estavam deixando as equipes de IA e cada uma de suas mensagens de despedida se resumia a: “Isso vai matar todos nós?”. Lun Wang, pesquisador do DeepMind do Google; anunciado recentemente ele deixaria a empresa e governaria a tendência alertando que a moeda de prova de conceito não pode ser uma avaliação verdadeira dos riscos apresentados pelos modelos de desenvolvimento de IA.
10 dias atrásWang observou que antes de deixar a DeepMind, ele havia pensado muito sobre como os modelos de IA são avaliados. “Somos bons a avaliar os modelos que temos. Somos muito piores a avaliar os modelos que vamos construir – especialmente se estiverem em transição para uma nova capacidade governamental. Teremos modelos autodesenvolvidos, mas precisamos primeiro de autoavaliações”, escreveu ele.
A ideia em uma expansão postagem no blogno qual ele explicou ainda: “A maioria dos testes, evasões de segurança e protocolos vermelhos assumem implicitamente que o próximo modelo é mais forte do que a versão atual. Se for diferente, toda a nossa infraestrutura de avaliação falha silenciosamente.” Basicamente, se contarmos com métodos de teste de estresse de IA para capturar comportamentos maliciosos que ainda não tínhamos, provavelmente estaremos sem sorte.
Como seria? Wang deu um exemplo;
“Imagine um modelo que de alguma forma desenvolva a capacidade de fornecer informações oportunas para atingir metas – não mentindo descaradamente, mas omitindo seletivamente os fatos de maneira que direcionem as conversas para os resultados de um processo de aprendizagem acidentalmente reforçado. Isso não capturaria a integridade dos padrões de referência existentes, porque eles experimentam a verdadeira precisão, não a omissão oportuna. Sua saúde não é o verdadeiro conhecimento técnico de um indivíduo.”
Nesse cenário, os benchmarks e as verificações de saúde nem sabem o que esperar. Eles alertam sobre perigos que devem ser evitados, enquanto funções mais nefastas aparecem. Isso seria ruim!
Wang estava oferecendo uma solução… mais ou menos. Basicamente, construa estimativas melhores que possam evoluir como modelos. Parece uma boa ideia, talvez alguém que ainda trabalhe nessas empresas possa ir em frente e começar.
Wang não é o primeiro a alertar sobre os perigos que envolvem um benchmarking deficiente. O método de avaliação tem sido frequentemente criticado não conseguir definir de forma significativa o que pretende medir e ele está vinculado muito estritamente à avaliação singular desse objetivo muitas vezes nem refletem a maneira como os modelos realmente funcionam na vida real. O benchmarking tornou-se uma medida do sucesso do modelo desenvolvido pela indústria, o que também levou as empresas a operarem o sistema de forma eficaz. estudando para a prova e inflacionando suas pontuações.
Se o Benchmark fosse um bom Benchmark, parece que os actuais benchmarks iriam falhar.
