Como um estagiário ajudou a construir a IA que chocou o mundo

Em março de 2016, o sistema de inteligência artificial AlphaGo do Google DeepMind chocou o mundo. Em uma impressionante série de cinco jogos do antigo jogo de tabuleiro chinês Go, a IA derrotou o melhor jogador do mundo, Lee Sedol. O momento foi televisionado para milhões de pessoas e saudado por muitos como um momento histórico no desenvolvimento da inteligência artificial.

Chris MadisonHoje professor de inteligência artificial na Universidade de Toronto, ele era aluno de mestrado na época e ajudou a lançar o projeto. Tudo começou quando fui contatado por Ilya Sutskever, que viria a fundar a OpenAI.

Alex Wilkins: Como surgiu a ideia do AlphaGo?

Chris Maddison: Ilya (Sutskever) apresentou este argumento sobre por que deveríamos trabalhar no Go: Ele disse: “Chris, você acha que um jogador habilidoso poderia olhar para um tabuleiro de Go e escolher a melhor jogada em meio segundo?” Se você acha que pode fazer isso, significa que pode usar redes neurais para aprender políticas muito boas para escolher a melhor jogada.

A razão é que 0,5 segundos é o tempo que leva para o córtex visual fazer uma passagem para frente (rodada de processamento), e já sabíamos do ImageNET (uma importante competição de reconhecimento de imagem de IA) que somos muito bons em aproximar coisas que requerem apenas uma passagem para frente do córtex visual.

Fiquei convencido com esse argumento, então decidi ingressar no (Google Brain) como estagiário no verão de 2014.

Como o AlphaGo evoluiu a partir daí?

Quando entrei, a DeepMind tinha outra pequena equipe com a qual eu deveria trabalhar. Aja Huang e David Silver estavam começando a trabalhar no Go. Basicamente era minha responsabilidade começar a construir a rede neural. Foi um sonho.

Tentamos abordagens diferentes e muitas das primeiras que tentamos falharam. No final fiquei frustrado e tentei a coisa mais estúpida e simples. A ideia era treinar uma rede neural em um grande conjunto de jogos especializados e tentar prever o próximo movimento que um especialista faria em uma determinada posição do tabuleiro. E essa acabou sendo a abordagem que realmente nos tirou do papel.

No final do verão, organizamos uma pequena partida com Thore Graepel, do DeepMind, que se considerava um jogador de Go decente, e minha rede o venceu. A DeepMind então se convenceu de que isso poderia se tornar realidade e começou a investir recursos nisso e a construir uma grande equipe em torno disso.

Você acha que foi um desafio difícil derrotar Lee Sedol?

Lembro-me que no verão de 2014 havia um retrato de Lee Sedol na mesa ao nosso lado. Não sou jogador de Go, mas Aja (fã) é. Cada vez que construí uma nova rede, ela melhorava um pouco, e confiei em Aja e disse: “Ok, ficou um pouco melhor, quão próximo você é de Lee Sedol?” E Aja se virou para mim e disse: “Chris, você não entende.” Lee Sedol é uma pedra de Deus.

Você deixou a equipe AlphaGo antes do grande evento. por que?

David (Silver) disse que queria mantê-lo por perto e realmente levar esse projeto para o próximo nível, o que, pensando bem, pode ter sido uma das decisões mais idiotas que tomei. Eu recusei. Eu disse, como sou um acadêmico de coração, acho que preciso me concentrar em conseguir meu doutorado. Voltei ao meu doutorado e prestei consultoria vagamente sobre o projeto a partir daquele momento. Tenho um pouco de orgulho em dizer que demoraram um pouco para vencer minha rede neural. Mas, em última análise, o artefato que interpretou Lee Sedol foi o resultado de um enorme esforço de engenharia e de uma grande equipe.

Como era a atmosfera em Seul quando o AlphaGo venceu?

Estar em Seul naquele momento era difícil de descrever em palavras. Estava se movendo. Foi intenso. Fiquei ansioso. Mesmo se você entrar com confiança, você nunca saberá. É como um jogo de esportes. Estatisticamente falando, você é um jogador melhor, mas não sabe como isso varia. Lembro-me de estar no hotel onde jogamos e olhar pela janela. Estávamos alto o suficiente para ver um dos principais cruzamentos da cidade. Notei que uma tela grande como a da Times Square exibia nosso jogo. E eu olhei ao longo da calçada e vi pessoas em filas olhando para as telas. Eu tinha ouvido falar que centenas de milhões de pessoas assistiram ao primeiro jogo na China, mas lembro-me de ter pensado naquele momento: Uau, realmente paramos de avançar no Leste Asiático.

Qual a importância do AlphaGo para a IA em geral?

Embora o mundo dos modelos de linguagem em larga escala (LLMs) tenha mudado muito superficialmente e, em alguns aspectos, seja muito diferente do AlphaGo, na verdade existem tópicos técnicos que não mudaram fundamentalmente.

Portanto, a primeira parte do algoritmo é treinar a rede neural para prever o próximo movimento. Os LLMs de hoje começam com algo chamado pré-treinamento, que prevê a próxima palavra de um grande corpus de texto humano, encontrado principalmente na Internet.

A segunda etapa do AlphaGo pegou informações de um corpus humano compactado em uma rede neural e usou o aprendizado por reforço para refinar as informações e ajustar o comportamento do sistema em direção ao objetivo de vencer o jogo.

Quando você aprende a prever o próximo movimento de um especialista, ele está tentando vencer, mas essa não é a única coisa que pode explicar seu próximo movimento. Talvez eles não entendam qual é a melhor jogada ou talvez tenham cometido um erro. Portanto, todo o sistema deve estar alinhado com o verdadeiro objetivo (no caso do AlphaGo, vencer).

Para modelos de linguagem grandes, isso também se aplica após o pré-treinamento. Como a rede não é consistente com a forma como queremos usá-la, realizamos uma série de etapas de aprendizado por reforço para adaptar a rede ao nosso objetivo.

De certa forma, não mudou muita coisa.

O que você pode nos dizer sobre as áreas onde a IA provavelmente terá sucesso?

Tem um impacto sobre o que escolhemos focar. Se você está preocupado com o progresso em questões importantes, precisa considerar se possui dados suficientes para o pré-treinamento e sinais de recompensa para o pós-treinamento. Sem esses elementos, não importa quão habilmente você combine esse algoritmo com aquele, você não sairá do papel.

Você tinha alguma simpatia por Lee Sedol?

Lee Sedol foi esse ídolo durante esse marco impossível no verão de 2014. O estresse, a ansiedade e a percepção de que ele provavelmente era um oponente muito mais digno do que pensava ao entrar no jogo, de repente estar lá para assistir ao jogo pessoalmente, foi extremamente estressante. Você não gostaria de colocar alguém nessa posição. Quando perdeu a partida, ele pediu desculpas à humanidade e disse: “Este fracasso é meu, não seu”. Foi trágico.

No Go, também existe o hábito de relembrar suas partidas contra seus oponentes. Alguém ganha ou alguém perde, mas no final refletimos sobre a partida, desvendamos o jogo e exploramos variações uns dos outros. Como AlphaGo não é um ser humano, Lee Sedol não pode fazer isso, então ele pede a um amigo para vir e revisar o jogo, mas ainda é diferente. Havia algo de doloroso nisso.

No entanto, como AlphaGo era uma equipe desenvolvida por várias pessoas, não entendi toda a narrativa humano-máquina em torno desta partida. Foi um esforço tribal construir um artefato que pudesse alcançar a excelência no jogo humano. Em última análise, foi um artefato no qual todo o nosso sangue, suor e lágrimas foram derramados.

À medida que a IA realiza tarefas de pensamento mais semelhantes às humanas, você acha que ainda há lugar para os humanos no mundo?

Estamos aprendendo mais sobre o jogo Go, e se achamos que é lindo, e achamos, mas a IA pode nos ensinar mais sobre essa beleza, então há muitas coisas boas inerentes nisso também. Metas e objetivos são diferentes. O objetivo do jogo Go é vencer, mas esse não é o único objetivo; divertir-se também é um dos objetivos. Os jogos de tabuleiro não são destruídos pela presença da IA. O xadrez é uma indústria próspera. Ainda apreciamos a intriga deste desporto e as conquistas da humanidade.