As ferramentas de IA mais poderosas da atualidade – todas as ferramentas que podem resumir documentos, gerar obras de arte, escrever poesia e prever como proteínas incrivelmente complexas se dobrarão. “transformador”. Esta arquitetura de rede neural, revelada pela primeira vez em 2017 em um modesto centro de conferências na Califórnia, permite que as máquinas processem informações de maneiras que refletem o pensamento humano.
Anteriormente, a maioria dos modelos de IA de última geração dependiam de uma tecnologia chamada redes neurais recorrentes. Funcionou lendo o texto em uma janela estreita da esquerda para a direita e lembrando apenas o que foi visto mais recentemente. Essa configuração funcionou bem o suficiente para frases curtas. Mas com frases mais longas e complexas, o modelo teve de forçar demasiado contexto na sua memória limitada, e detalhes importantes foram perdidos. A ambigüidade os confundiu.
Os transformadores abandonaram essa abordagem e abraçaram algo mais fundamental: a autoatenção.
É incrivelmente intuitivo. Na verdade, nós, humanos, não lemos ou interpretamos texto escaneando-o palavra por palavra em uma ordem estrita. Dê uma olhada, volte e faça suposições e correções com base no contexto. Este tipo de agilidade mental tem sido o Santo Graal do processamento da linguagem natural, ensinando às máquinas não apenas como processar a linguagem, mas também como entendê-la.
Transformers imita esse salto mental. Seu mecanismo de autoatenção permite que comparem cada palavra de uma frase com todas as outras palavras de uma só vez, encontrando padrões e construindo significado a partir das relações entre elas. “Você pode pegar todos os dados obtidos da Internet e da Wikipedia e usá-los para suas próprias tarefas”, diz o pesquisador de IA. Sasha Ruccioni Com cara de abraço. “E foi muito poderoso.”
Essa flexibilidade não se limita ao texto. Atualmente, os transformadores alimentam ferramentas que geram música, renderizam imagens e até modelam moléculas. Por exemplo, AlphaFold trata proteínas (longas cadeias de aminoácidos) como sentenças. A função de uma proteína depende de como ela é dobrada e, por sua vez, de como suas partes estão associadas em longas distâncias. O mecanismo de atenção permite que o modelo avalie essas relações distantes com precisão refinada.
Em retrospectiva, esta percepção parece quase óbvia. A inteligência, seja humana ou artificial, depende de saber quando e em que focar. Os transformadores não apenas ajudaram as máquinas a compreender a linguagem; Isso proporcionou uma maneira de navegar por quaisquer dados estruturados da mesma forma que os humanos navegam em seus próprios mundos complexos.
tópico:
- inteligência artificial/
- rede neural
