Computadores analógicos poderiam treinar IA 1000 vezes mais rápido e usar menos energia

Computadores analógicos que resolvem rapidamente os principais tipos de equações usadas para treinar modelos de inteligência artificial poderiam fornecer uma solução potencial para o aumento no consumo de energia dos data centers causado pelo boom da IA.

Laptops, smartphones e outros dispositivos conhecidos são conhecidos como computadores digitais porque armazenam e processam dados como uma série de números binários (0s ou 1s) e podem ser programados para resolver vários problemas. Por outro lado, os computadores analógicos são normalmente projetados para resolver apenas um problema específico. Ele armazena e processa dados usando quantidades continuamente variáveis, como resistência elétrica, em vez de 0s e 1s discretos.

Embora os computadores analógicos ofereçam velocidade e eficiência energética, eles têm sido historicamente menos precisos que os computadores digitais. agora, Zhong Sun Ele e seus colegas da Universidade de Pequim, na China, criaram dois chips analógicos que trabalham juntos para resolver com precisão equações matriciais que são uma parte fundamental da transmissão de dados através de redes de comunicação, da execução de simulações científicas em grande escala ou do treinamento de modelos de IA.

O primeiro chip produz soluções de baixa precisão para cálculos matriciais muito rapidamente, e o segundo chip executa um algoritmo de melhoria iterativo para analisar a taxa de erro do primeiro chip e melhorar a precisão. Sun disse que o primeiro chip produziu resultados com uma taxa de erro de cerca de 1%, mas após três ciclos com o segundo chip, a taxa de erro caiu para 0,0000001%, o que é consistente com a precisão dos cálculos digitais padrão.

Até agora, os pesquisadores construíram um chip que pode resolver matrizes 16 × 16, ou matrizes com 256 variáveis, que poderiam ser aplicadas a alguns pequenos problemas. Mas a Sun reconhece que resolver os problemas utilizados nos actuais modelos de IA em grande escala exigirá circuitos muito maiores, talvez até 1 milhão por 1 milhão.

No entanto, uma vantagem que os chips analógicos têm sobre os digitais é que eles não levam muito tempo para resolver matrizes maiores, enquanto os chips digitais têm mais dificuldade à medida que o tamanho da matriz aumenta. Isso significa que o rendimento (quantidade de dados processados ​​por segundo) de um chip de matriz 32 x 32 excede o rendimento da GPU Nvidia H100, um dos chips de última geração usados ​​​​para treinamento de IA atualmente.

Em teoria, um maior dimensionamento poderia resultar em um rendimento 1.000 vezes maior do que chips digitais, como GPUs, ao mesmo tempo que consome 100 vezes menos energia, disse Sun. No entanto, ele foi rápido em apontar que as tarefas do mundo real podem estar fora das capacidades muito limitadas do circuito e os benefícios podem ser pequenos.

“Esta é apenas uma comparação de velocidade e seus problemas podem ser diferentes na sua aplicação real”, diz Sun. “Nosso chip só pode realizar cálculos matriciais. Se os cálculos matriciais forem responsáveis ​​pela maioria das tarefas computacionais, o problema será acelerado de forma muito significativa, mas caso contrário, a aceleração será limitada.”

Portanto, o resultado mais provável, diz Sun, é a criação de um chip híbrido que coloca alguns circuitos analógicos em cima da GPU para lidar com uma parte muito específica do problema, mas mesmo isso pode levar anos de distância.

James Millen O professor do King’s College London diz que os cálculos matriciais são um processo chave no treinamento de modelos de IA, e a computação analógica tem o potencial de fazer a diferença.

“O mundo moderno é construído sobre computadores digitais. Estas máquinas maravilhosas são computadores universais, o que significa que podem ser usadas para calcular qualquer coisa, mas não necessariamente tudo de forma eficiente ou rápida”, diz Millen. “Os computadores analógicos são adaptados para tarefas específicas, o que os torna incrivelmente rápidos e eficientes. Neste trabalho, usamos chips de computação analógicos para acelerar um processo chamado inversão de matriz, que é um processo chave no treinamento de certos modelos de IA. Se pudermos fazer isso de forma mais eficiente, temos o potencial de reduzir as enormes demandas de energia que resultarão de nossa dependência cada vez maior da IA.”