A corrida pela inferência de IA mais rápida começou, e os mercados deram à Cerebros e aos seus chips especialmente concebidos uma recepção calorosa na sua estreia no IPO em Maio. Mas a startup francesa Coke aposta que há mais potência a ser extraída das GPUs convencionais.
Chegou à primeira página do Hacker News no início de maio com uma prévia da tecnologia que visava demonstrar que “a decodificação de solicitação única de alta velocidade é possível em GPUs de datacenter padrão que as empresas já possuem” – como GPUs AMD MI300X e Nvidia H200.
Alguns ficaram desapontados ao saber que isso não se estendia às GPUs de nossos laptops, mas outros viram potencial. A promessa da Coca-Cola de desbloquear novos recursos no hardware existente com atualizações de software atraiu mais do que um punhado de espectadores, com velocidade e custos hipotéticos agora um gargalo crítico. “Temos 200 linhas de negócios sólidas”, disse o CEO Gaël Delalleau ao TechCrunch.
Com base no feedback inicial, o fundador solo prevê a engenharia de software como o primeiro caso de uso. Os usuários veteranos do Claude Code sabem que às vezes precisam esperar horas para obter resultados. A própria Anthropic entende que velocidade vale dinheiro e cobra várias vezes o preço pelo Modo Rápido de Claudine.
A Coca-Cola espera atingir os clientes com esses atrasos porque eles dependem de fluxos de trabalho de IA para tarefas profissionais. Mas a startup também tem parceiros de design que permitem aos usuários criar jogos e aplicativos instantaneamente, e DeLaglio disse que o resultado rápido pode significar mais receita para o Coke Inference Engine (KIE).
A empresa percebe que esse mercado ainda é imaturo. Ao observar a procura, a Coca-Cola descobriu que os seus potenciais clientes não estavam preparados para uma boa conversão para modelos mais pequenos. “É por isso que, desde o lançamento, estamos totalmente focados em acelerar o desenvolvimento de modelos maiores para atender à demanda que temos visto.”
Isso faz da Coca-Cola um salto gigante no cumprimento de sua promessa de “inferência LLM 30x mais rápida”. Sua demonstração mostrou 3.000 tokens de solicitação por segundo (tps) – mas com um modelo pequeno e específico com apenas 2 bilhões de parâmetros, o LaneFormer 2B, agora de código aberto.
Ao contrário dos céticos, Delaleu acredita que a mesma abordagem poderia funcionar bem com LLMs, cujo tamanho pode ser um desafio para chips hipotéticos. “As GPUs têm um futuro brilhante”, disse ele. Para o CEO da Coca-Cola, a ideia de que eles não são adequados para decodificação acabou sendo um equívoco; As GPUs mais recentes têm mais largura de banda de memória que implora para ser desbloqueada.
A Coca-Cola não está sozinha ao pensar que a otimização de software pode ajudar as GPUs a fazer mais do que o que a caixa diz. A ZML, também da França, lançou um software independente de hardware que contorna o CUDA da Nvidia e suporta inferência mais rápida em chips concorrentes. Mas Delalleau disse que a Coca-Cola, assim como o laboratório Hazey Research da Universidade de Stanford, tem um foco ainda mais profundo na aceleração de GPU.
Delalleau não é um pesquisador, e sua primeira startup, Stripe, ex-aluno do TechCrunch50 2009, não tem nada a ver com sua nova empresa – seu ex-cofundador que se tornou VC Kamel Zeroual. Mas o foco profundo da startup vem de sua experiência única.
Ele estudou física do estado sólido na École Polytechnique da França e trabalhou em segurança cibernética ofensiva – também conhecida como hacking de chapéu branco. De acordo com DeLaglio, isso moldou a mentalidade que ele agora incentiva sua equipe a adotar. Do lado da ciência, “existe essa mentalidade de compreender as leis da física e as leis da GPU”.
Quanto ao hacking, o quatro vezes finalista da competição CTF da DEFCON disse que lhe ensinou “tudo, desde linguagem assembly até código binário – fazer engenharia reversa de coisas em um nível muito baixo, entender como funciona e tentar usá-lo para atingir um objetivo para o qual não foi projetado”.
A desvantagem desta abordagem é que ela é muito manual e demorada. “Para cada nova GPU, passamos semanas ou até meses investigando os detalhes e conduzindo pesquisas de engenharia de GPU nesse hardware.” Com uma equipe de 11 pessoas, isso limita o número de fichas nas quais Gag pode trabalhar, pelo menos em um futuro próximo.
No longo prazo, Gag espera alimentar seus algoritmos em pipelines baseados em agentes, o que permitirá suportar mais chips e modelos. À medida que a Europa procura desenvolver a sua própria capacidade em ambas as frentes, poderá acrescentar soberania às startups, que já são apoiadas pela Scaleway e apoiadas pela francesa Bpifrance e pela French Tech 2030.
Por enquanto, a Coca-Cola precisa provar ao mundo que sua abordagem funciona nos LLMs. Isto também será fundamental para obter mais financiamento. “Assim que executarmos nosso primeiro modelo grande com velocidade 10x, o que acredito que será em setembro, poderemos começar a demonstrar a tração do cliente e, a partir daí, poderemos aumentar nossa Série A”, disse Delalleau.
Quando você faz uma compra através dos links dos nossos artigos, podemos receber uma pequena comissão. Isso não afeta nossa liberdade editorial.
