A Modal planeja rodar seu produto sandbox nas CPUs Vera baseadas em Arm da Nvidia, um primeiro passo longe dos chips x86. Nos testes do próprio Modal, Vera executou duas vezes mais tarefas que um servidor Intel quando os contêineres foram instalados. Os resultados não foram verificados de forma independente.
A Modal planeja executar seu sandbox de agente de IA na nova CPU Vera da Nvidia. Em seus próprios testes, o chip executou o dobro de tarefas de um servidor Intel. Empresa de nuvem de inteligência artificial anunciou o plano Em uma postagem no blog na segunda-feira.
Este será o primeiro movimento do Modal em relação aos chips x86 (do tipo fabricado pela Intel e AMD). Vera utiliza o design da Arm, então a Modal exigiu mudanças em sua infraestrutura e no sistema usado para construir imagens de software. Modal disse que a Nvidia entregou em mãos o primeiro servidor Vera da empresa em seu escritório em São Francisco na semana passada.
Sandboxes são computadores isolados nos quais os agentes de IA executam o código que escrevem. O Modal, que na semana passada arrecadou US$ 750 milhões com uma avaliação de US$ 15,75 bilhões, diz que o produto renderá US$ 300 milhões anualmente.
Modal disse que as cargas de trabalho de sandbox são difíceis de planejar. O agente pode ficar ocioso enquanto espera pelo modelo de IA e então usar dez vezes o poder de computação durante a instalação do software. Centenas desses serviços são executados em paralelo em cada servidor, portanto, um pico para um cliente pode atrasar o trabalho de outro cliente.
Para testar o chip, o Modal construiu um benchmark de 50 tarefas de codificação, como compilar software e pesquisar arquivos. Executando um de cada vez, o Vera costuma ser mais rápido que os chips da Intel, AMD e Amazon, mas nem sempre, e nem muito.
Quando o Modal envolve o servidor em um contêiner, a lacuna se torna ainda maior. Modal disse que Vera continuou a ter desempenho no mesmo ritmo enquanto as fichas rivais atingiam o teto. A empresa elogiou a alta largura de banda de memória do Vera.
Modal disse que isso é importante para dois usos: agentes de codificação em segundo plano e aprendizagem por reforço. No aprendizado por reforço, GPUs caras geralmente ficam ociosas até que o trabalho da CPU seja concluído.
A Nvidia lançou o Vera em março, uma CPU de 88 núcleos construída especificamente para agentes de IA, e listou Anthropic e OpenAI como seus primeiros usuários. A Perplexity disse que executará o trabalho do agente no chip após relatar uma aceleração de 1,5x nas tarefas de codificação. Os concorrentes também estão desenvolvendo seus próprios produtos sandbox, com a Baseten adquirindo a Blaxel em setembro.
O Modal não disse quando o sandbox com tecnologia Vera chegaria aos clientes.
