A startup Gimlet Labs está resolvendo o gargalo de inferência de IA de uma forma surpreendentemente elegante

O professor adjunto de Stanford e fundador que saiu com sucesso, Zain Asgar, acaba de arrecadar US$ 80 milhões na Série A para uma startup que resolve o problema do gargalo de inferência de IA de maneira astuta. A rodada foi liderada pela Menlo Ventures.

A empresa, Laboratórios Gimletcriou o que afirma ser a primeira e única “nuvem de inferência multi-silício”, que é um software que permite que uma carga de trabalho de IA seja executada simultaneamente em diversos tipos de hardware. Ele pode dividir o trabalho de um aplicativo de IA em CPUs tradicionais e GPUs ajustadas para IA, bem como em sistemas com muita memória.

“Basicamente executamos qualquer hardware diferente disponível”, disse Asgar ao TechCrunch.

Um único agente pode encadear várias etapas, e cada uma “requer hardware diferente: a inferência é vinculada à computação; a decodificação é vinculada à memória; e as chamadas de ferramentas são vinculadas à rede”, escreve o principal investidor, Tim Tully, da Menlo, em uma postagem no blog sobre o financiamento.

Nenhum chip ainda faz tudo, mas à medida que novo hardware é lançado e GPUs antigas são reimplantadas, “a frota multi-silício está pronta – só falta a camada de software para fazê-la funcionar”. É isso que Tully acredita que o Gimlet Labs oferece.

Se a tendência atual de implantar mais computação continuar, Estimativas da McKinsey os gastos com data centers chegarão a quase US$ 7 trilhões até 2030. Asgar diz que os aplicativos usam apenas o hardware existente já implantado “algo entre 15 a 30 por cento” do tempo.

“Outra maneira de pensar sobre isso: estamos desperdiçando centenas de bilhões de dólares porque estamos apenas deixando recursos ociosos”, disse ele. “Nosso objetivo era basicamente tentar descobrir como fazer com que as cargas de trabalho de IA sejam 10 vezes mais eficientes do que nunca hoje.”

Então, ele e seus cofundadores, Michelle Nguyen, Omid Azizi e Natalie Serrino, começaram a criar um software de orquestração que divide as cargas de trabalho dos agentes para que possam ser espalhadas simultaneamente por todos os tipos de hardware.

A Gimlet Labs afirma que acelera de forma confiável a inferência de IA em 3x a 10x pelo mesmo custo e potência. Gimlet diz que pode até dividir o modelo subjacente para que ele funcione em diferentes arquiteturas, usando o melhor chip para cada parte do modelo.

A empresa já fez parceria com os fabricantes de chips NVIDIA, AMD, Intel, ARM, Cerebras e d-Matrix.

O produto da Gimlet, entregue como software ou por meio de uma API para sua própria Gimlet Cloud, não é para o desenvolvedor de aplicativos de IA comum. É para os maiores laboratórios de modelos de IA e data centers.

A empresa lançou publicamente em outubro com, disse, receitas de oito dígitos desde o início (ou seja, pelo menos US$ 10 milhões). Asgar disse que sua base de clientes mais que dobrou nos últimos quatro meses e agora inclui um grande fabricante de modelos e uma empresa extremamente grande de computação em nuvem, embora ele tenha se recusado a nomeá-los.

Os cofundadores já haviam trabalhado juntos na Pixie, uma startup que criou uma ferramenta de observabilidade de código aberto para Kubernetes. Pixie foi adquirida pela New Relic em 2020, apenas dois meses após seu lançamento com uma Série A de US$ 9 milhões liderada pela Benchmark. (A tecnologia da Pixie agora faz parte da organização de código aberto que supervisiona o Kubernetes.)

Depois que Asgar encontrou Tully aleatoriamente há cerca de um ano e também recebeu investimentos anjos de professores de Stanford, os VCs começaram a ligar. Após o lançamento, um termo de compromisso chegou à mesa de Asgar. Quando os VCs souberam que Asgar estava procurando ofertas, “recebemos um grande enxame de financiamento”, e a rodada rapidamente teve excesso de inscrições, disse ele.

Com a semente anterior, a startup já arrecadou um total de US$ 92 milhões, inclusive de uma série de anjos como Bill Coughran da Sequoia, o professor de Stanford Nick McKeown, o ex-CEO da VMware Raghu Raghuram e o CEO da Intel Lip-Bu Tan. A empresa emprega atualmente 30 pessoas.

Outros investidores incluem Factory, que liderou a semente, Eclipse Ventures, Prosperity7 e Triatomic.