Cloud AI do Google lidera nas três fronteiras de capacidade de modelo

Como vice-presidente de produtos do Google Cloud, Michael Gerstenhaber trabalha principalmente no Vertex, a plataforma unificada da empresa para implantação de IA empresarial. Isso lhe dá uma visão de alto nível de como as empresas estão realmente usando modelos de IA e o que ainda precisa ser feito para liberar o potencial da IA ​​agente.

Quando falei com Michael, fiquei particularmente impressionado com uma ideia que não tinha ouvido antes. Nas suas palavras, os modelos de IA estão a ultrapassar três fronteiras ao mesmo tempo: inteligência bruta, tempo de resposta e uma terceira qualidade que tem menos a ver com capacidade bruta do que com custo – se um modelo pode ser implementado de forma suficientemente barata para ser executado numa escala massiva e imprevisível. É uma nova maneira de pensar sobre as capacidades do modelo e particularmente valiosa para qualquer pessoa que esteja tentando levar os modelos de fronteira em uma nova direção.

Esta entrevista foi editada para maior extensão e clareza.

Por que você não começa nos contando sua experiência em IA até agora e o que você faz no Google?

Estou na IA há cerca de dois anos. Estive na Anthropic por um ano e meio, estou no Google há quase meio ano. Eu administro a Vertex, a plataforma de desenvolvedores do Google. A maioria de nossos clientes são engenheiros que criam seus próprios aplicativos. Eles querem acesso a padrões de agente. Eles querem acesso a uma plataforma de agente. Eles querem acesso à inferência dos modelos mais inteligentes do mundo. Eu forneço isso a eles, mas não forneço os aplicativos em si. Isso cabe ao Shopify, à Thomson Reuters e aos nossos vários clientes fornecerem em seus próprios domínios.

O que atraiu você para o Google?

Acho que o Google é o único no mundo porque temos tudo, desde a interface até a camada de infraestrutura. Podemos construir data centers. Podemos comprar eletricidade e construir usinas de energia. Temos nossas próprias fichas. Temos nosso próprio modelo. Temos a camada de inferência que controlamos. Temos a camada agente que controlamos. Temos APIs para memória, para escrita de código intercalado. Além disso, temos um mecanismo de agente que garante conformidade e governança. E ainda temos a interface de chat com Gemini Enterprise e Gemini Chat para consumidores, certo? Então, parte do motivo pelo qual vim aqui é porque via o Google como único e integrado verticalmente, e isso é um ponto forte para nós.

É estranho porque, mesmo com todas as diferenças entre as empresas, parece que todos os três grandes laboratórios estão realmente perto em capacidades. É apenas uma corrida por mais inteligência ou é mais complicado do que isso?

Eu vejo três limites. Modelos como o Gemini Pro são ajustados para inteligência bruta. Pense em escrever código. Você só quer o melhor código que puder, não importa se leva 45 minutos, porque eu tenho que mantê-lo, tenho que colocá-lo em produção. Eu só quero o melhor.

Depois, há esse outro limite com latência. Se estou prestando suporte ao cliente e preciso saber como aplicar uma política, você precisa de inteligência para aplicar essa política. Você tem permissão para realizar uma devolução? Posso atualizar meu assento em um avião? Mas não importa o quão certo você esteja se demorou 45 minutos para obter a resposta. Então, para esses casos, você quer o produto mais inteligente dentro desse orçamento de latência, porque mais inteligência não importa mais quando a pessoa fica entediada e desliga o telefone.

E há este último balde, onde alguém como Reddit ou Meta quer moderar toda a internet. Eles têm grandes orçamentos, mas não podem assumir riscos empresariais em algo se não souberem como isso pode ser dimensionado. Eles não sabem quantos postos venenosos haverá hoje ou amanhã. Portanto, eles têm que restringir o seu orçamento a um modelo com a mais alta inteligência que puderem pagar, mas de forma escalonável para um número infinito de assuntos. E para isso o custo se torna muito, muito importante.

Uma das coisas que tenho me intrigado é por que os sistemas de agentes estão demorando tanto para se tornarem realidade. Parece que os modelos estão lá e vi demonstrações incríveis, mas não estamos vendo o tipo de mudanças importantes que eu esperava há um ano. O que você acha que está impedindo isso?

Essa tecnologia tem basicamente dois anos e ainda falta muita infraestrutura. Não temos padrões para auditar o que os agentes estão fazendo. Não temos padrões para autorização de dados para um agente. Existem esses padrões que vão exigir trabalho para serem colocados em produção. E a produção é sempre um indicador do que a tecnologia é capaz. Portanto, dois anos não são suficientes para ver o que a inteligência suporta na produção, e é aí que as pessoas estão em dificuldades.

Acho que isso mudou com rapidez única na engenharia de software porque se encaixa perfeitamente no ciclo de vida de desenvolvimento de software. Temos um ambiente de desenvolvimento no qual é seguro quebrar as coisas e depois passamos do ambiente de desenvolvimento para o ambiente de teste. O processo de escrever código no Google exige que duas pessoas auditem esse código e ambas afirmem que ele é bom o suficiente para deixar a marca Google para trás e oferecer aos nossos clientes. Portanto, temos muitos desses processos humanos que tornam a implementação de risco excepcionalmente baixo. Mas precisamos de produzir esses padrões noutros locais e para outras profissões.