À medida que os agentes empresariais de IA entram em produção, as organizações enfrentam um problema crescente de confiabilidade. Muitas equipes estão descobrindo que o desempenho do LLM por si só não determina se os agentes terão sucesso na produção. Os fluxos de trabalho de IA de longa duração devem sobreviver a falhas, preservar o estado, recuperar-se de falhas, gerenciar custos de inferência e coordenar APIs, ferramentas e sistemas corporativos.
Após uma primeira onda focada na implantação rápida, as organizações agora precisam revisitar essas implementações de primeira geração e redesenhar as primeiras arquiteturas dos agentes em torno da orquestração, observabilidade, governança e recuperação do fluxo de trabalho, disse Preeti Somal, vice-presidente sênior de engenharia da Temporal Technologies, durante o último evento AI Impact Series em Nova York.
“Temos muitos clientes que nos procuram quando estão construindo a versão 2.0 do mesmo agente”, disse Somal. “Eles tiveram que se mover muito rápido, mas não cuidaram do encanamento. As coisas quebram e queimam, e então eles voltam para a reconstrução com uma base confiável.”
Para a empresa de orquestração de fluxos de trabalho Temporal, cuja infraestrutura é anterior à atual onda de IA de agência, a mudança reflete uma realização empresarial mais ampla: os sistemas de IA de produção exigem execução durável, gerenciamento de estado, visibilidade dos fluxos de trabalho e mecanismos de recuperação quando modelos ou sistemas downstream falham.
Agentic AI sobrecarregou problemas de engenharia familiares
“Esses padrões não são necessariamente novos”, disse Somal. “A IA apenas os sobrecarrega.”
Os sistemas agênticos introduzem complexidade adicional porque geralmente envolvem processos de longa execução e de várias etapas, abrangendo vários serviços, modelos, APIs e ferramentas. Um único fluxo de trabalho pode chamar vários modelos de linguagem grandes, acessar sistemas de recuperação, acionar aplicativos externos e gerenciar o estado durante horas ou dias. As questões de engenharia, disse Somal, muitas vezes surgem apenas após a implantação.
“As pessoas escrevem para os agentes, mas não pensam no que acontecerá se o agente falhar”, disse ela. “Vou precisar executar todo o fluxo do agente novamente?”
Para as empresas que operam sob restrições de custos, a resposta é importante. Reiniciar fluxos de trabalho após falhas pode multiplicar as despesas de inferência, aumentar a latência e criar experiências ruins para o cliente.
Somal comparou o momento atual a um período anterior na adoção da nuvem empresarial, quando as organizações passaram diretamente para a migração de cargas de trabalho antes de considerarem que precisavam redesenhar as arquiteturas subjacentes se quisessem que essas cargas de trabalho resistissem ao longo prazo.
“Essa pressa em fazer IA em um mundo onde você ainda nem modernizou seu aplicativo me lembra um pouco daquela mudança que aconteceu na nuvem”, disse ela. “Todos perceberam que você está gastando mais dinheiro na nuvem e não obtemos valor nisso.”
Por que agentes de longa duração forçam uma nova arquitetura
Os fluxos de trabalho corporativos envolvem cada vez mais a execução de agentes em janelas longas, às vezes abrangendo muitas horas enquanto interagem com ferramentas e sistemas. Os desafios de confiabilidade aumentam quando os fluxos de trabalho persistem ao longo do tempo e afetam tanto o estado quanto a memória, duas ideias que muitas vezes são tratadas de forma intercambiável em conversas sobre IA.
O estado diz respeito à execução do fluxo de trabalho. Inclui onde um agente está em um processo, quais ações já foram concluídas e onde a recuperação deve ser retomada após uma falha. A memória ou o contexto capturam informações que um agente transporta através de interações ou tarefas.
“O estado do agente depende de qual etapa e quais ações foram executadas e, se algo travar, de onde você deseja se recuperar, versus o contexto e a parte da memória”, explicou Somal.
Essa distinção torna-se cada vez mais importante quando as empresas começam a ir além das simples interações do chatbot em direção a processos de negócios de longa duração. Somal apontou um exemplo de assistência médica envolvendo o cliente Abridge, onde os fluxos de trabalho processam consultas médicas em vários estágios, incluindo processamento de áudio, resumo, chamadas de modelo e geração pós-visita.
“Não há apenas uma peça nesse fluxo”, disse Somal. “Fazer vídeos e fatiar, fazer resumos, ligar para os LLMs, gerar o resumo pós-visita, tudo isso está sendo orquestrado.”
A implicação para as empresas é que os agentes bem-sucedidos dependem cada vez mais de sistemas que possam sobreviver a interrupções, coordenar-se entre serviços e manter a continuidade ao longo do tempo.
A ascensão da espinha determinística
Uma estrutura útil para o design de IA empresarial é a espinha determinística, disse Somal, que é como eles pensam sobre o papel da Temporal.
“Isso denota o caminho que você deseja seguir”, disse ela. “Ele está chamando o cérebro, mas se o cérebro não responder, ele o chamará novamente. Se o cérebro responder, mas a próxima etapa falhar, ele detectará onde a falha aconteceu.”
Nesse enquadramento, o modelo de linguagem atua como um sistema probabilístico produzindo resultados variáveis, enquanto o software de orquestração mantém a confiabilidade de execução em torno dele. E o conceito é importante porque os sistemas empresariais exigem cada vez mais consistência, mesmo quando os modelos permanecem não determinísticos. Um fluxo de trabalho de compras, um resumo de assistência médica, um escalonamento de suporte ao cliente ou um processo de conformidade não podem simplesmente falhar silenciosamente porque uma chamada de modelo expirou ou uma dependência externa travou.
“O que mais importa é garantir que você possa se recuperar e que não pague o imposto simbólico se algo der errado”, disse Somal.
Confiabilidade, visibilidade e economia do gasto de tokens
À medida que os líderes empresariais avaliam o ROI da IA, a visibilidade dos custos tornou-se uma preocupação crescente. Agentes de longa duração frequentemente fazem diversas chamadas de modelo em fluxos de trabalho complexos, o que pode criar padrões de gastos opacos. Somal descreveu uma vantagem operacional da orquestração como a visibilidade de onde os custos se acumulam. Como os fluxos de trabalho são observáveis passo a passo, as equipes podem ver onde os tokens estão sendo consumidos em um processo de agente.
“Você tem visibilidade de todo o fluxo em um único painel de vidro”, disse ela. “Agora você pode ver onde está gastando os tokens em um agente que executa várias etapas e chama vários sistemas diferentes.”
A recuperação do fluxo de trabalho também molda a eficiência de custos. Sem orquestração durável, uma falha em estágio avançado pode forçar as organizações a executar novamente um processo inteiro desde o início, incluindo todas as chamadas de modelo anteriores. Somal disse que os sistemas projetados em torno da recuperação podem retomar a execução a partir do ponto de interrupção.
“Você começa de onde o acidente aconteceu”, disse ela. “Nós economizamos o custo de operar o agente desde a primeira etapa novamente.”
As empresas precisam construir caminhos pavimentados e contar com a experiência dos parceiros
As preocupações com a governação são outro padrão emergente à medida que a IA agente se consolida. Em vez de adotar sistemas de agentes totalmente gerenciados no atacado, Somal disse que as empresas desejam cada vez mais estruturas internas padronizadas que forneçam proteção, preservando a flexibilidade e implementando recursos necessários, como controles de governança, políticas de seleção de modelos, sistemas de identidade, gerenciamento de custos e observabilidade.
“As empresas estão pensando em construir esses caminhos pavimentados”, disse ela. “Tirar algo da prateleira talvez não funcione porque existem todos esses outros requisitos.”
À medida que as organizações revisitam as implementações de primeira geração, desafios como este parecem cada vez menos um problema de modelo e mais um problema de engenharia de sistemas, e a Temporal está posicionada para ajudar as empresas a dar este próximo passo, em parte porque, para muitas organizações, já existia como parte de programas de modernização mais amplos antes da IA se tornar uma prioridade estratégica.
“A Temporal já está no empreendimento”, disse Somal. “Pegar isso e estendê-lo à IA e às plataformas de agentes parece muito natural.”
