Custo de agente de IA: quais chamadas merecem o modelo caro

Um agente de atendimento não resolve uma conversa de WhatsApp com uma consulta ao modelo. Cada etapa do fluxo é uma chamada nova. Se o total por conversa não está contado em lugar nenhum, o custo de agente de IA da operação não está sob controle.

O efeito aparece no fechamento do mês, quando o valor pago ao provedor de modelo sobe e ninguém consegue apontar qual etapa consumiu a diferença. Sobram duas decisões ruins: cortar o agente de onde ele está funcionando, ou aceitar que o gasto cresça e esperar que o resultado justifique. Nenhuma das duas ensina nada sobre a operação.

A causa costuma ser a mesma: o fluxo manda todas as chamadas para o modelo mais capaz, "para garantir" — inclusive as que só classificam um assunto ou extraem um campo de um texto.

Neste artigo você vai ver:

• O que um benchmark da LangChain mediu sobre onde o gasto de um agente se concentra
• Como separar as chamadas que decidem algo das que apenas transformam dados
• Quando essa separação não compensa o trabalho de manter
• Como mapear as etapas do seu fluxo antes de mexer em configuração

O que o benchmark da LangChain mediu

Em 11 de agosto de 2026, a LangChain publicou um benchmark de roteamento entre modelos em tarefas de agente. Foram 145 tarefas multi-etapa, com média de 6,3 chamadas de modelo cada, em três domínios: diálogo de atendimento sob restrição de política, investigação de incidente e automação de fluxo de trabalho.

O resultado central tem dois números que só fazem sentido juntos. Apenas 7% das chamadas exigiram o modelo de fronteira do teste, o Claude Opus 4.8 — um modelo de 30 bilhões de parâmetros, o NVIDIA Nemotron 3.5 Lightning, deu conta dos outros 93%. E esses mesmos 7% responderam por 68% do gasto total.

Rotear entre os dois, em vez de rodar tudo no modelo de fronteira, reduziu o custo em 74%. A acurácia caiu 6 pontos, de 86% para 80%.

Por que o custo de agente de IA não está no preço do token

O preço por token é só um dos fatores da conta. O outro é quantas vezes o seu fluxo consulta o modelo mais caro, e essa parte não muda quando o fornecedor baixa a tabela.

Um agente de atendimento não faz uma chamada por conversa. No benchmark, a média foi de 6,3 chamadas por tarefa. Como essas chamadas se dividem varia por operação: num fluxo de triagem, elas podem ser identificar o assunto, extrair o número do pedido, consultar a política, redigir a resposta e decidir se escala para uma pessoa — decomposição ilustrativa, não a que o teste usou. Quando todas elas vão para o mesmo modelo, o custo da etapa que exige julgamento é aplicado também à que só preenche um campo.

É por isso que a pergunta "qual modelo devo usar?" costuma não ter resposta útil. A pergunta que produz decisão é outra: quais etapas deste fluxo realmente decidem algo. Estruturar agentes de IA para operação começa por esse mapa, não pela escolha do fornecedor.

Quais etapas do seu atendimento realmente precisam do modelo caro

Na prática, as chamadas de um fluxo de atendimento se dividem em dois grupos com naturezas diferentes.

O primeiro grupo transforma dados: classificar o assunto de uma mensagem, extrair um número de pedido, identificar o produto citado, formatar uma resposta a partir de um dado já consultado. A resposta certa é verificável e o espaço de erro é estreito — dá para conferir se a classificação está correta.

O segundo grupo decide: interpretar uma reclamação ambígua, avaliar se um caso se encaixa numa exceção de política, escolher entre pedir mais informação ou escalar para uma pessoa, redigir uma resposta que precisa sustentar tom e responsabilidade. Aqui o erro não aparece na hora, aparece na reclamação seguinte.

Considere um fluxo hipotético de triagem de WhatsApp, sem case documentado: das cinco chamadas descritas acima, três seriam do primeiro grupo e duas do segundo. Se as três estão indo para o modelo mais capaz, existe gasto sem contrapartida de qualidade — e o caminho de correção não passa por trocar o modelo do fluxo inteiro.

A RC2 Soluções ajuda PMEs a estruturar atendimento automatizado com custo previsível por meio de automações de atendimento com IA. Para identificar onde o gasto do seu fluxo se concentra, Falar sobre minha operação →

O que o teste não prova

Os próprios autores freiam a generalização: são cenários controlados, e o benchmark mede uma carga de trabalho específica, não uma previsão para outras operações. Os 7% não são uma taxa a aplicar no seu fluxo — são um resultado que sugere onde procurar.

Três limitações do teste merecem atenção antes de qualquer decisão. A diferença de acurácia entre os dois modelos foi de apenas 8 pontos, mais estreita do que se costuma ver em produção, o que dá ao roteamento uma vantagem que talvez não se repita. O custo por execução variou 67% entre rodadas, ou seja, a economia média esconde uma dispersão grande. E o modelo usado para avaliar as respostas consumiu 21,2% do gasto da configuração roteada — parte da economia é devolvida pela própria estrutura de medição.

Some a isso o custo que não aparece na fatura: alguém precisa decidir a regra de roteamento, revisá-la quando o fluxo muda e acompanhar se a qualidade caiu em alguma etapa. Em operação com poucas chamadas por conversa, esse trabalho pode custar mais do que a economia que gera. Roteamento é resposta para volume, não para todo fluxo que usa IA.

Como mapear as chamadas antes de mexer no fluxo

O exercício é de análise e pode ser feito internamente, antes de qualquer mudança de configuração.

1. Liste cada ponto do fluxo em que o agente consulta um modelo. Não é a quantidade de conversas: é a quantidade de chamadas por conversa — e é comum que esse número nunca tenha sido contado.
2. Classifique cada chamada em "transforma dados" ou "decide". O critério prático: se existe uma resposta verificável, transforma dados. Se o acerto depende de julgamento e o erro aparece depois, decide.
3. Meça o gasto por etapa, não o gasto total. Sem isso, a conversa continua no nível da fatura, e é no nível da etapa que a decisão existe.
4. Só então avalie mudar de modelo em alguma etapa — começando pelas que transformam dados e têm o maior volume, e comparando a qualidade antes e depois em casos reais da sua operação.

A conta que se resolve com critério, não com desconto

Preço por token mais baixo não resolve o problema que este artigo descreve: gastar capacidade de decisão em etapas que não decidem nada. Quem mapeia as chamadas antes de escolher o modelo consegue justificar o custo de cada etapa — e passa a comparar propostas de fornecedor com critério, em vez de comparar tabela de preço.

O próximo passo não é trocar de fornecedor. É abrir o fluxo que já está rodando e responder, etapa por etapa, o que aquela chamada decide.

A RC2 Soluções ajuda PMEs a implementar automação com IA que sustenta o resultado ao longo do tempo — veja as soluções por tipo de operação. Para revisar o custo do agente que você já tem rodando, Falar sobre minha operação →