Batch API: quando o desconto de 50% compensa (e quando não)

1. O que é a Batch API

Na API normal, você manda um pedido e espera a resposta, que chega em segundos. No processamento em lote, você manda um arquivo com muitos pedidos de uma vez e busca as respostas depois. Em troca da espera, a Anthropic cobra 50% do preço de entrada e de saída.

Pela documentação da Anthropic, as regras principais são:

• a maioria dos lotes termina em menos de 1 hora, mas o prazo máximo é de 24 horas; pedidos que não forem processados nesse prazo expiram e não são cobrados;
• cada lote aceita até 100 mil pedidos ou 256 MB, o que for atingido primeiro;
• os resultados ficam disponíveis por 29 dias;
• cada pedido do lote é independente e pode usar qualquer recurso da API normal, como o cache de prompt.

A conta, então, é simples: o mesmo trabalho, com os mesmos tokens, pela metade do preço. A única coisa que muda é quando a resposta chega.

2. A conta do catálogo

Pela API normal, cada descrição custa:

• entrada: 2.500 × US$ 2,00 ÷ 1.000.000 = US$ 0,0050;
• saída: 600 × US$ 10,00 ÷ 1.000.000 = US$ 0,0060;
• total: US$ 0,0110 por produto.

Com 40.000 produtos, o trabalho todo sai por US$ 440,00, ou R$ 2.204,22 com o dólar a R$ 5,01.

Pela Batch API, cada descrição custa US$ 0,0055 e o catálogo inteiro, US$ 220,00 (R$ 1.102,11). A economia é de R$ 1.102,11, sem mudar uma vírgula das instruções. Como o lote aceita até 100 mil pedidos, os 40.000 produtos cabem num único envio, desde que o arquivo fique abaixo de 256 MB.

3. Lote e cache juntos

As instruções de estilo, uns 1.000 tokens, são iguais em todos os pedidos: 40% da entrada. A documentação da Anthropic informa que os descontos do lote e do cache se somam. Na conta da calculadora, com 40% da entrada lida do cache:

Há um detalhe. Num lote, os pedidos podem ser processados ao longo de bastante tempo, e o cache comum dura só 5 minutos. A própria documentação sugere usar o cache de 1 hora em lotes com contexto compartilhado, para aumentar a chance de acerto. A gravação de 1 hora custa mais (US$ 4,00 por milhão no Sonnet 5.5, contra US$ 2,50 na de 5 minutos), mas é paga poucas vezes num lote grande. Mesmo assim, o acerto do cache num lote não é garantido; trate a linha "com cache" como o melhor cenário, não como promessa.

4. A rotina noturna: onde o lote rende todo mês

O catálogo é um trabalho único. O lote rende mais quando o trabalho se repete. A mesma loja quer, toda noite, ler os 8.000 atendimentos do dia e gerar um resumo de cada um para o relatório da manhã: 1.500 tokens de entrada e 200 de saída por atendimento, com o Sonnet 5.5.

• pela API normal: US$ 1.200,00 por mês (R$ 6.011,52);
• pela Batch API: US$ 600,00 por mês (R$ 3.005,76);
• economia no ano: R$ 36.069,12.

Como o relatório só é lido de manhã, o lote enviado no fim do expediente tem a noite inteira para terminar, com folga em relação ao prazo de 24 horas. É o caso clássico: o trabalho é grande, se repete, e ninguém está esperando a resposta na frente da tela.

5. Quando o lote não compensa

Quando alguém está esperando. Chat com cliente, assistente interno, autocompletar, agente de código: tudo o que é interativo precisa de resposta em segundos. A documentação da Anthropic deixa claro que o lote não tem prazo garantido abaixo de 24 horas.

Quando o volume é pequeno. Montar o envio em lote, guardar o identificador, buscar os resultados depois e tratar os pedidos que falharam ou expiraram dá trabalho de programação. Com 100 descrições por dia útil, nas mesmas premissas do catálogo, o lote economizaria só US$ 12,10 por mês (R$ 60,62). Pode não pagar as horas de desenvolvimento.

Quando um pedido depende do anterior. Fluxos em cadeia, em que a resposta de um pedido vira a entrada do próximo, não combinam com o lote, que processa cada pedido de forma independente e sem ordem garantida.

Quando o prazo é apertado. Se o resultado precisa estar pronto em duas horas, a maioria dos lotes vai cumprir, mas não todos. A própria documentação alerta que, em momentos de muita demanda, mais pedidos podem expirar.

6. O desconto vale em todos os modelos

A calculadora do site aplica o desconto de 50% do lote a todos os modelos, inclusive aos da OpenAI, conforme a página de preços dela usada como fonte. O catálogo de 40.000 produtos, pela Batch API e sem cache, ficaria assim em cada modelo:

Para descrições de produto, um modelo menor pode bastar, e o lote barateia ainda mais. Mas texto de vitrine é texto que o cliente lê: teste com algumas dezenas de produtos antes de escolher o modelo pelo preço.

7. Lote e créditos do plano Max

Quem assina o Claude Max recebe créditos mensais de API: US$ 100,00 no Max 5x e US$ 200,00 no Max 20x. Segundo a central de ajuda da Anthropic, esses créditos valem para a API de mensagens e também para a de lotes, e não acumulam de um mês para o outro.

Para quem tem um trabalho em lote de tamanho moderado, a combinação rende. Com os US$ 100,00 do Max 5x, dá para gerar cerca de 18.182 descrições do nosso caso pela Batch API, contra 9.091 pela API normal. O catálogo inteiro de 40.000 produtos não caberia nos créditos do Max 5x, mas menos da metade dele, sim; o restante seria pago à parte, com créditos de API comprados, que só começam a ser usados depois que os mensais acabam. Como o crédito que sobra no fim do mês se perde, programar lotes para usá-lo antes da virada é uma forma de não desperdiçar o que já foi pago.

8. Como começar sem susto

1. Teste com um lote pequeno, de 50 ou 100 pedidos, e confira as respostas antes de mandar o resto.
2. Use um identificador próprio em cada pedido para casar as respostas com os produtos; a ordem de retorno não é garantida.
3. Trate falhas e expirações: reenvie só os pedidos que não deram certo.
4. Baixe os resultados logo: eles ficam disponíveis por 29 dias.
5. Combine com o cache quando houver instruções longas repetidas, de preferência com o de 1 hora.

O que fica fora desta conta

A estimativa cobre só os tokens do modelo. Ficam de fora o tempo de programação para montar o envio em lote e tratar os resultados, o armazenamento dos arquivos, a revisão humana das descrições, impostos e tarifas do cartão internacional e a variação do dólar.

Perguntas frequentes

Quanto a Batch API economiza?

50% do preço de entrada e de saída. No catálogo deste guia, US$ 220,00 num trabalho de US$ 440,00.

Quanto tempo a Batch API demora?

Segundo a Anthropic, a maioria dos lotes termina em menos de 1 hora, mas o prazo máximo é de 24 horas. Pedidos não processados nesse prazo expiram e não são cobrados.

Dá para usar cache de prompt dentro do lote?

Sim, e os descontos se somam. Como o lote pode demorar, a documentação sugere o cache de 1 hora.

Para refazer a conta com o seu volume, use a calculadora de custo da API logo abaixo, que já vem com o catálogo deste caso e a opção Batch ligada. Com "dias por mês" em 1, o valor mensal mostra o custo do trabalho inteiro.