Quantos tokens é o ideal para extrair a melhor saída do modelo
Não existe um número mágico para tokens, minhas recomendações, para Tarefas Simples, por exemplo, análise de texto, mapeamento básico, é 500 a 1000 tokens no máximo, pois é rápido e de baixo custo, para Lógica Complexa / Geração de Código, eu recomendaria 2000 - 4000 tokens no máximo, pois dá ao modelo espaço suficiente para gerar JSON bem comentado, etc. Para loops multi-agentes avançados, deixe por conta do modelo, o que permite que o modelo escolha naturalmente seu comprimento de saída até sua capacidade máxima nativa. Espero que isso te ajude 
-
Classificação ou respostas sim/não: 50 a 200
-
Extração de dados estruturados (JSON, campos): 300 a 800
-
Resumos ou análise breve: 500 a 1500
-
Conteúdo longo ou raciocínio detalhado: 1500 a 4000
Se você está recebendo respostas cortadas, duplique seu limite atual e faça um novo teste. Se o custo for uma preocupação, registre o uso real de tokens da resposta do modelo e ajuste o limite máximo para 20% acima da sua média.
Para o que você está usando? Isso vai ajudar a estreitar as opções.
This topic was automatically closed 90 days after the last reply. New replies are no longer allowed.