¿Cuáles deberían ser los mejores tokens que n8n envíe a sus modelos LLM cuando el usuario envía cualquier prompt del constructor de flujos de trabajo?

Feedback General
1

¿Cuántos tokens es lo mejor para extraer el mejor resultado del modelo

2

No hay un número mágico para los tokens, mis recomendaciones son, para Tareas Simples, por ejemplo, análisis de texto, mapeo básico, de 500 a 1000 tokens como máximo, ya que es rápido y de bajo costo, para Lógica Compleja / Generación de Código, recomendaría 2000 - 4000 tokens como máximo, ya que le da al modelo suficiente espacio para generar JSON bien comentado, etc. Para bucles avanzados de múltiples agentes, déjalo al modelo, lo que permite que el modelo elija naturalmente su longitud de salida hasta su capacidad máxima nativa. Espero que esto te ayude :crossed_fingers:

3

  • Clasificación o respuestas de sí/no: 50 a 200

  • Extracción de datos estructurados (JSON, campos): 300 a 800

  • Resúmenes o análisis breve: 500 a 1500

  • Contenido extenso o razonamiento detallado: 1500 a 4000

Si estás obteniendo respuestas truncadas, duplica tu límite actual y vuelve a probar. Si el costo es una preocupación, registra el uso real de tokens de la respuesta del modelo y ajusta el límite a un 20% por encima de tu promedio.

¿Para qué lo estás usando? Eso nos ayudará a reducir las opciones.

4

This topic was automatically closed 90 days after the last reply. New replies are no longer allowed.