AI Agent (Tools Agent) aplana el historial de Postgres Chat Memory en la cadena de mensaje del sistema — desactiva el almacenamiento en caché de prompts

Estoy ejecutando un bot de WhatsApp en AI Agent (Tools Agent) + nodo OpenAI Chat Model (gpt-4.1-mini, Responses API habilitada, herramienta File Search integrada para RAG) + Postgres Chat Memory + 3 herramientas personalizadas (tipo Call n8n Workflow Tool).

Mi indicativo del sistema es bastante grande (~8-9k tokens, principalmente instrucciones estáticas y ejemplos de referencia), así que esperaba una tasa de caché de indicativo saludable ya que ese contenido no cambia entre solicitudes. Revisé el panel de uso de OpenAI y la tasa de acierto de caché está alrededor del 2%.

Extraje la carga útil de entrada sin procesar de los datos de ejecución del nodo OpenAI Chat Model y encontré la causa: el indicativo del sistema completo, el bloque de contexto de conversación dinámica (nombre del cliente, estado de sesión, horario de atención, etc.) y el historial completo de turnos Human/AI se aplanan todos en una única cadena "System: ..." antes de enviarse a la API, en lugar de pasarse como un arreglo de mensajes estructurado con objetos separados etiquetados por rol (system / human / ai / tool).

Como el bloque de contexto dinámico se encuentra entre las instrucciones estáticas y los turnos de conversación reales, y ese bloque cambia en cada solicitud, la coincidencia de prefijo se interrumpe para todo lo que sigue — así que el caché nunca se activa aunque la mayor parte del indicativo (las instrucciones estáticas) nunca cambie.

De lo que entiendo de AgentExecutor de LangChain, el contenedor de memoria por defecto convierte el historial en cadena a menos que return_messages=True se establezca explícitamente, y el indicativo idealmente debería usar un ChatPromptTemplate con un MessagesPlaceholder para preservar el historial como objetos de mensaje adecuados. No veo ninguna de estas opciones expuesta como configurable en ningún lado en la UI del nodo AI Agent.

Pregunta: ¿Hay alguna forma admitida (expresión oculta, configuración de nodo o configuración diferente de nodo de memoria) para que el nodo AI Agent integrado pase el historial de chat como un arreglo estructurado en lugar de aplanarlo en la cadena del indicativo del sistema? ¿O es esto una limitación conocida de la implementación actual de Tools Agent?

La pista a demostrar es el primer bloque de tokens que cambia. Ejecuta una pequeña prueba A/B en la misma sesión de WhatsApp: una llamada con Postgres Chat Memory deshabilitado, otra con él habilitado, y luego compara la carga útil de entrada sin procesar y los tokens cache_creation_input_tokens / cache_read_input_tokens.

Si la ejecución deshabilitada mantiene las 8-9k instrucciones como prefijo estable y la ejecución con memoria habilitada inyecta texto de cliente/sesión/historial antes de ese prefijo, tu fallo de caché no es un problema de configuración de caché de OpenAI. Es la capa de ensamblaje de mensajes. Publica solo esa diferencia redactada y los dos contadores de caché; no se necesita texto de cliente.

Hola,

Ahora entiendo el problema, gracias por explicarlo con detalle.

Lo que está pasando es básicamente no un problema del modelo, sino un problema de estructura de prompt dentro de n8n.

En este momento, n8n está combinando todo (instrucciones del sistema + contexto dinámico como nombre del cliente/datos de sesión + historial de chat) en una sola cadena larga antes de enviarlo a OpenAI.

Como alguna parte de esa entrada cambia en cada solicitud (como información de sesión o contexto del usuario), el prompt final nunca es exactamente igual dos veces aunque el 80–90% sea estático.

Y esa es la razón clave por la que tu prompt caching no se está activando correctamente. El caching de OpenAI solo funciona cuando el prefijo es idéntico byte a byte, y en tu caso esa consistencia se está rompiendo por el bloque dinámico inyectado.

En términos simples:

  • Tu prompt del sistema es mayormente estático (bueno para caching)
  • Pero se “contamina” con contexto dinámico e historial
  • n8n aplana todo en una sola cadena en lugar de mensajes estructurados
  • Así que OpenAI trata cada solicitud como un prompt nuevo

Qué significa esto en la práctica

Tu configuración no está rota, simplemente:

  • está perdiendo eficiencia en caching
  • debido a cómo el AI Agent de n8n maneja memoria + contexto internamente

Para arreglarlo correctamente, hay dos direcciones:

Opción 1 (mejora rápida dentro de n8n)

  • Reduce o aísla la inyección de contexto dinámico en el prompt del sistema
  • Mantén el prompt del sistema lo más estático posible
  • Minimiza cambios en la sección de prefijo

Opción 2 (solución limpia para producción)

  • Deja de depender de la construcción interna de prompts del AI Agent
  • Construye mensajes manualmente usando formato estructurado:
    • mensaje del sistema (estático)
    • mensaje de contexto (rol separado)
    • historial de chat como un array apropiado
      Esto restaura completamente el comportamiento de caching y proporciona un rendimiento predecible.

Para que la Opción 1 funcione en la práctica: mantén el campo del prompt del sistema en el Agente de IA 100% estático - sin expresiones, sin variables dinámicas - y traslaда todo el contexto por sesión (nombre del cliente, estado, horario de trabajo, etc.) al primer mensaje del usuario. Puedes inyectar eso como un turno “usuario” sintético en la parte superior del array de conversación antes de que comience el chat real. Dado que el almacenamiento en caché de OpenAI se basa en prefijos y el mensaje del sistema permanece idéntico byte a byte en cada llamada, el prefijo estático debe almacenarse en caché de forma fiable. La contrapartida es que la estructura de la ventana de contexto se desplaza ligeramente, pero para un prompt del sistema estático de 8-9k, generalmente es el camino más rentable sin renunciar a la ejecución de herramientas integrada del Agente de IA.

1 me gusta

Yo trataría esto como un problema de ensamblaje de mensajes, no como un problema de selección de modelo.

El diagnóstico que ejecutaría es:

  1. capturar dos cargas útiles de modelo sin procesar con memoria habilitada;
  2. capturar dos cargas útiles de modelo sin procesar con memoria deshabilitada;
  3. comparar solo los primeros 1-2k tokens de cada carga útil;
  4. comparar cache_creation_input_tokens y cache_read_input_tokens para las mismas llamadas.

Si el primer token que cambia aparece antes o dentro de tus 8-9k instrucciones estáticas, el caché fallará incluso si la mayoría del prompt se vea «estático» para un humano.

La división práctica es:

  • mantener el nodo Agent si la orquestación de herramientas integrada importa más que la eficiencia del caché;
  • enrutar la llamada del modelo a través de una llamada HTTP/Responses de nivel inferior si necesitas un orden de mensajes estricto y almacenamiento en caché de prefijo estable;
  • mantener el bloque de política/sistema largo idéntico byte por byte;
  • mover el contexto de cliente/sesión/historial después del prefijo estable, no antes.

La prueba clave no es si el texto del prompt se ve mayormente igual. Es si el prefijo es idéntico antes del primer token dinámico.