Hola, tengo un flujo de trabajo que extrae miles de registros de una API externa y los procesa en lotes. Ocasionalmente, la API devuelve 429 Too Many Requests, lo que causa que algunos elementos fallen.
Estoy pensando en usar el nodo Loop Over Items con lotes más pequeños y agregar un retraso entre solicitudes.
¿Me recomendarías manejar los reintentos directamente en n8n, o usar un enfoque de cola/Redis para un flujo de trabajo de producción más grande?
Describe el problema/error/pregunta
¿Cuál es el mensaje de error (si existe)?
Por favor comparte tu flujo de trabajo
(Selecciona los nodos en tu lienzo y usa los atajos de teclado CMD+C/CTRL+C y CMD+V/CTRL+V para copiar y pegar el flujo de trabajo.)
Hola @Amelia_Carter Para un flujo de trabajo más pequeño, lo mantendría dentro de n8n. Usa bucle sobre elementos con un tamaño de lote pequeño y un nodo de espera entre lotes.
Por ejemplo:
Obtener datos
↓
Bucle sobre elementos
↓
Solicitud de API
↓
¿429?
├─ No → Continuar
└─ Sí → Esperar → Reintentar
También verificaría el encabezado Retry-After de la API si proporciona uno:
Para cargas de trabajo de producción de alto volumen, movería el procesamiento a una configuración de cola/trabajador para que una respuesta de límite de velocidad no detenga todo el flujo de trabajo.
Para miles de registros me quedaría dentro de n8n hasta que los 429 se vuelvan lo suficientemente frecuentes como para detener toda la ejecución. Loop Over Items con un tamaño de lote pequeño, una espera entre lotes y una rama de reintento que lea Retry-After cuando la API la envíe suele ser suficiente. Persiste un cursor o un último id exitoso para que un fallo parcial no reinicie desde la página uno. Una vez que regularmente alcances los límites o varios flujos de trabajo compartan el mismo presupuesto de API, mueve el lado del worker a una cola para que una respuesta de límite de velocidad no pueda bloquear trabajos no relacionados.
Yo mantendría esto dentro de n8n hasta que realmente necesites workers independientes, pero agregaría dos cosas antes de escalar el tamaño del lote: checkpointing e idempotencia.
Para 429s:
respeta Retry-After cuando la API lo envía
de lo contrario, usa backoff exponencial acotado + un poco de jitter
reintenta el lote individual de página/elemento, no toda la sincronización
limita los intentos y envía los elementos agotados a una cola/tabla de excepciones en lugar de descartarlos silenciosamente
Para la recuperación, persiste un checkpoint como:
source + page/cursor + last_confirmed_item
y haz que la escritura de destino sea idempotente con un ID de origen estable/clave de upsert.
De esa manera, un crash de worker o un reintento no significa “empezar miles de registros nuevamente”.
Me movería a Redis/una cola solo cuando necesites cosas como:
múltiples workers consumiendo en paralelo
backpressure independiente de una ejecución de flujo de trabajo
trabajos que sobrevivan reinicios de workers limpiamente
diferentes horarios de reintento por trabajo
Para una sincronización de API, una tabla de trabajo respaldada por BD más lotes pequeños de n8n es a menudo más simple y fácil de operar que introducir Redis temprano.
Hola @Amelia_Carter, puedo ayudarte a que la sincronización se recupere correctamente cuando la API se ralentiza o limita las solicitudes, así no tendrás que revisar los registros fallidos manualmente. Podríamos empezar con una copia de un flujo de trabajo y un lote de prueba pequeño antes de tocar la configuración en vivo. ¿Los cambios sugeridos aquí resolvieron el problema, o los registros aún están fallando?