Exécution du workflow arrêtée de force par n8n après 3-6 heures sans erreur visible sur aucun nœud

J’ai publié mon automatisation. Le déclencheur est un nœud webhook, quand un CSV (1000 leads) est envoyé à ce webhook l’automatisation démarre, mais l’automatisation est forcément arrêtée par n8n, la première fois elle a fonctionné pendant 3 heures (260 leads traités) avant d’être forcément arrêtée et à la tentative suivante elle a fonctionné pendant 6 heures [recommencée depuis le début et 500 leads traités] avant d’être forcément arrêtée :

je fais un 3e essai maintenant avec des paramètres différents qui sont :

pouvez-vous me dire si quelqu’un connaît la cause probable et la solution

Salut @AbdullahShah, en attendant une réponse, voici quelques ressources qui pourraient t’aider :

Ressources suggérées

Automatiquement associées à ta question.

Documentation :

Forum :

@alexm, @Mark_Tic, @Niffzy - vous avez déjà aidé avec des problèmes similaires, pouvez-vous jeter un œil ?

Suggéré automatiquement par le bot communautaire de n8n. C’est un projet pilote - veuillez partager vos commentaires ici.

Deux éléments que vous pouvez confirmer ou exclure directement à partir de vos propres captures d’écran.

Ce n’est pas le délai d’expiration du workflow. Votre capture d’écran des paramètres montre « Timeout Workflow » désactivé, donc n8n n’arrête pas l’exécution sur une limite de temps. La forme ne correspond pas à un délai d’expiration de toute façon — les deux exécutions se sont terminées à 3h15m et 6h17m, pas au même moment.

« Save execution progress » est activé. Cela amène n8n à écrire l’état d’exécution après chaque nœud. Sur une exécution qui parcourt 1000 prospects, c’est un très grand nombre d’écritures qui s’accumulent sur un enregistrement d’exécution, et c’est un contributeur courant à une longue exécution qui se prolonge jusqu’à ce que le processus soit arrêté plutôt qu’un nœud ne échoue. Cette distinction correspond à votre symptôme : une exécution qui se termine sans erreur sur un nœud signifie généralement que le processus a été arrêté, et non que quelque chose a levé une exception. Désactiver ce paramètre est le test le moins coûteux à faire, et la seule chose à laquelle vous renoncez est la possibilité de reprendre une exécution échouée à partir du milieu.

Il vaut la peine de noter que votre débit était stable les deux fois — 260 prospects en 3h15m et 500 en 6h17m, c’est environ 45 secondes par prospect dans les deux cas. Rien ne s’est dégradé avant la fin. C’est arrêté plutôt que ralenti, ce qui confirme à nouveau que le processus a été arrêté.

Une chose facile à manquer, et c’est déjà arrivé. Votre deuxième exécution a recommencé depuis le début et a atteint 500. La première en avait déjà atteint 260. Si ces nœuds envoient des emails, les 260 premiers prospects ont reçu le même email de prospection deux fois. Rien dans n8n ne signale cela — la tentative paraît propre et les envois en double ne s’affichent pas comme des erreurs nulle part. Avant la prochaine tentative, il vaut la peine d’écrire chaque prospect dans une feuille ou une table au moment où il est traité, et de vérifier cette liste avant d’envoyer, afin qu’un redémarrage reprenne au lieu de répéter. En prospection à froid, l’envoi en double coûte généralement plus que l’exécution échouée.

Déclaration : j’ai utilisé Claude pour m’aider à réfléchir à ce sujet. Les deux observations sur les paramètres sont lues directement à partir des captures d’écran que vous avez postées. L’explication sur la mémoire est la cause la plus probable compte tenu du symptôme, et non quelque chose de vérifié sur votre instance, et je ne l’ai pas vérifiée par rapport à la documentation en écrivant. Je suis heureux d’être corrigé si votre configuration l’exclut.

les deux défaillances se sont produites avant que j’active « enregistrer la progression de l’exécution », ce paramètre n’a pas pu causer les exécutions n° 1 et n° 2. Il se peut que cela rend les choses légèrement pires maintenant, mais ce n’est pas ce qui a tué les deux premières exécutions

Bonjour @AbdullahShah

Votre workflow connaît très probablement un crash Out of Memory (OOM) parce que n8n essaie de conserver les données d’exécution pour les 1000 prospects à travers chaque nœud en RAM simultanément sur une exécution de plusieurs heures.

Vous avez Save execution progress configuré sur Save.

  • La solution : Changez cela en Default - DO NOT SAVE.

  • La raison : Quand cette option est activée, n8n écrit l’état de chaque nœud dans la base de données en continu pendant l’exécution. Pour une exécution de 3 à 6 heures, cela crée un goulot d’étranglement massif, gonflant à la fois la RAM et votre base de données PostgreSQL/SQLite jusqu’à ce que le processus Node.js plante ou que le conteneur soit arrêté par l’hôte.

L’exécution de 1000 itérations lourdes dans un seul workflow épuisera finalement la mémoire heap de Node.js parce que le garbage collector ne peut pas effacer les données tant que l’exécution parent entière n’est pas terminée.

  • La solution : Utilisez un nœud Execute Workflow pour transmettre les prospects à un workflow secondaire par petits lots.

  • La raison : Quand un sous-workflow se termine, n8n vide ses données d’exécution de la mémoire, maintenant la RAM du workflow parent compacte.

Vous avez raison, et mon message était faux sur ce point. Votre premier message indique que la troisième exécution est celle avec les nouveaux paramètres, donc la sauvegarde de la progression d’exécution n’était pas activée pour les exécutions n°1 et n°2 et ne peut pas les expliquer. J’ai interprété cette capture d’écran comme votre état actuel plutôt que comme votre état modifié. Ignorez cette partie.

Ce qui reste valable, selon vos propres chiffres :

Le délai d’expiration du workflow est toujours exclu. Timeout Workflow est désactivé, et les deux exécutions se sont terminées à 3h15m et 6h17m plutôt qu’au même moment.

Le débit a été constant jusqu’à la fin dans les deux cas. 260 leads en 3h15m et 500 en 6h17m, c’est environ 45 secondes par lead dans les deux exécutions. Elle s’est arrêtée plutôt que de ralentir d’abord, ce qui est la signature d’un processus tué plutôt que d’un nœud qui lance une erreur ou d’une exécution qui se dégrade.

Indépendamment de la cause, une chose vaut la peine d’être vérifiée : l’exécution n°2 a redémarré depuis le début et a atteint 500, alors que l’exécution n°1 avait déjà atteint 260. Si les e-mails sont envoyés dans cette boucle, approximativement les 260 premiers leads ont été contactés deux fois, et rien ne le signale parce que la deuxième exécution semble correcte en elle-même. Une vérification par rapport à un champ déjà-contacté avant l’étape d’envoi rend un redémarrage sûr à répéter.

Déclaration : j’utilise Claude pour m’aider à rédiger ceci. Le point de délai d’expiration et l’arithmétique du débit sont tirés de vos captures d’écran et de vos chiffres énoncés. Je n’ai pas consulté la documentation de n8n ou votre instance, et j’ai mal interprété la chronologie des paramètres ci-dessus, donc tenez-en compte en conséquence.

@kjooleng et @ClearStack ont tous les deux mis dans le mille concernant le crash OOM et le danger des envois d’e-mails en doublon.

Lorsque vous traitez 1000 éléments dans une exécution linéaire unique ou une boucle, Node.js accumule tous les états d’entrée/sortie des nœuds en mémoire. Le garbage collection ne peut pas nettoyer les objets tant que l’exécution complète du workflow parent n’est pas terminée, ce qui entraîne des arrêts OOM de l’hôte.

Voici le modèle de production en 3 étapes pour résoudre à la fois la fuite mémoire et le risque d’envoi d’e-mails en doublon :

### 1. Le modèle de traitement par lot de sous-workflows (résout OOM)

Au lieu d’exécuter les 1000 prospects dans une seule boucle du workflow parent :

1. Utilisez un **Split In Batches Node** (taille de lot : 50-100 éléments).

2. Passez chaque lot à un workflow worker secondaire en utilisant le **Execute Workflow Node**.

3. **Pourquoi cela fonctionne :** Quand chaque exécution de sous-workflow se termine, n8n vide immédiatement son empreinte RAM et déclenche le garbage collector de Node.js, en maintenant l’utilisation mémoire stable sur une exécution de 6 heures.

### 2. Vérification d’idempotence (prévient le spam d’e-mails en doublon)

Comme l’a souligné @ClearStack, si l’exécution #1 échoue au prospect 260 et que vous recommencez, les prospects 1-260 reçoivent des e-mails deux fois.

* À l’intérieur de votre sous-workflow, juste avant le nœud d’envoi d’e-mail, ajoutez un **If / Filter Node** qui vérifie `already_contacted === true` (ou interroge votre BD pour `email_sent_at IS NOT NULL`).

* Si `true` → Ignorer.

* Si `false` → Envoyer l’e-mail et mettre à jour immédiatement le statut de la BD à `contacted`.

### 3. Augmenter la limite de heap de Node.js (si auto-hébergé / Docker)

Si vous auto-hébergez n8n via Docker ou PM2, la limite de mémoire heap par défaut de Node.js est d’environ 2 GB. Pour les tâches de traitement par lot longue durée, augmentez-la dans vos variables d’environnement :

```bash

NODE_OPTIONS=“–max-old-space-size=4096”

```

*(Cela alloue jusqu’à 4 GB de RAM au processus n8n).*

Combiner **sous-workflows + traitement par lot + vérifications d’idempotence pré-envoi** est la manière standard d’exécuter des pipelines de 10k+ prospects sans bloquer n8n ou spammer les utilisateurs.

Salut @AbdullahShah
D’après les badges Upgrade dans ta capture d’écran de paramètres, tu es sur Cloud, où la limite est bien inférieure à un processus Node par défaut : Trial et Starter obtiennent 320 MiB, Pro-1 640 MiB, Pro-2 1280 MiB, et n8n lui-même consomme environ 180 MiB avant le démarrage de ton exécution. Une exécution qui reste ouverte pendant six heures sur 1000 leads ne rentrera pas dans ce qui reste.
Sors toute la liste d’une seule exécution. Fais en sorte que le webhook écrive les 1000 lignes dans une feuille ou un tableau avec une colonne status et termine là, puis pilote l’envoi à partir d’un Schedule Trigger qui récupère les 25 premières lignes où status est vide, effectue le travail et écrit sent. Chaque exécution dure quelques minutes et libère sa mémoire à la fin, et un crash affecte un seul lot au lieu de toute la suite.

Si tu te demandes si un plan plus grand te donnerait assez de marge à la place, voici la ventilation des tiers :

ok je divise maintenant mon workflow en un sous-workflow pour voir si cela résout le problème OOM, quelqu’un peut-il clarifier une chose, dois-je aussi publier le sous-workflow aux côtés du workflow parent ?
mon sous-workflow :

Sub1 Non-DNC(1).json (526.6 KB)

ne t’inquiète pas pour contacter deux fois le même prospect, car j’intègre ce workflow avec Instantly Ai à la fin, donc Instantly Ai élimine automatiquement les doublons

Oui, le flux de travail parent et le sous-flux de travail doivent tous deux être publiés


Je voulais juste faire le point sur cette question.

Le flux de travail original était arrêté de force après 3–6 heures sans erreur de nœud parce qu’il conservait toute l’exécution des 1000 prospects en mémoire (manque de mémoire classique sur n8n Cloud).

Je l’ai maintenant divisé : le parent ne fait que webhook → extraction CSV → Google Sheet → filtre DNC → Split In Batches (taille 1) → Execute Workflow. Tout le travail lourd (recherche Perplexity + notation GPT-4 5× + génération d’email + push Instantly) se trouve dans deux sous-flux publiés qui traitent un prospect à la fois et libèrent la mémoire quand chacun se termine.

Je teste actuellement avec 500 prospects.

Question pour les experts ici : avec cette architecture, puis-je sans risque faire passer un seul CSV de 5 000–6 000 prospects par le webhook, ou dois-je quand même diviser la liste en fichiers plus petits (par ex. 1 000 à la fois) même avec le modèle de sous-flux ? Y a-t-il un plafond pratique que je dois encore respecter sur Cloud ?

Merci d’avance.

Bien que les workflows enfants soient efficaces en mémoire, le workflow parent ne l’est pas. Lorsque vous utilisez les nœuds « Read Binary File » (CSV) et « Extract from File », n8n convertit ce CSV en un énorme tableau JSON dans la mémoire du parent.

  • Un CSV de 6 000 lignes ne pèse que 5 Mo sur le disque, mais une fois analysé en objet JSON dans n8n, il peut facilement enfler à 200 Mo–500 Mo de RAM selon le nombre de colonnes et la quantité de texte dans chaque cellule.
  • Le nœud « Split In Batches » conserve également une référence à l’ensemble du tableau d’origine pour suivre son index.
  • Le Risque : Si le CSV est volumineux ou les données sont « lourdes » (par exemple, de longues descriptions), le workflow parent lui-même pourrait déclencher le tueur OOM avant même d’atteindre le premier sous-workflow.

Donc la réponse est NON

Une exécution de 6 000 prospects, traitant un prospect à la fois avec des appels IA lourds (Perplexity + 5x GPT-4), va prendre beaucoup de temps (potentiellement 10–20+ heures selon la latence).

  • Le Problème : Si l’instance n8n Cloud subit une maintenance, ou s’il y a un bref hoquet réseau qui tue l’exécution du parent, vous perdez votre place.
  • Parce que l’« état » de votre boucle (où vous étiez dans le lot) est stocké dans la RAM de cette exécution spécifique, vous ne pouvez pas facilement « reprendre » à partir du prospect n° 3 402. Vous devriez recommencer à partir du prospect n° 1, gaspillant une énorme quantité de crédits API et de temps.

Globalement, 500 ou 1 000 prospects par déclenchement CSV/Webhook est un choix plus sûr. Le chunking est la solution.

Je voulais juste clore ce sujet.

Le problème initial était que le workflow était arrêté de force par n8n après 3–6 heures sans aucune erreur sur un quelconque nœud. Il s’est avéré que c’était un problème classique de manque de mémoire (Out of Memory, OOM) — n8n conservait l’intégralité des données des prospects traités en mémoire pendant toute la durée de l’exécution.

La solution a été de diviser le workflow en sous-workflows. Tout ce qui venait après le nœud de boucle a été déplacé dans un sous-workflow. De cette façon, le workflow parent ne conserve en mémoire que les données de traitement actuelles, et le travail intensif (ainsi que les données des prospects déjà traités) est libéré dès que chaque sous-workflow se termine.

Avec cette modification, l’automatisation peut désormais traiter confortablement des fichiers CSV de 1000–2000 prospects, ce qui représente une augmentation considérable par rapport au maximum précédent d’environ 300–400 prospects avant de rencontrer des problèmes d’OOM.

Un grand merci à tous les membres de cette communauté qui ont aidé à diagnostiquer et à m’orienter dans la bonne direction. Je suis vraiment reconnaissant pour votre soutien.. Que Dieu vous bénisse tous, merci à vous tous !