Hallo zusammen, ich habe ein etwas fortgeschritteneres Skalierungsproblem und könnte etwas Orientierung gebrauchen.
Ich habe mehrere Workflows, die parallel ausgeführt werden (ausgelöst durch Webhooks und Cron), die alle die gleiche externe API aufrufen, die strenge Rate Limits hat (z. B. 100 Anfragen pro Minute). Mit dem Wachstum der Nutzung bekomme ich immer häufiger 429-Fehler, und Wiederholungen verschärfen das Problem durch Lastspitzen.
Mein aktuelles Setup sieht so aus:
Webhook/Cron → Split In Batches → HTTP Request → Process
Momentan:
Jeder Workflow verwaltet seine eigenen Wiederholungen
Kein gemeinsames Bewusstsein für Rate Limits
Gelegentliche Lastspitzen überschreiten API-Limits
Beispiel-Wiederholungslogik:
if ($json.statusCode === 429) {
await new Promise(resolve => setTimeout(resolve, 1000));
return $input.all();
}
Das Problem:
Mehrere Workflows wiederholen zur gleichen Zeit → Thundering Herd Effect
Einen Workflow zu verlangsamen behebt nicht die anderen
Ich brauche eine globale Rate Limit-Kontrolle, nicht pro Workflow
Ich überlege:
Eine Queue zu nutzen (Redis / Bull)
API-Aufrufe in einem einzigen Workflow zu zentralisieren
Einen benutzerdefinierten Rate Limiter mit gemeinsamer State zu bauen
Beschreiben Sie das Problem/den Fehler/die Frage
Was ist das beste Muster in n8n, um globale Rate Limiting über mehrere Workflows hinweg zu handhaben und gleichzeitig einen guten Durchsatz zu bewahren?
Wie lautet die Fehlermeldung (falls vorhanden)?
Bitte teilen Sie Ihren Workflow
(Wählen Sie die Knoten auf Ihrer Canvas aus und verwenden Sie die Tastaturkürzel CMD+C/CTRL+C und CMD+V/CTRL+V zum Kopieren und Einfügen des Workflows.)
Geben Sie die Ausgabe des letzten Knotens aus
Informationen zu Ihrem n8n-Setup
- n8n-Version:
- Datenbank (Standard: SQLite):
- n8n EXECUTIONS_PROCESS-Einstellung (Standard: own, main):
- n8n wird ausgeführt über (Docker, npm, n8n cloud, Desktop-App):
- Betriebssystem: