改用 Docker 和隊列模式會有幫助嗎?

問題
1

我們在 n8n 伺服器上有許多新開發人員。隨著使用者增加和資料查詢變大，我在尋求改善擴展的方法。我目前在 Windows 上透過 node 執行 n8n，同一台伺服器上有 PostgreSQL 資料庫。

我想改為使用 Docker 和佇列模式，這樣我可以增加工作者的數量。

這會有助於減少大型資料工作流程的影響，允許其他工作者在一個被卡住時繼續運作嗎？目前整個伺服器會延遲或出現 JavaScript 堆積記憶體不足的情況。

謝謝

Jason

2

Hi @jbenway

現在你的 n8n 設置就像一間單人店鋪，同一個人接電話、接訂單、做菜。如果來了一個巨大且複雜的訂單，那個人就會不堪重負，電話沒人接，整個店在訂單完成或那個人累到崩潰之前都會停止營運。

轉換到「隊列模式」就像是聘請一名經理和一支廚師團隊。經理（主程序）只負責接電話和安排時間表，而廚師（工作程序）在後廚做實際的烹飪工作。這意味著即使一位廚師在忙著一個巨大的訂單，經理仍然可以和客戶交談，其他廚師可以繼續快速處理小訂單而不會有任何延遲。

這也解決了你的記憶體崩潰問題。與其一個大家共享的巨大記憶體桶，不如給每個廚師分配自己專用的工作空間。如果某個工作流程大到足以使一個工作程序崩潰，它也只會影響那一位「廚師」。系統的其餘部分仍然在線，崩潰的工作程序可以自動重啟，不會影響任何其他使用者。

簡而言之，雖然這套設置因為你必須添加一個名為 Redis 的工具來協調工作而變得有點複雜，但這是唯一能夠支援不斷成長的團隊的方法。它將你的伺服器從一個易碎的單點故障轉變為一個專業系統，能夠隨著你的資料和使用者數量的增加而成長。

3

是的，這會有幫助。但這不是萬靈藥。

使用佇列模式，你確實有更多選項來分散負載，這樣可以用它來解決問題。不過，啟用它可能不會那麼簡單，因為你提到了記憶體問題。

4

嗨 @jbenway ！
Linux + Docker 是答案。

6

是的，佇列模式將解決你的具體問題，即一個繁重的工作流程阻塞其他所有開發人員的情況。上面的餐廳類比是對的：現在單一個大型資料查詢佔用唯一的程序，其他人都得等待。佇列模式讓你可以添加工作者，使得繁重的工作僅佔用一個工作者，而其他工作者繼續提供服務。

針對你的設置有幾個具體建議。從 Windows 節點遷移到 Docker 本身就值得做，Docker 路徑是受支持的、可預測的路徑，且佇列模式在那裡運行要容易得多。保留 Postgres，但一旦你擴展工作者，要考慮將其移出與 n8n 相同的伺服器，因為如果資料庫和工作者爭奪相同的 CPU 和記憶體，你只是把瓶頸轉移了。從兩到三個工作者開始，監視資源使用情況，而不要過度配置。

佇列模式無法解決的一個問題：單一工作流程在一次執行中將大量資料集拉入記憶體仍會對一個工作者造成壓力。因此，除了進行遷移，還要考慮那個大資料工作流程是否可以批次處理，或者將繁重的查詢下推到 Postgres 中，而不是將所有內容都載入 n8n。佇列模式防止它阻塞其他人，批次處理則防止它對它所落實的工作者造成壓力。那個繁重的工作流程實際上是做什麼的，是大查詢然後處理，還是大型檔案處理？

7

感謝各位的意見。

看起來我在擴展環境方面走對了方向。

我沒有直接與所有開發人員合作，也沒有參與他們透過 n8n 傳送的資料。我一直在查看 n8n 日誌，希望能找到某些資訊來告訴我哪些工作流程使用最多資源並導致系統繁忙（中斷連線），但目前還沒有找到。

看起來我可能已經準備好 Docker 環境來進行下週的遷移了。祝我好運！

Jason

8

祝好運 @jbenway
如果您在這裡找到了解決方案，請將最佳答案標記為解決方案，以支持社群。祝好

9

嗨 @jbenway

讀完你的描述後，我發現我基本上跟你的情況一樣：開發人員和工作流程數量不斷增加，加上一些「耗資源」的工作可能會對單一 n8n 實例造成明顯的壓力。我目前也是在單一機器上運行 n8n（Postgres 也在同一台機器上），我已經看到一個大型資料工作流程如何減慢所有東西的速度，甚至在試圖一次做太多事情時觸發 JavaScript 堆疊記憶體不足的問題。

根據我到目前為止的理解和實驗，遷移到 Docker + 佇列模式 確實有助於解決你提到的問題：

  • 主要 流程專注於 webhooks、觸發程式和排程。

  • 一個或多個 workers 在各自的 Node.js 流程中進行實際執行。

如果一個耗資源的工作流程在某個 worker 上出現問題，它主要只會影響該 worker，而主實例和其他 workers 可以繼續運行。相比之下，單一流程中 UI、觸發程式和執行都在一起的情況，這已經是一個很大的改進了。

也就是說，我不會把它當作是靈丹妙藥。佇列模式不會自動修復試圖在一次執行中載入或處理大量資料集的工作流程。你仍然需要查看：

  • 單一次執行在記憶體中保留多少資料。

  • 你是否可以分批或串流工作，而不是一次做完所有事情。

  • 每個 worker 的合理並行性，這樣你就不會使資料庫或下游系統過載。

我自己的計畫是：

  1. 遷移到 Docker，在同一台伺服器上使用 1 個主實例 + 幾個 workers，以獲得隔離和為每個流程提供更清晰的 CPU/記憶體限制。

  2. 開始使用 佇列模式，以便將耗資源的執行推送到 workers 而不是阻擋主實例。

  3. 一旦看到新設置在真實負載下的表現，就逐漸調整工作流程設計和並行性。

簡而言之：是的，Docker + 佇列模式應該可以降低單一大型工作流程的影響範圍，使系統感覺更加穩定，只要你也利用這個機會重新思考最耗資源的工作流程如何處理資料。