N8N 中的 QWEN 自託管模型

Hallo,
Wäre es möglich, QWEN selbst gehostete Modelle in N8N zu integrieren und kann QWEN mit anderen N8N-Knoten funktionieren, wie zum Beispiel Javascript-Knoten oder anderen? Ein Unternehmen möchte ein selbst gehostetes QWEN-Modell als KI-Chat-Modell (LLM) nutzen.

Es wäre hilfreich, wenn es einen Knoten für folgendes gäbe:

Mein Anwendungsfall:

Gibt es Ressourcen, die dies unterstützen?

Sind Sie bereit, daran zu arbeiten?

是的,當然可以。
這應該發佈在「問題」類別下

已將主題類型更改為問題,如 @kjooleng 所提到的。

是的,這是可能的,只需使用 Open AI 標準並在那裡貼上憑證即可。

是的,這樣很好用。QWEN 模型與 OpenAI API 相容,你可以直接在 n8n 中集成它們。有兩種方式:
最簡單的方式:n8n 有一個原生的 Ollama Model 節點。安裝 Ollama,拉取 QWEN 模型(ollama pull qwen2.5:7b),然後讓 n8n 中的 Ollama 節點指向 http://localhost:11434。完成了。它可以與 AI Agent 節點、Chat 節點一起工作,以及通過正常的 Item 轉發與 JavaScript 節點結合使用。

純粹出於好奇:
你們計畫使用哪個版本的 QWEN,伺服器運行在什麼硬體上?

歡迎 @nino_kariauli

是的,Qwen 與 OpenAI API 相容,所以你可以不需要自訂節點就能連接到 n8n。根據你的託管方式有兩種方法:

選項 1 - Ollama(本地託管最簡單的方式):

  1. 安裝 Ollama 並執行 ollama pull qwen2.5:7b(或選擇適合你硬體的版本)
  2. 在 n8n 中,使用 Ollama Chat Model 節點並將其指向 http://localhost:11434(或如果遠端執行則使用你的伺服器 IP)
  3. 將其連接到 AI Agent 節點作為模型

選項 2 - OpenAI 相容 API(如果使用 vLLM、LM Studio 或託管的 Qwen 端點):

  1. 在 n8n 中,建立 OpenAI API 憑證
  2. 將 Base URL 設定為你的端點(例如 http://your-server:8000/v1
  3. 將 API Key 設定為你的伺服器要求的任何值(或如果沒有驗證則設定為任何字串)
  4. 使用 OpenAI Chat Model 節點,將模型名稱設定為 qwen2.5-7b-instruct(與你的伺服器提供的相符)

兩種選項都能直接與 AI Agent 節點搭配使用,並透過 $input.first().json 與 JavaScript Code 節點乾淨地傳遞內容。

為了更具體地回答你的問題 @nino_kariauli 關於 JavaScript 節點,這是數據流

運行你的 AI Agent(或 OpenAI Chat Model 節點)後,將輸出發送到 Code 節點,像這樣

const aiResponse = $input.first().json.output; // AI Agent node

OpenAI 相容認證設置的一個陷阱是,你在 n8n 中輸入的模型名稱必須完全符合你的服務器公開的內容。Ollama 將其提供為 qwen2.5:7b,但 vLLM 通常將其提供為 Qwen/Qwen2.5-7B-Instruct。你可以通過在端點上執行 GET /v1/models 來檢查你的服務器報告的內容。

對於企業部署,有一些實際的規模調整注意事項:

Qwen2.5-7B → ~8GB VRAM(適合單個 GPU)

Qwen2.5-14B → ~16GB VRAM

Qwen2.5-72B → 需要多 GPU 或量化(GGUF Q4 將其降低到~40GB)

如果多人會同時使用它,選擇 vLLM 而不是 Ollama——Ollama 一次只排隊一個請求,而 vLLM 能夠正確處理生產流量的批處理。