نماذج QWEN ذاتية الاستضافة في N8N

أسئلة
1

مرحبا،
هل من الممكن دمج نماذج QWEN المستضافة ذاتيا في N8N وهل يمكن لـ QWEN أن تعمل مع عقد أخرى في N8N، مثل عقد Javascript أو غيرها. تريد شركة استخدام نموذج QWEN المستضاف ذاتيا كنموذج دردشة ذكي (LLM).

سيكون من المفيد وجود عقدة لـ:

حالة الاستخدام الخاصة بي:

هل لديك أي موارد تدعم هذا؟

هل أنت مستعد للعمل على هذا؟

2

نعم، بالتأكيد.
يجب نشر هذا تحت فئة الأسئلة

3

تم تغيير نوع الموضوع إلى سؤال كما ذكر @kjooleng.

نعم، من الممكن فقط استخدم معيار OpenAI والصق بيانات الاعتماد هناك.

4

نعم، هذا يعمل بشكل جيد. نماذج QWEN متوافقة مع OpenAI API، يمكنك دمجها مباشرة في n8n. هناك طريقتان:

الطريقة الأسهل: لدى n8n عقدة Ollama Model أصلية. قم بتثبيت Ollama، واسحب نموذج QWEN (ollama pull qwen2.5:7b)، واجعل عقدة Ollama في n8n تشير إلى http://localhost:11434. تم. يعمل مع AI Agent Node و Chat Node وبالتزامن مع عقد JavaScript من خلال نقل العناصر العادي.

فقط من باب الفضول:
أي نسخة من QWEN تخططون لاستخدامها وعلى أي أجهزة يعمل الخادم؟

5

مرحباً @nino_kariauli!

نعم، Qwen متوافق مع OpenAI API لذا يمكنك توصيله بـ n8n بدون أي عقدة مخصصة. هناك طريقتان حسب كيفية استضافتك:

الخيار 1 - Ollama (الأبسط للاستضافة المحلية):

  1. ثبّت Ollama وشغّل ollama pull qwen2.5:7b (أو أي حجم يناسب جهازك)
  2. في n8n، استخدم عقدة Ollama Chat Model وأشر إليها على http://localhost:11434 (أو عنوان IP الخادم الخاص بك إذا كنت تشغّله عن بعد)
  3. وصّلها بعقدة AI Agent كنموذج

الخيار 2 - OpenAI-compatible API (إذا كنت تستخدم vLLM أو LM Studio أو نقطة نهاية Qwen مستضافة):

  1. في n8n، أنشئ بيانات اعتماد OpenAI API
  2. اضبط Base URL على نقطة النهاية الخاصة بك (مثل http://your-server:8000/v1)
  3. اضبط API Key على ما يتطلبه الخادم (أو أي نص إذا لم يكن لديه مصادقة)
  4. استخدم عقدة OpenAI Chat Model، واضبط اسم النموذج على qwen2.5-7b-instruct (طابق ما يقدمه الخادم الخاص بك)

كلا الخيارين يعملان مباشرة مع عقدة AI Agent ويمرران السياق بشكل نظيف من وإلى عقد JavaScript Code عبر $input.first().json.

6

لكي تكون أكثر تحديدًا في الإجابة على سؤالك @nino_kariauli حول عُقد JavaScript، إليك تدفق البيانات

بعد تشغيل وكيل الذكاء الاصطناعي (أو عقدة OpenAI Chat Model)، أرسل الإخراج إلى عقدة Code مثل هذا

const aiResponse = $input.first().json.output; // عقدة AI Agent

هناك مشكلة واحدة مع إعداد بيانات OpenAI-compatible، اسم النموذج الذي تدخله في n8n يجب أن يطابق تمامًا ما يكشفه خادمك. يخدمه Ollama باسم qwen2.5:7b، لكن vLLM عادةً يخدمه باسم Qwen/Qwen2.5-7B-Instruct. يمكنك التحقق مما يبلغه خادمك بطلب GET /v1/models على نقطة النهاية الخاصة بك.

للنشر في الشركة، إليك بعض ملاحظات حجم عملية:

Qwen2.5-7B → ~8GB VRAM (مناسب لبطاقة رسومات واحدة)

Qwen2.5-14B → ~16GB VRAM

Qwen2.5-72B → يتطلب عدة بطاقات رسومات أو تقليل الحجم (GGUF Q4 يقلله إلى ~40GB)

إذا كان هناك عدة أشخاص سيستخدمونه في نفس الوقت، فاختر vLLM على Ollama — Ollama ينتظر الطلبات واحدًا تلو الآخر، بينما vLLM يتعامل مع المعالجة الجماعية بشكل صحيح لحركة الإنتاج.