使用者傳送任何工作流程建構工具提示時,n8n 應該傳送給其 LLM 模型的最佳代幣是什麼

提取模型最佳輸出需要多少個 token

沒有適用於令牌的魔法數字,根據我的建議,對於
簡單任務,例如文本解析、基本映射,最多 500 到 1000 個令牌是最好的,因為它速度快且成本低;對於複雜邏輯/程式碼生成,我建議最多 2000 - 4000 個令牌,因為這給模型足夠的空間來輸出帶有良好註釋的 JSON 等。對於進階多代理迴圈,讓模型自己決定,這樣可以讓模型自然地選擇其輸出長度,直到其原生最大能力。希望這對你有幫助 :crossed_fingers:

  • 分類或是/否答案:50 到 200

  • 提取結構化數據(JSON、欄位):300 到 800

  • 摘要或簡短分析:500 到 1500

  • 長篇內容或詳細推理:1500 到 4000

如果你收到被截斷的回應,請將目前的限制加倍並重新測試。如果成本是一個考慮因素,請從模型的回應中記錄實際的令牌使用量,並將上限調整到平均值之上 20%。

你用它來做什麼?那樣會有幫助縮小範圍。

This topic was automatically closed 90 days after the last reply. New replies are no longer allowed.