提取模型最佳輸出需要多少個 token
沒有適用於令牌的魔法數字,根據我的建議,對於
簡單任務,例如文本解析、基本映射,最多 500 到 1000 個令牌是最好的,因為它速度快且成本低;對於複雜邏輯/程式碼生成,我建議最多 2000 - 4000 個令牌,因為這給模型足夠的空間來輸出帶有良好註釋的 JSON 等。對於進階多代理迴圈,讓模型自己決定,這樣可以讓模型自然地選擇其輸出長度,直到其原生最大能力。希望這對你有幫助 ![]()
-
分類或是/否答案:50 到 200
-
提取結構化數據(JSON、欄位):300 到 800
-
摘要或簡短分析:500 到 1500
-
長篇內容或詳細推理:1500 到 4000
如果你收到被截斷的回應,請將目前的限制加倍並重新測試。如果成本是一個考慮因素,請從模型的回應中記錄實際的令牌使用量,並將上限調整到平均值之上 20%。
你用它來做什麼?那樣會有幫助縮小範圍。
This topic was automatically closed 90 days after the last reply. New replies are no longer allowed.