評估標籤中的評估指標未顯示

我正在努力理解評估功能。下面是我的工作流程的屏幕截圖。

  • 數據表有 4 行,包含模擬用戶問題和預期輸出值
  • 我正在強制執行結構化輸出

當我點擊執行工作流程時,我可以看到 4 行中每一行的執行情況,值被添加到數據表中。這工作正常。

在將輸出記錄到數據表後,您可以看到我正在使用「設置度量值」節點。這是一個自定義度量值,用於衡量中間步驟的長度。同樣,這是一個愚蠢的測試,但我想查看數據,如節點所建議的那樣(如下所示)

輸出的位置符合我的直覺預期,但下面是評估選項卡。

我已經運行評估路徑幾次了,但什麼都沒有顯示。

也許我遺漏了明顯的東西,但為什麼我在這個選項卡中看不到數據呢?根據這裡的頁面:Use metrics to measure quality | Build | n8n Docs 有對運行測試的引用,但這也沒有顯示。

任何幫助和/或指導將不勝感激。

嘿 @datanerdery3,在等待回覆時,以下這些資源可能會對你有幫助:

建議的資源

自動符合你的問題。

文件:

論壇:

@ShawnWilliams - 你之前曾協助處理過類似的問題,能看一下嗎?

由 n8n 社群機器人自動建議。這是試點計畫 - 請在此分享意見回饋。

嗨 @datanerdery3

我看到這裡有兩個問題。

從畫布執行不計為評估執行。設定指標僅在從「評估」標籤使用 Run Test 開始執行時才記錄結果,這就是為什麼你的資料表填入正常,但該標籤仍為空白。工作流程做的是對的,只是沒有被記錄為測試。

至於 Run Test 不出現,我首先要檢查的是你的方案。基於指標的評估是 Pro 和 Enterprise 版本,而社群或 Starter 帳戶僅限一個工作流程使用。如果你已經在不同的工作流程上使用過評估,那就解釋了為什麼這個按鈕在這裡沒有出現。

另一個值得知道的事情,一旦它開始運行:你可以將指標邏輯放在 Check If Evaluating 節點後面,這樣它就只會在評估期間執行,不會增加生產執行的成本。

感謝 @Hammad_gaming 。我之前不知道這一點;您能指向該文件的位置嗎?

我在最低付費方案,沒有意識到這是一個限制(單一工作流程)。我如何才能找到是否/在哪裡我可能嘗試將工作流程與評估相關聯以顯示「Run Test」流程?

它在同一頁面頂部的資訊方塊中,位於第一個標題上方。Pro 和 Enterprise 版本有這個功能,Community 和 Starter 則只能用於單一工作流程。

話說回來,文件中確實說明了限制,但沒有說明一旦超過限制,「執行測試」按鈕就會隱藏。這部分是我自己推斷的,所以把它當作一個線索就好。

我不知道使用者介面中有什麼地方可以顯示哪個工作流程已經使用過它,這確實是個缺漏。尋找任何其他包含「評估觸發程式」節點的工作流程。

如果沒有找到,那我的推測可能是錯的,值得向支援團隊反映。

記錄一下,以防其他人遇到相同的問題。我運行了自託管的 n8n 實例,添加了社群金鑰,我可以看到在第 2 個工作流程上自訂指標被阻止了。

正在運行的版本是 2.33.7。我(最低)付費帳戶上的版本是 2.33.4。我不知道這個細微的版本差異是否會是罪魁禍首,但這是一個變異來源。

在第一個工作流程上,我確實看到了上面的引導式檢查清單,並且能夠在編輯器中運行。我將在其他執行緒中詢問其他問題。

不錯,那條訊息確認了這一點,而且比文件說得更清楚。感謝你提供截圖,這對下一個遇到這個問題的人會很有幫助。

從措辭中有個細節值得注意:它說的是刪除具有現有評估執行的工作流程。所以這個位置被實際執行過評估的工作流程佔用,而不是只包含該節點的工作流程。這比我之前建議的更好搜尋。

我不會擔心 2.33.7 對比 2.33.4。這是計畫閘門而非任何版本特定的問題,所以版本號的小差異應該不會有影響。

Hi @datanerdery3
該區塊位於檢查清單的第 3 步,標記為「選用」,所以「略過」旁邊的「查看方案」可讓你繼續進行第二個工作流程。你仍然可以取得資料集執行和寫回資料表的輸出,只是不會在「評估」標籤中取得分數。只有指標計分限制在一個工作流程,輕量級評估本身在每個已註冊和付費方案上都可用。