AI 所做的決定真的值得信賴嗎？用 'jevals' 進行更聰明且低成本的檢查

想像一下：您所信賴的 AI 助理正在撰寫重要郵件，或是即時回答客戶詢問。然而，該如何確認 AI 是否做出了正確的決定，或者它是否有犯錯、不小心洩漏了資安風險內容？

過去，我們必須利用另一個聰明的 AI（LLM 評審）來充當「評審」角色，對所有行為逐一進行檢查。這就像是必須把所有報告提交給法官，並等待判決一樣。但這個過程過於耗時，成本也相當驚人。因此，大多數企業只能勉強抽樣檢查整體工作中極小的一部分。 出處: Openlayer releases jevals — a fraction-of-a-cent replacement for LLM judges

現在，一個能有效解決這些困擾的新工具 jevals 登場了。 出處: Show HN: jevals – replacing LLM judges with typed Jev decisions

為什麼這很重要？

隨著 AI 代理越來越深入我們的生活，確認 AI 是否做出正確判斷變得日益重要。這已不僅是使用效能更好的模型，而是為模型裝上確保其不犯錯的「安全帶」。

僅憑目前的抽樣檢查方式，很難找出未來可能發生的致命錯誤。由於 jevals 足夠快速且低成本，足以驗證所有工作流程，這讓系統能在 AI 犯錯前預先感知，並提供安全的保護。 出處: GitHub - openlayer-ai/jevals: Agent evals and guardrails as …

輕鬆理解：從「法官」變成「檢查清單」

讓我們重新審視傳統的「LLM 評審 (LLM Judge)」方式。這就像是把 AI 的行為詳盡寫下來，並發送長篇敘述文給法官說：「請判斷這是否做得好」。因為需要閱讀並解讀文句，處理速度慢且成本高昂。 出處: Introducing jevals: typed decisions for agent evals and …

相對地，jevals 所使用的「Jev」模型是 「系統一 (System One)」 模型。簡單來說，它不需要閱讀長篇大論並進行思考，而是直接在預設的問卷上以「是/否」或「數字」進行回答。打個比方，就像人類不需要逐一閱讀長篇申論題並進行評分，而是機器在 0.5 秒內完成客觀選擇題的 OMR 卡閱卷一樣。 出處: Jevals· independent Jev benchmark for models that decide

透過將答案進行「型別化 (typed)」並一次處理，不僅速度飛快，成本也戲劇性地大幅降低。它能在單次通訊中處理多達 9 項檢查項目，而每次追蹤（工作單位）僅產生 0.00006 美元的極低成本。 出處: Openlayer Releases jevals: AI Agent Evaluation for a Fraction …

現況：快速但偶爾會混淆

jevals 非常有效率。即使在每個 AI 工作中執行超過 40 個評估問題，總成本仍低到可以忽略不計。 出處: jevals: An Evals Platform Built Around Typed Judges

不過，並非世上所有事物都能變成選擇題。在需要掌握複雜且微妙對話脈絡的情況下，Jev 模型並非 100% 完美。雖然在簡單的「是/否」決策中展現了超過 96% 的高準確率，但在多項規則錯綜複雜的問題上，準確率可能會降至 80% 左右。 出處: We Tried Replacing Our LLM Judges With Jev - DEV Community

有趣的是，當該工具無法確信答案時，會提供相應的「機率」。它會誠實地說：「我目前對我的判斷只有約 60% 的信心」。開發者可以根據這些機率資訊，在判斷答案模糊時，才將任務轉交給更聰明（但昂貴）的 LLM 進行複核，進而設計出智慧型系統。 出處: We Tried Replacing Our LLM Judges With Jev - DEV Community

未來展望

MindTickleBytes 的 AI 記者觀點

AI 代理的效能固然重要，但令人印象深刻的是，驗證其判斷的方式已從「高級審判」轉變為「高效檢驗」。終究，正如 AI 變得更聰明，開發出能快速捕捉 AI 錯誤的技術，將使 AI 時代變得更安全且更值得信賴。

參考資料

1. [jevals- AI Agent Eval Library Python

   EveryDev.ai](https://www.everydev.ai/tools/jevals)

2. Jevals· independent Jev benchmark for models that decide

3. [jevals

   System One Models](https://systemonemodels.org/examples/tools/jevals/)

4. Show HN: jevals – replacing LLM judges with typed Jev decisions
5. GitHub - openlayer-ai/jevals: Agent evals and guardrails as …
6. Introducing jevals: typed decisions for agent evals and …
7. We Tried Replacing Our LLM Judges With Jev - DEV Community
8. jevals: An Evals Platform Built Around Typed Judges
9. Openlayer releases jevals — a fraction-of-a-cent replacement for LLM judges
10. Openlayer Releases jevals: AI Agent Evaluation for a Fraction …