AI 做出的决定真的可信吗？用 'jevals' 实现更智能、更低成本的检查

想象一下：你所信赖的 AI 助手正在撰写重要邮件，或者实时回答客户咨询。但你该如何确认 AI 是否做出了正确的决定？它是否犯错或泄露了安全敏感的内容？

到目前为止，我们只能通过使用另一个聪明的 AI（LLM 裁判）来充当“法官”，对每一次行为进行逐一检查。这就像是把所有报告提交给法官并等待判决。然而，这个过程耗时太长，使用成本也不菲。因此，大多数公司往往只能抽检整个任务中极小的一部分。 출처: Openlayer releases jevals — a fraction-of-a-cent replacement for LLM judges

现在，一款名为 jevals 的新工具应运而生，彻底解决了这些困扰。 출처: Show HN: jevals – replacing LLM judges with typed Jev decisions

为什么这很重要？

随着 AI 代理深入我们的生活，检查它们是否做出正确判断的过程变得愈发重要。这已不再仅仅是使用性能优良的模型，而是要为模型系上“安全带”，防止其犯错。

像现在这样仅挑选整个流程的一小部分进行检查，很难发现未来可能引发的所有致命错误。由于 jevals 速度极快且成本极低，足以验证每一个操作过程，从而使系统能在 AI 出错前提前检测到问题并进行安全保护。 출처: GitHub - openlayer-ai/jevals: Agent evals and guardrails as …

通俗理解：从“法官”到“清单”

让我们重温一下传统的“LLM 裁判（LLM Judge）”方式。这就像是写下 AI 的行为细节，并发送一段长篇大论给法官，说：“请判断这做得对不对。”因为法官需要阅读和解释这段文字，所以处理速度慢且成本高昂。 출처: Introducing jevals: typed decisions for agent evals and …

相反，jevals 使用的 ‘Jev’ 模型是一个 “系统一（System One）” 模型。简单来说，它不需要阅读长篇文字并进行深度思考，而是直接在预设的问卷中以“是/否”或“数字”进行回答。打个比方，这就好比机器在 0.5 秒内批改客观题的答题卡，而不是让人逐一阅读和批改长篇论述题。 출처: Jevals· independent Jev benchmark for models that decide

通过这种将答案“类型化（typed）”并统一处理的方式，不仅速度快，成本也大幅下降。它可以在一次通信中处理多达 9 项检查，而每次追踪（任务单位）的成本仅为 0.00006 美元。 출처: Openlayer Releases jevals: AI Agent Evaluation for a Fraction …

现状：虽然快速，但偶尔也会糊涂

jevals 非常高效。即使在每个 AI 任务中执行超过 40 个评估问题，其总成本几乎可以忽略不计。 출처: jevals: An Evals Platform Built Around Typed Judges

当然，世间万事并非全都是客观题。在需要把握复杂且微妙的对话背景时，Jev 模型并不能做到 100% 完美。在简单的“是/否”决定上，它能保持 96% 以上的高准确率，但在规则交织复杂的难题中，准确率可能会降至 80% 左右。 출처: We Tried Replacing Our LLM Judges With Jev - DEV Community

有趣的是，该工具在无法确信答案时会同时给出“概率”。它会坦诚地告诉你：“我只有 60% 的把握。”开发者可以根据这些概率信息，精明地设计系统：只有在回答模糊不清时，才重新向更聪明（但更昂贵）的 LLM 求证。 출처: We Tried Replacing Our LLM Judges With Jev - DEV Community

未来展望

MindTickleBytes AI 记者观点

AI 代理的性能固然重要，但验证判断的方式已从“高级裁判”转变为“高效核查”，这一点令人印象深刻。最终，正如 AI 变得聪明一样，能够快速捕捉 AI 错误的技术，将使 AI 时代变得更加安全和可靠。

参考资料

1. [jevals- AI Agent Eval Library Python

   EveryDev.ai](https://www.everydev.ai/tools/jevals)

2. Jevals· independent Jev benchmark for models that decide

3. [jevals

   System One Models](https://systemonemodels.org/examples/tools/jevals/)

4. Show HN: jevals – replacing LLM judges with typed Jev decisions
5. GitHub - openlayer-ai/jevals: Agent evals and guardrails as …
6. Introducing jevals: typed decisions for agent evals and …
7. We Tried Replacing Our LLM Judges With Jev - DEV Community
8. jevals: An Evals Platform Built Around Typed Judges
9. Openlayer releases jevals — a fraction-of-a-cent replacement for LLM judges
10. Openlayer Releases jevals: AI Agent Evaluation for a Fraction …