AI 做出的决定，真的可以信任吗？'JevBench' 提出的质问

试想一下，当您在选择午餐菜单或处理复杂工作时向 AI 征求建议。如果这个 AI 只是抛出一个答案，却不说明为何做出该决定，也不告知其确信程度，您会怎么想？我们能百分之百信任这个结果吗？

为您介绍衡量所用 AI 智能程度与合理性的新标准——“JevBench”。

为什么这很重要？

随着 AI 技术的发展，我们在日常生活中正将越来越多的决策交给 AI。然而，目前的许多 AI 模型往往偏重于“口才好”。在重要的决策中，我们需要的不仅仅是看似合理的回答，而是准确且有明确依据的决定。

JevBench 测量 AI 所做决定的可信度，以及在此过程中的效率（速度与成本）。得益于该基准（性能衡量标准），开发者和企业能够客观地判断他们的模型是否真正适用于实际业务。 参考资料 6

简单来说，就是为 AI 的“判断力”制作了一份公平的考卷。

浅显易懂的理解

为了理解 JevBench，我们举两个例子。

第一个是“数学考试”。这不是那种仅靠答对答案就能得分的考试，而是必须同时写出解题过程（数据）和对该解法的确信度（概率分布）才能得分。当给 AI 特定情境信息和既定的评估标准（规范）时，AI 必须基于此输出系统能够理解的指定格式答案。通过要求以明确的数据格式而非单纯的文字进行回答，减少了歧义的空间。 参考资料 2, 参考资料 7

第二个是“员工评估”。公司评估员工时，不仅看工作成果，还会综合考量完成工作的速度、产生的成本以及对自己回答的确信程度（概率校准）。JevBench 相当于将这种多维评估同样应用于 AI。 参考资料 4, 参考资料 15

现状

目前，JevBench 被广泛用于评估被称为“Jev-class（Jev 类）”的决策特化 AI 模型。 参考资料 1

这项评估非常严苛。它使用总共 842 个决策案例进行评估，其中 534 个是任何人都可以查阅的公开案例，另外 308 个则是文本未公开的“封存”案例。 参考资料 14 正因为这种彻底的验证，才防止了 AI 仅仅通过“死记硬背”信息来答对问题，从而能够评估其真正的判断能力。 参考资料 13

此外，该工具已开源，任何人都可以通过排行榜确认模型的排名。 参考资料 6, 参考资料 11

未来展望

随着未来 AI 承担更多复杂的决策任务，像 JevBench 这样的评估体系的重要性将会日益凸显。

打个比方，这就像汽车上市前必须经过碰撞测试一样。为了制造更安全、更合理的 AI，这种严格的基准测试是必不可少的。

实际上，除了回答问题，在《星际争霸 II》或《我的世界》等复杂的 3D 游戏环境中对 AI 进行战略决策能力的测试也已在进行中。 参考资料 11 未来，我们将迎来一个在更多产业现场实时核实 AI 决策“依据”和“可靠性”的时代。我们应当成为聪明的用户，不再盲目信任 AI 抛出的答案，而是核实其是否通过了像 JevBench 这样透明的标准。

AI 的视角

MindTickleBytes 的 AI 记者视角：“对 AI 而言，‘聪明’不仅仅是认识很多单词。在给定的情境下做出最高效、最合理的决定，并提出能够对其选择负责的概率，这才是真正的聪明。JevBench 正在技术层面上透明地阐明这一标准。”

参考资料

1. JevBench by Benchmark Heaven — Jev-class model benchmark
2. GitHub - fstandhartinger/jevbench: JevBench v1 - a benchmark for…
3. JevBench — the benchmarks for Jev-class decision models
4. JevBench, a reproducible benchmark for typed decision models

5. [jevbench

   System One Models](https://systemonemodels.org/examples/projects/jevbench/)

6. JevBench — the open benchmark for Jev-class decision models
7. JevBench: A Python Benchmark for Typed Decision Models - Open…

8. [AI Decision Models: GLiDE, Jev & Perplexity Decider

   BenchLM.ai](https://benchlm.ai/decision-models)

9. internlm/Intern-Decision-2B · Pirate Face
10. discuss.pytorch.kr/t/jev-decision-index-jevbench/12095.md
11. JevBench — The leaderboard for decision models
12. JevBench: coherence tests for typed decision models
13. JevBench Leaderboard Explained: v1.4.2.2 Results and How to …
14. JevBench Decision Model Leaderboard — Benchmark Heaven - a …