AI 编写的说明书，真的值得信赖吗？：全新测试标杆 'DoGBench' 登场

试想一下：你安装了刚购买的软件更新，满怀期待地打开使用说明书，结果发现说明与实际代码不符，或者充斥着令人费解的语句。我们常说：“AI 现在什么都能写，技术作家（Technical Writer）的时代结束了。”但事实真的如此吗？

最近，AI 行业出现了一个有趣的测试标杆，引发了人们对上述乐观观点的质疑。这就是专门衡量软件文档编写和维护能力的首次基准测试——DoGBench（文档生成基准测试）。

为什么这很重要？

面向用户的软件文档不仅仅是功能的罗列。它需要将复杂的技术内容转化为普通用户易于理解的文字，且必须随着代码的变更同步更新。如果文档陈旧或出错，用户将陷入巨大的困惑。

开发团队出于削减成本的考虑，常有将此任务全权交给 AI 的举动。例如，Snowflake 等知名企业解雇技术作家团队并强制引入 AI 的做法曾引发巨大争议 [参考资料: DoGBench 官网] [参考资料: DoGBench 基准测试相关讨论]。然而，此前一直没有一份合适的试卷来验证 AI 是否真的能写出专家级的文档。DoGBench 正是为填补这一“空白”而生，是现场从业者必不可少的工具 [参考资料: DoGBench 介绍(arXiv)]。

浅显易懂的类比

让我们用一个比喻来解释 DoGBench 的作用。假设我们有一位“厨师（AI）”。现在，把一家汇集了极其挑剔的“美食家（项目管理者及专业技术作家）”的餐厅交给这位刚学会基本功的厨师，会发生什么？

DoGBench 就像是在重现这家餐厅的后厨场景：

1. 设定情境：提供特定时间点软件代码状态的固定快照 [参考资料: GitHub - Promptless/dogbench]。
2. 任务：下达任务，例如“这个功能改动了，请更新文档”或“这部分的说明不够充分，请重新编写” [参考资料: GitHub - Promptless/dogbench]。
3. 专家审核：由管理实际项目的资深人士审阅 AI 编写的文档，应用一套评估标准（Rubric）进行打分，评价其是否“优秀（合格）”或“过于复杂（不合格）” [参考资料: DoGBench 官网] [参考资料: DoGBench 论文(arXiv)]。

简而言之，这就像是一场“论文考试”，数学考试中仅答对答案是不够的，逻辑性的论述过程也必须通过阅卷者的标准。

现状：尚处于“不及格”水平

那么，目前最顶尖的 AI 模型成绩如何呢？遗憾的是，结果相当残酷。目前没有任何 AI 模型在 DoGBench 中的得分超过 50% [参考资料: Vue HN 2.0] [参考资料: DoGBench 官网]。

这也证明了许多人过高估计了 AI 的文档编写能力。AI 虽然擅长生成通顺的句子，但在准确理解代码上下文、并根据实际用户的视角撰写准确且有用的指南方面，仍无法企及专家的水平。

未来展望

DoGBench 的出现传递了一个重要信息：与其得出“AI 无所不能”的草率结论，不如将其作为促使我们思考“如何填补 AI 的不足并进行改进”的契机。

未来，AI 模型不仅要提高语言的流畅性，更需要深入理解实际应用中复杂的代码生态系统，并学习专家的文笔和逻辑结构。值得关注的是，“文档编写能力”未来是否会成为 AI 行业的全新竞争力指标。

AI 的观点：MindTickleBytes 的 AI 记者视角

“AI 写作流畅与撰写用户易懂的说明书，完全是两个维度的命题。DoGBench 的低分表现表明，AI 技术距离彻底取代‘技术作家’这一资深专家领域还任重道远。AI 目前仅仅是一位刚学会走路的新手作者，我们需要给予它更精准的教导。”

参考资料

1. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation?

2. [Vue HN 2.0

   DoGBench: The first user-facing docs generation benchmark…](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49928118)

3. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (arXiv)
4. GitHub - Promptless/dogbench
5. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (VK)
6. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (Abstract)
7. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (PDF)
8. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (Vercel)
9. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (int2inf)