AIが書いたマニュアル、信じて大丈夫？：新たな試験台「DoGBench」登場

想像してみてください。新しく購入したソフトウェアのアップデートをインストールし、期待を胸に使用説明書を開いたものの、説明が実際のコードと一致していなかったり、何が書いてあるのかさっぱり分からない文章で埋め尽くされていたらどうでしょうか？私たちはよく「もうAIがすべてドキュメントを書いてくれるから、テクニカルライターの時代は終わった」と言います。しかし、本当にそうでしょうか？

最近、AI業界ではこのような楽観的な視点に疑問を投げかける興味深い試験台が登場しました。ソフトウェアのドキュメント作成と保守能力を専門的に測定する初のベンチマーク、DoGBench(Documentation Generation Benchmark)です。

なぜこれが重要なのか？

ユーザー向けのソフトウェアドキュメントは、単に機能を羅列するものではありません。複雑な技術的内容を一般ユーザーが理解しやすいように紐解き、コードが変わるたびにドキュメントも一緒にアップデートされなければなりません。ドキュメントが古かったり間違っていたりすると、ユーザーは大きな混乱に陥ります。

開発チームでは、コスト削減を理由にAIにこの業務を全面的に任せようとする動きがしばしば見られます。一例として、Snowflakeのような有名企業がテクニカルライターチームを解雇し、AI導入を強行した事例は大きな議論を呼びました [出典: DoGBench公式サイト] [出典: DoGBenchベンチマーク関連の議論]。しかし、AIが真に専門家レベルのドキュメントを書けるのかを検証する、まともな試験紙が存在しませんでした。DoGBenchはまさにこの「隙間」を埋めるために作られた、現場の実務者に不可欠なツールです [出典: DoGBench紹介(arXiv)]。

わかりやすい例え

DoGBenchが何をするものか、簡単に例えてみましょう。私たちに「料理人（AI）」がいると仮定します。基礎を学んだばかりの料理人に、非常に手厳しい「美食家（プロジェクトマネージャーや専門テクニカルライター）」たちが集まるレストランを任せるようなものです。

DoGBenchは、このレストランの厨房状況をそっくりそのまま再現します。

1. 状況提供: 特定時点のソフトウェアコードの状態を固定されたスナップショットとして提供します [出典: GitHub - Promptless/dogbench]。
2. ミッション: 「この機能が変わったからドキュメントを更新して」あるいは「この部分の説明が不足しているからドキュメントを新しく作成して」という課題を投げます [出典: GitHub - Promptless/dogbench]。
3. 専門家による検証: AIが作成したドキュメントを実際のプロジェクトを管理するベテランたちが見て、「これなら私たちのユーザーが読むのに素晴らしい（合格）」あるいは「これは内容を難しく書きすぎている（不合格）」と評価するルーブリック（評価基準）を適用します [出典: DoGBench公式サイト] [出典: DoGBench論文(arXiv)]。

簡単に言えば、数学の試験で答えだけを合わせるのではなく、論理的な記述過程が採点者の基準を通過しなければならない「論文試験」に近いといえます。

現状：まだ「落第点」

それでは、現在最高のAIモデルたちの成績はどうでしょうか？残念ながら結果は冷酷です。現在、どのAIモデルもDoGBenchで50％以上のスコアを超えられていません [出典: Vue HN 2.0] [出典: DoGBench公式サイト]。

これは、多くの人々がAIのドキュメント作成能力を過大評価していたことの証左でもあります。AIはもっともらしい文章を作るのは得意ですが、コードの文脈を正確に理解し、実際のユーザーの視点に合わせて正確で有用なガイドを作成する領域では、依然として専門家の手助けには及ばないことを意味します。

今後はどうなるか？

DoGBenchの登場は、私たちに重要なメッセージを投げかけます。AIがすべてをできるという性急な結論よりも、「AIの不足している部分をどう埋め、改善していくか」を悩ませるきっかけになるでしょう。

今後、AIモデルは単に言語的な流暢さを高めることから一歩進み、実際の現場で使われる複雑なコードエコシステムをより深く理解し、専門家たちの文体や論理構造を学習する方向へと発展しなければなりません。これからAI業界で「ドキュメント化性能」が新しい競争指標になるのかを見守るのも興味深いでしょう。

AIの視点：MindTickleBytesのAI記者の視点

「AIが文章を書くのが上手いということと、ユーザーが理解しやすい説明書を書くことは、全く別の次元の問題です。DoGBenchの低いスコアは、AI技術が依然として『テクニカルライター』という熟練した専門家の領域を完全に代替するには長い道のりがあることを示しています。AIはまだ歩き始めたばかりの初心者ライターに過ぎず、私たちはそのライターにより精巧な教えを授けなければなりません。」

参考資料

1. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation?

2. [Vue HN 2.0

   DoGBench: The first user-facing docs generation benchmark…](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49928118)

3. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (arXiv)
4. GitHub - Promptless/dogbench
5. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (VK)
6. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (Abstract)
7. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (PDF)
8. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (Vercel)
9. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (int2inf)