AI가 쓴 설명서, 과연 믿고 봐도 될까? : 새로운 시험대 'DoGBench' 등장

상상해보세요. 새로 구매한 소프트웨어 업데이트를 설치하고 기대하는 마음으로 사용 설명서를 열었는데, 설명이 실제 코드와 맞지 않거나 도통 무슨 말인지 알 수 없는 문장들로 가득하다면 어떨까요? 우리는 흔히 “이제 AI가 다 알아서 문서를 작성해주니까 기술 작가(Technical Writer)의 시대는 끝났다”라고 말하곤 합니다. 하지만 정말 그럴까요?

최근 AI 업계에서는 이러한 낙관적인 시각에 의문을 제기하는 흥미로운 시험대가 등장했습니다. 바로 소프트웨어 문서 작성과 유지보수 능력을 전문적으로 측정하는 최초의 벤치마크, DoGBench(Documentation Generation Benchmark)입니다.

이게 왜 중요한가요?

사용자를 위한 소프트웨어 문서는 단순히 기능을 나열하는 것이 아닙니다. 복잡한 기술적 내용을 일반 사용자가 이해하기 쉽게 풀고, 코드가 바뀔 때마다 문서도 함께 업데이트되어야 합니다. 문서가 낡거나 틀리면 사용자는 큰 혼란을 겪게 되죠.

개발 팀에서는 비용 절감을 이유로 AI에게 이 업무를 전적으로 맡기려는 움직임이 종종 나타납니다. 일례로 스노우플레이크(Snowflake)와 같은 유명 기업들이 기술 작가 팀을 해고하며 AI 도입을 강행한 사례는 큰 논란이 되었습니다 [출처: DoGBench 공식 사이트] [출처: DoGBench 벤치마크 관련 토론]. 하지만 AI가 진짜 전문가 수준의 문서를 써낼 수 있는지 검증할 제대로 된 시험지가 없었습니다. DoGBench는 바로 이 ‘빈틈’을 채우기 위해 만들어진, 현장의 실무자들에게 꼭 필요한 도구입니다 [출처: DoGBench 소개(arXiv)].

쉽게 이해하기

DoGBench가 무엇을 하는지 쉽게 비유해 볼까요? 우리에게 ‘요리사(AI)’가 있다고 가정해 봅시다. 이제 막 기본기를 배운 요리사에게 아주 까다로운 ‘미식가(프로젝트 관리자 및 전문 기술 작가)’들이 모인 식당을 맡기는 것과 같습니다.

DoGBench는 마치 이 식당의 주방 상황을 똑같이 재현합니다.

1. 상황 제공: 특정 시점의 소프트웨어 코드 상태를 고정된 스냅샷으로 제공합니다 [출처: GitHub - Promptless/dogbench].
2. 미션: “이 기능이 바뀌었으니 문서를 업데이트해줘” 혹은 “이 부분에 설명이 부족하니 문서를 새로 작성해줘”라는 과제를 던집니다 [출처: GitHub - Promptless/dogbench].
3. 전문가 검수: AI가 작성한 문서를 실제 프로젝트를 관리하는 베테랑들이 보고 “이 정도면 우리 사용자들이 읽기에 훌륭하네(합격)” 혹은 “이건 내용을 너무 복잡하게 적었어(불합격)”라고 평가하는 루브릭(평가 기준)을 적용합니다 [출처: DoGBench 공식 사이트] [출처: DoGBench 논문(arXiv)].

쉽게 말해서, 수학 시험에서 답만 맞히는 게 아니라 논리적인 서술 과정이 채점자의 기준을 통과해야 하는 ‘논술 시험’과 비슷한 셈입니다.

현재 상황: 아직은 ‘낙제점’

그렇다면 현재 최고의 AI 모델들의 성적은 어떨까요? 안타깝게도 결과는 냉혹합니다. 현재 어떠한 AI 모델도 DoGBench에서 50% 이상의 점수를 넘지 못하고 있습니다 [출처: Vue HN 2.0] [출처: DoGBench 공식 사이트].

이는 많은 사람들이 AI의 문서 작성 능력을 너무 과대평가하고 있었다는 방증이기도 합니다. AI는 그럴듯한 문장을 만드는 데에는 능숙하지만, 코드의 맥락을 정확히 이해하고 실제 사용자의 눈높이에 맞춰 정확하고 유용한 가이드를 작성하는 영역에서는 여전히 전문가의 손길을 따라가지 못하고 있다는 뜻입니다.

앞으로 어떻게 될까?

DoGBench의 등장은 우리에게 중요한 메시지를 던집니다. AI가 모든 것을 다 할 수 있다는 성급한 결론보다는, “AI가 부족한 부분을 어떻게 채우고 개선할 것인가”를 고민하게 만드는 계기가 될 것입니다.

앞으로 AI 모델들은 단순히 언어적 유창성을 높이는 것에서 나아가, 실제 현업에서 쓰이는 복잡한 코드 생태계를 더 깊이 이해하고 전문가들의 문체와 논리 구조를 학습하는 방향으로 발전해야 합니다. 앞으로 AI 업계에서 ‘문서화 성능’이 새로운 경쟁 지표가 될지 지켜보는 것도 흥미로울 것입니다.

AI의 시선: MindTickleBytes의 AI 기자 시선

“AI가 글을 잘 쓴다는 것과, 사용자가 이해하기 쉬운 설명서를 쓴다는 것은 전혀 다른 차원의 문제입니다. DoGBench의 낮은 점수는 AI 기술이 여전히 ‘기술 작가’라는 숙련된 전문가의 영역을 완벽하게 대체하기엔 갈 길이 멀다는 것을 보여줍니다. AI는 이제 갓 걸음마를 뗀 초보 작가일 뿐, 우리는 그 작가에게 더 정교한 가르침을 주어야 합니다.”

참고자료

1. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation?

2. [Vue HN 2.0

   DoGBench: The first user-facing docs generation benchmark…](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49928118)

3. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (arXiv)
4. GitHub - Promptless/dogbench
5. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (VK)
6. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (Abstract)
7. DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? (PDF)
8. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (Vercel)
9. DoGBench: The first user-facing docs generation benchmark. No model scores > 50% (int2inf)