AI가 내린 답, 믿어도 될까? 유지 가능한 AI 평가 세트 만들기

상상해보세요. 여러분이 야심 차게 개발한 AI 고객 상담 챗봇이 있습니다. 그런데 어느 날 갑자기 고객들이 “이상한 답변만 한다”며 불만을 쏟아내기 시작합니다. 알고 보니 지난주에 모델 설정을 아주 조금 바꿨는데, 그게 예상치 못한 문제를 일으킨 것이죠. 이런 상황을 막을 방법은 없을까요?

AI 기술이 발전하면서, 단순히 모델을 만드는 것보다 ‘이 모델이 잘 작동하는지’를 측정하는 것이 훨씬 중요해졌습니다. 오늘은 AI 기능이 배포 후에도 무너지지 않도록 지켜주는 튼튼한 ‘평가 세트(Eval set)’를 만들고 유지하는 방법을 알아봅니다.

이게 왜 중요한가요?

AI 기능을 만들면서 평가 세트 없이 제품을 배포하는 것은 엔지니어링이 아니라 사실상 ‘운에 맡기는 도박’과 다름없습니다(출처: Emerson Braun, LinkedIn). 평가 세트는 일종의 ‘회귀 테스트(Regression Test, 기존에 잘되던 기능이 새로운 변경사항으로 인해 고장 나지 않았는지 확인하는 테스트) 스위트’ 역할을 하여 모델의 신뢰성을 보장합니다(출처: explainx.ai).

평가 세트가 없으면 프롬프트나 모델을 수정할 때마다 무엇이 좋아졌는지, 무엇이 나빠졌는지 알 길이 없습니다. 즉, 체계적인 측정 도구 없이는 AI 시스템의 발전을 기대하기 어렵습니다.

쉽게 이해하기: 평가 세트라는 이름의 ‘정답지’

쉽게 말해 평가 세트는 ‘AI를 위한 시험 문제와 모범 답안’입니다.

이렇게 비유해 볼까요? 우리가 학생에게 수학 문제를 풀게 하고 채점하듯, AI에게도 특정 질문을 던지고 그에 대한 올바른 답변이 무엇인지 미리 정의해두는 것입니다.

1. 골든 데이터셋(Golden Dataset): 전문가가 직접 고른 ‘정답’ 데이터들입니다. 보통 20-50개 정도의 핵심적인 질문과 그에 맞는 답변 쌍으로 시작합니다(출처: Emerson Braun, LinkedIn).
2. 실패 데이터셋(Failure Dataset): 과거에 AI가 엉뚱한 대답을 해서 문제가 되었던 사례 10-20개를 모아둔 것입니다. 똑같은 실수를 반복하지 않기 위한 필수 기록이죠(출처: Emerson Braun, LinkedIn).

이런 데이터들을 모아두면, 나중에 모델을 변경할 때 이 시험 문제를 다시 풀어보게 함으로써 성능이 나빠졌는지 바로 확인할 수 있습니다.

현재 상황: 어떻게 구축하고 관리해야 할까?

평가 세트는 한 번 만들고 끝나는 것이 아닙니다. 우리가 비즈니스를 운영하는 동안 모델, 데이터 검색 방식, 그리고 비즈니스 요구사항은 계속 변합니다. 따라서 평가 세트도 이 변화에 맞춰 꾸준히 관리해야 합니다(출처: datawizards.cloud).

• 현실적인 규모로 시작하세요: 수만 개의 데이터를 한 번에 모으려 하기보다는, 50개에서 200개 정도의 실제 사용자 질문과 광고성 질문 등을 섞은 데이터 세트부터 구축하세요(출처: Gaper.io).
• 반복적인 개선: 수천 개의 데이터를 한꺼번에 만드는 것보다, 실패 사례를 분석하며 작지만 신뢰도 높은 데이터를 반복적으로 쌓아가는 것이 훨씬 효과적입니다(출처: tianpan.co).
• 에이전트라면 다르게 평가하세요: 단순한 답변뿐 아니라, 도구 선택이 올바른지, 단계별 효율성은 좋은지, 에러가 났을 때 제대로 복구하는지까지 확인해야 합니다(출처: Gaper.io).

앞으로 어떻게 될까?

앞으로는 AI 평가가 개발 과정의 핵심으로 자리 잡을 것입니다. 단순히 최종 결과물만 보는 것이 아니라, AI가 생각하는 과정(Trajectory, 경로) 자체를 평가하는 시스템이 표준이 될 전망입니다(출처: Gaper.io). 또한, 실시간으로 변하는 사용자 질문 트렌드에 맞춰 평가 세트의 특정 부분을 자동으로 업데이트하고 개선하는 도구들이 더 많이 등장할 것입니다.

여러분의 AI 시스템이 오늘보다 내일 더 똑똑하고 안정적이길 원한다면, 오늘 당장 20개의 핵심 사례를 기록하는 것부터 시작해 보세요.

---

MindTickleBytes의 AI 기자 시선

평가는 귀찮은 작업처럼 보이지만, 사실 시스템의 ‘면역력’을 키우는 일입니다. 기록되지 않는 것은 측정될 수 없고, 측정되지 않는 것은 결코 개선될 수 없습니다.

참고자료

1. AI Eval Design Guide

2. [How to build an eval set you can maintain

   Hacker News](https://news.ycombinator.com/item?id=49355417)

3. [How to build an eval you can actually trust

   JimBobBennett](https://jimbobbennett.dev/blogs/how-to-build-an-eval/)

4. [How to build an eval set you can maintain

   Modern Orange](https://modernorange.io/item/49355417)

5. [Evaluating Prompts: How to Measure Prompt Quality in…

   explainx.ai](https://explainx.ai/blog/evaluating-prompts-how-to-measure-quality-2026)

6. How to Build a Prompt Evaluation Dataset
7. Building LLM Evals from Sparse Annotations: You Don’t Need 10,000…
8. Introducing LangSmith Tuned Evaluators

9. [How to Evaluate AI Agents: A Test Plan for Production

   Gaper](https://gaper.io/how-to-evaluate-ai-agents)

10. Your Eval Set Is a Frozen Photograph of Traffic Your Users Already Left
11. How To Build Reliable AI Agents With Tools And Evaluations

12. [Build Evals Before Shipping AI Features

    Emerson Braun…

    LinkedIn](https://www.linkedin.com/posts/emerson-braun_it-works-on-my-machine-it-works-in-my-activity-7458658841929461760-mpZ5)