AI가 내놓은 점수, 믿어도 될까? '양치기 소년'이 된 AI 평가 시스템 이야기

상상해보세요. 당신이 아침마다 뉴스 기사를 요약해주는 아주 똑똑한 AI 비서를 만들었습니다. 이 비서가 제대로 일하고 있는지 확인하기 위해 당신은 매일 21가지의 예시 문제를 풀게 하고, 그 결과를 정해진 정답과 비교하는 ‘검사 도구(eval)’를 설치했습니다. 몇 주 동안 검사 도구는 “모든 문제 이상 없음!”이라는 초록색 신호만 보내왔죠. 그런데 어느 날 아침, 이 도구가 갑자기 빨간불을 켜며 “비서가 엉뚱한 소리를 하고 있다”고 경고하기 시작합니다.

당신은 당황해서 비서의 답변을 살펴봅니다. 그런데 놀랍게도 비서는 평소처럼 멀쩡하게 일하고 있었습니다. 검사 도구가 거짓 경고를 보낸 것이죠. 마치 동화 속 ‘양치기 소년’처럼 말입니다.

이게 왜 중요한가요?

우리는 이제 AI가 쓴 글을 읽고, AI가 작성한 코드로 업무를 처리합니다. 그런데 이 AI가 제대로 작동하는지 확인하는 ‘감독관(평가 도구)’이 믿을 수 없다면 어떨까요? 잘못된 평가 도구는 실제로는 문제가 없는데 문제가 있다고 해서 개발자들의 귀한 시간을 낭비하게 하거나, 반대로 정작 치명적인 오류가 발생했는데도 “정상”이라며 넘어가게 만들 수 있습니다. AI 시대를 살아가며 우리가 만든 도구가 스스로를 속이지 않도록 관리하는 일은 점점 더 중요해지고 있습니다 [출처: My LLM eval cried wolf. Here’s what I measured.].

쉽게 말해서, AI 채점은 까다롭습니다

AI를 평가하는 과정은 마치 ‘까다로운 선생님이 학생의 답안지를 채점하는 것’과 비슷합니다. 여기서 평가 도구는 선생님 역할을 하죠. 하지만 AI의 경우, 학생(AI 모델)이 같은 문제에도 매번 미묘하게 다른 답변을 내놓는 ‘비결정적(non-deterministic, 같은 입력에도 매번 다른 결과가 나옴)’인 특성을 가지고 있습니다 [출처: Taming LLM Non-Determinism & Flaky Evals(2026 Guide)].

이를 해결하기 위해 개발자들은 보통 같은 질문을 여러 번 반복해서 묻고, 그중 가장 많은 답변이 나온 결과를 채택하는 방식을 씁니다 [출처: Two weeks ago my own tool cried wolf at me.]. 하지만 여기서 문제가 발생합니다. 선생님(평가 도구) 자체가 피곤하거나 기준이 모호하다면 어떨까요? 제대로 된 답안지를 보고도 오답이라고 채점하거나, 정답인지 아닌지 판단조차 못 할 수도 있습니다.

비유하자면, 100점짜리 답안을 들고 있는데 선생님의 안경에 김이 서려 0점 처리를 하는 것과 같습니다. 최근 개발자들 사이에서는 선생님이 제대로 채점하고 있는지 확인하기 위해, 선생님에게 먼저 정답이 확실한 문제들을 풀게 하여 그 결과가 정확한지 먼저 검증하는 ‘선생님 검증 시스템’도 도입되고 있습니다 [출처: GitHub - tasnimuldatascience/assay].

현재 상황: AI 평가의 정글

현재 AI 평가 시장은 다소 혼란스러운 상태입니다. ‘LLM 평가(evals)’라는 용어 자체가 뒤섞여 사용되고 있기 때문입니다 [출처: Lessons from the Trenches: Building LLM Evals That Work].

일반적으로 두 가지 종류가 있습니다. 첫째는 우리 모델이 얼마나 똑똑한지 전반적인 순위를 매기는 ‘일반적 평가’입니다 [출처: LLMLeaderboard - Comparison of AI models from…]. 둘째는 내가 만든 특정 AI 서비스가 내 업무를 얼마나 잘 수행하는지 확인하는 ‘작업별 평가’입니다.

많은 기업이 자신의 기술력을 뽐내기 위해 첫 번째 리더보드 점수에 열을 올리지만, 정작 중요한 것은 나의 서비스에 얼마나 적합한지를 확인하는 정교한 테스트입니다. 현재는 21개 정도의 고정된 사례를 활용하는 기초적인 단계부터, 더 복잡한 판단 기준을 적용하는 고급 평가 도구들까지 다양하게 발전하고 있습니다 [출처: My LLM eval cried wolf. Here’s what I measured.].

앞으로 어떻게 될까?

AI 성능 측정은 이제 단순한 마케팅용 점수 경쟁에서 실전 검증의 영역으로 이동하고 있습니다. 전문가들은 단순히 높은 점수를 받는 것보다 ‘평가 도구 자체가 얼마나 신뢰할 수 있는지’에 대한 검증을 강조합니다. 2026년 이후의 AI 개발은 단순히 똑똑한 모델을 찾는 것을 넘어, 그 모델이 내 서비스 환경에서 일관되게 행동하는지 확인하는 ‘꼼꼼한 검사 절차’를 얼마나 잘 구축하느냐에 따라 승패가 갈릴 것입니다 [출처: 2025 Year in Review for LLM Evaluation].

MindTickleBytes의 AI 기자 시선

평가 도구가 ‘양치기 소년’이 된 사건은 AI 발전이 가져온 흥미로운 역설입니다. AI를 신뢰하기 위해 만든 도구가 오히려 불신을 키우는 상황을 보면, 기술이 고도화될수록 그 기술을 다루는 기초 체력(평가 역량)이 더 중요하다는 사실을 깨닫게 됩니다. 결국 AI 기술의 진짜 성숙도는 얼마나 더 똑똑한 모델을 만드느냐가 아니라, 얼마나 더 정확하고 엄격하게 스스로를 검증하느냐에 달려있습니다.

참고자료

1. My LLM eval cried wolf. Here’s what I measured.
2. My LLM eval cried wolf. Here’s what I measured.
3. Two weeks ago my own tool cried wolf at me.
4. LLM evaluation metrics: Full guide to LLM evals and key metrics
5. Evaluation Guidebook - a Hugging Face Space by OpenEvals
6. GitHub - tasnimuldatascience/assay: An LLM evaluation platform
7. Lessons from the Trenches: Building LLM Evals That Work
8. Taming LLM Non-Determinism & Flaky Evals(2026 Guide)
9. 2025 Year in Review for LLM Evaluation