표본 인간 검토 및 대조

자동화 평가의 한계와 인간 검토의 필요성

검색 증강 생성(RAG) 시스템의 품질을 평가할 때 Ragas와 같은 도구는 정량적 지표를 빠르게 제공하지만, 모델이 생성한 답변의 미묘한 사실적 오류를 완벽히 포착하는 데는 한계가 있습니다. 특히 복잡한 맥락에서 LLM이 지식 내에서 추론하는지, 혹은 학습된 데이터에 의존하여 환각(Hallucination)을 생성하는지 구분하기 어렵습니다.

사실적 일관성 평가

최근 연구는 자연어 추론(NLI) 모델이나 대형 언어 모델(LLM)을 활용하여 요약이나 답변의 사실성을 평가합니다. 그러나 기존 방식은 인간이 작성한 요약 데이터셋에 의존하며, 이는 실제 모델이 생성하는 결과물의 특성과 차이가 발생할 수 있습니다 [S5]. TrueTeacher와 같은 접근법은 LLM을 활용하여 모델 생성 데이터에서 합성적인 사실성 평가 데이터를 생성함으로써 이러한 한계를 극복하려 합니다 [S5].

인간 검토(Human-in-the-Loop)의 역할

자동 평가 파이프라인이 아무리 고도화되더라도, 최종적인 신뢰성 검증은 인간의 검토가 필수적입니다. 인간 검토는 다음 역할을 수행합니다:

1. 자동 평가 지표의 검증: 특정 답변이 ‘관련 있음’으로 평가되었으나 실제로는 사실이 아닌 경우를 식별.
2. 환각 유형 분류: 시스템의 구조적 결함(검색 오류 vs. 생성 모델 오류)을 진단.
3. 회귀 테스트 셋의 보정: 인간이 검수한 데이터를 바탕으로 평가셋의 품질을 지속적으로 개선.