평가용 문서 코퍼스 큐레이션

RAG 평가를 위한 코퍼스 큐레이션

대규모 언어 모델(LLM)은 학습된 파라미터 내의 지식에 의존할 때 환각(Hallucination) 위험이 존재합니다. 검색 증강 생성(RAG)은 모델이 실시간으로 외부 지식에 접근하도록 하여 이러한 한계를 극복합니다 [S2]. 효과적인 RAG 시스템의 신뢰성을 정량적으로 평가하기 위해서는 고정되고 제어 가능한 평가용 문서 코퍼스(Fixed Evaluation Corpus)가 필수적입니다.

1. 코퍼스 품질 결정 요소

• 정확성(Factuality): 문서 내의 정보는 최신이고 사실적이어야 합니다. 잘못된 정보가 포함된 코퍼스는 잘못된 답변을 생성하게 합니다.
• 도메인 적합성: 평가하고자 하는 실제 서비스 환경과 유사한 주제 및 어휘를 포함해야 합니다.
• 중복 제거(De-duplication): 동일한 정보가 여러 문서에 중복될 경우, 검색 결과의 다양성이 저해되고 평가 통계에 편향을 줄 수 있습니다.

2. QA 평가 데이터셋 구축

문서 코퍼스만으로는 평가가 불가능합니다. ‘문서-질문-정답’ 쌍을 구축하여 검색기가 관련 문서를 가져오는지, 생성기가 이를 기반으로 정확한 답변을 하는지 측정해야 합니다.

• 질문 생성: LLM을 사용하여 문서에서 질문을 자동으로 생성하거나, 도메인 전문가가 직접 작성합니다.
• 정답 정의: 답변의 근거가 되는 문서 구간(Chunk)을 명확히 명시해야 합니다.

3. 데이터 분할 및 무결성

평가셋의 신뢰성을 위해 개발용(Development Set)과 최종 평가용(Hold-out Test Set)을 엄격히 분할해야 합니다. 평가셋에 포함된 질문이 검색 대상 문서에 직접적으로 포함되어 노출되는 ‘데이터 누출’ 현상을 방지해야 합니다.