자동 평가 프레임워크(Ragas) 적용

RAG 평가의 도전 과제와 Ragas

RAG 시스템은 검색 모듈과 LLM 기반 생성 모듈로 구성됩니다 [S3, S4]. 이러한 구조를 평가하는 것은 도전적인 작업인데, 검색 시스템이 관련성 높은 문맥(context)을 얼마나 잘 식별하는지, LLM이 제공된 문맥을 얼마나 충실하게(faithfully) 활용하는지, 그리고 답변의 품질은 어떠한지를 모두 고려해야 하기 때문입니다 [S4].

전통적인 평가 방식은 사람이 직접 정답(ground truth)을 작성하고 비교하는 방식에 의존했으나, 이는 비용이 많이 들고 시간이 오래 걸려 빠른 반복 주기에 부적합합니다 [S3, S4].

Ragas 프레임워크

Ragas(Retrieval Augmented Generation Assessment)는 정답 데이터셋 없이도 RAG 파이프라인을 평가할 수 있는 프레임워크입니다 [S3, S4]. Ragas는 다음과 같은 핵심 차원을 자동 평가합니다:

1. 검색 품질(Retrieval Quality): 검색된 문맥이 질문과 얼마나 관련이 있는지(Context Relevance), 모든 필요한 정보를 포함하는지(Context Recall)를 측정합니다.
2. 생성 품질(Generation Quality): 생성된 답변이 검색된 문맥에 기반하고 있는지(Faithfulness), 질문에 얼마나 관련이 있는지(Answer Relevance)를 측정합니다.

이러한 메트릭은 LLM을 ‘평가자(judge)’로 활용하여 참조 없이도 평가가 가능하게 하며, RAG 개발 주기를 단축하는 데 기여합니다 [S3, S4].