MODULE m10 · 18.0 HOURS

재현 가능한 회귀 평가 리포팅

0% 완료

LEARNING OBJECTIVES

이번 모듈의 목표

  1. RAG 시스템의 재현 가능한 회귀 평가 프레임워크를 이해한다.
  2. Ragas 프레임워크를 사용하여 검색 및 생성 품질을 정량적으로 측정한다.
  3. 회귀 테스트를 통해 모델 업데이트나 검색 알고리즘 변경이 시스템 신뢰성에 미치는 영향을 분석한다.
  4. 인간 검토와 자동화 평가의 조화를 통한 종합적인 리포팅 방식을 습득한다.

RAG 시스템 평가의 핵심 차원

RAG 아키텍처를 평가하는 것은 다면적인 작업입니다. 검색 시스템이 질문에 관련성 높고 집중된 문맥을 식별하는 능력, LLM이 식별된 문맥을 사용하여 충실하게 답변을 생성하는 능력, 그리고 최종 생성물의 품질 자체가 평가 대상입니다 [S3, S4].

Ragas 프레임워크

Ragas(Retrieval Augmented Generation Assessment)는 기준 데이터(Ground Truth) 없이도 RAG 파이프라인을 평가할 수 있는 프레임워크입니다 [S3]. Ragas는 검색 품질(Retrieval quality), 생성 품질(Generation quality), 그리고 할루시네이션(Hallucination) 방지 능력을 측정하기 위한 일련의 지표를 제공합니다 [S3].

회귀 평가의 중요성

시스템 신뢰성을 유지하기 위해서는 변화 관리(Change Management)가 필수적입니다. 새로운 임베딩 모델 도입, 검색 알고리즘 튜닝, 또는 LLM 설정 변경 시 기존 평가 데이터셋을 대상으로 회귀 테스트를 수행해야 합니다. 회귀 평가 리포트는 시스템의 개선점이 실제 신뢰성 향상으로 이어졌는지, 아니면 새로운 결함을 유발했는지를 통계적으로 입증하는 자료가 됩니다.

WORKED EXAMPLES

해설 예제

  1. 통계적 비교 예시: 두 가지 RAG 설정(기존 vs 신규 임베딩 모델)에 대해 동일한 100문항 평가셋을 실행하고, Ragas 지표(Faithfulness, Answer Relevance)의 평균값과 표준편차를 비교하여 유의미한 성능 향상을 검증하는 노트북 분석 사례.
  2. 오류 유형 분류 예시: 시스템이 '답변 관련성' 점수가 낮게 나온 30건을 표본 추출하여, 검색 단계의 실패(관련 문서 미검색)인지 생성 단계의 실패(문맥 무시)인지 수동으로 분류하고 이를 파이프라인 로그에 기록하는 방법.

LAB PROTOCOL

RAG 파이프라인 회귀 테스트 자동화

  1. 1

    최종 검증용 평가 데이터셋(100문항)을 JSON 형태로 준비한다.

  2. 2

    두 가지 서로 다른 RAG 파이프라인 설정(버전 A, 버전 B)을 정의한다.

  3. 3

    Ragas 프레임워크를 사용하여 각 파이프라인에 대해 자동 평가를 수행하고 결과를 저장한다.

  4. 4

    Pandas를 사용하여 두 결과셋의 지표 분포를 시각화하고 통계적 차이를 계산한다.

  5. 5

    평가 점수가 급격히 하락한 하위 10% 사례에 대해 근거 문맥과 모델 응답을 대조한다.

안전 점검
  • 평가 데이터셋에 개인정보나 사내 기밀 문서가 포함되지 않았는지 반드시 확인한다.
  • 외부 API 호출 시 비용 상한을 설정하고 로컬 환경에서 테스트할 때는 캐시를 사용하여 무분별한 요청을 방지한다.
  • 모델 평가 결과만을 맹신하지 않고, 표본에 대한 인간 검토(Human-in-the-loop)를 반드시 병행한다.

실습 제출물

  • 회귀 평가 실행 결과가 포함된 Jupyter Notebook
  • 두 RAG 설정 간 성능 비교 시각화 그래프(박스플롯 또는 산점도)
  • 오류 유형 분류 및 인간 검토 기록이 포함된 최종 리포트

ASSIGNMENT

RAG 신뢰성 개선 리포트 작성

제출물

평가 기준

  • 검색 및 생성 품질 지표가 정량적으로 측정되었는가?
  • 회귀 테스트 방법론이 기술되어 있으며 재현 가능한가?
  • 자동 평가 결과와 인간 검토 결과 간의 분석이 적절한가?
  • 성능 변화의 원인과 향후 개선 방향이 명확히 제시되었는가?

KNOWLEDGE CHECK

이해도 점검

1Ragas 프레임워크가 가지는 가장 큰 특징은 무엇인가?
2RAG 시스템에서 회귀 테스트를 수행하는 주된 목적은 무엇인가?
3RAG 시스템 평가 시 고려해야 할 다면적 차원에 해당하지 않는 것은?

FIELD CHECK

완료 기준

  • 회귀 테스트 파이프라인을 설계하고 최소 100문항 이상의 데이터셋으로 2개 이상의 설정 비교 분석 완료
  • Ragas 지표를 활용한 정량적 평가 수행
  • 인간 표본 검토를 통한 자동 평가 결과 검증 기록 제출
  • 기술 리포트 작성 및 제출

MODULE SOURCES

이 모듈의 근거

  1. [2309.15217] Ragas: Automated Evaluation of Retrieval ... Ragas: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAs: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper
  2. Ragas: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper