CURRICULUM 1.0.0+40bb735b5f50 · intermediate

AI·소프트웨어

RAG 평가와 신뢰성 실험

학습자는 RAG 파이프라인의 검색 및 생성 단계를 분리하여 평가하고, Ragas 등 자동화된 평가 도구를 활용하여 환각을 줄이고 사실성을 검증하는 정량적인 회귀 테스트 프레임워크를 설계할 수 있다.

  • retrieval-augmented-generation
  • rag-evaluation
  • information-retrieval
  • llm-reliability
TIME96.0h
MODULES10
BUDGET₩0–100000
REVIEWED2026-08-30

YOUR FIELD LOG

학습 진도

0% 완료

고정 문서 집합과 질문·정답 평가셋을 만들고 검색 품질, 근거 충실도, 인용 정확도, 실패 유형을 정량 측정해 재현 가능한 RAG 회귀 평가 보고서를 완성한다.

학습자는 RAG 파이프라인의 검색 및 생성 단계를 분리하여 평가하고, Ragas 등 자동화된 평가 도구를 활용하여 환각을 줄이고 사실성을 검증하는 정량적인 회귀 테스트 프레임워크를 설계할 수 있다.

STUDY MAP

교과과정

1

RAG 기초 및 데이터셋 구축

  1. RAG 아키텍처 이해8.0 시간 · RAG(Retrieval-Augmented Generation) 아키텍처의 핵심 구성 요소를 이해한다.
  2. 평가용 문서 코퍼스 큐레이션8.0 시간 · RAG 평가를 위한 고정 문서 코퍼스의 중요성을 이해한다.
  3. 질문-정답 평가셋 구축8.0 시간 · RAG 시스템 평가를 위한 고품질 질문-정답(QA) 평가셋의 필요성을 이해한다.
2

검색 및 생성 품질 평가

  1. 검색 품질 지표(Recall@k, MRR, nDCG)8.0 시간 · 검색 증강 생성(RAG) 파이프라인에서 검색 단계의 중요성을 이해한다.
  2. 근거 충실도 평가8.0 시간 · 근거 충실도(Faithfulness)의 개념을 이해하고 RAG 시스템에서의 중요성을 파악한다.
  3. 인용 정확도 및 출처 추적8.0 시간 · RAG 시스템에서 답변이 검색된 문서의 내용을 얼마나 충실히 반영하는지 이해한다.
  4. 자동 평가 프레임워크(Ragas) 적용10.0 시간 · RAG 파이프라인의 핵심 평가 차원(검색 및 생성 품질)을 이해한다.
3

신뢰성 검증 및 리포팅

  1. 실패 유형 분류 및 오류 분석10.0 시간 · RAG 시스템에서 발생하는 실패 유형을 식별하고 분류할 수 있다.
  2. 표본 인간 검토 및 대조10.0 시간 · 자동화된 RAG 평가 지표와 실제 사실성 간의 간극을 이해한다.
  3. 재현 가능한 회귀 평가 리포팅18.0 시간 · RAG 시스템의 재현 가능한 회귀 평가 프레임워크를 이해한다.

FINAL BUILD

RAG 시스템 신뢰성 회귀 평가 보고서

제출물

평가 기준

  • 평가셋의 출처 추적 가능성 및 질문-문서 대응 정밀도
  • 검색 및 생성 품질 지표의 정량적 측정 타당성
  • 자동 평가 결과와 인간 검토 결과 간의 정성적 일치도 분석
  • 실패 유형(검색 실패 vs 생성 실패)의 명확한 분류 및 분석
  • 보고서의 재현성 및 회귀 평가 프레임워크의 CI 통합 가능성

안전 기준

  • 평가 과정에서 개인정보 유출 방지 조치 준수
  • 프롬프트 인젝션에 대한 안전한 데이터 핸들링
  • 사실성 검증을 위한 인간 검토 프로세스 병행
  • 비용 및 요청 수 제한을 통한 안전한 API 사용

RESEARCH LEDGER

근거 자료

  1. Stanford CS 224N | Natural Language Processing with Deep Learningweb.stanford.edu · university · 2026-08-30
  2. Natural Language Processing with Deep Learning CS224N/Ling284web.stanford.edu · university · 2026-08-30
  3. [2309.15217] Ragas: Automated Evaluation of Retrieval ... Ragas: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAs: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper · 2026-08-30
  4. Ragas: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper · 2026-08-30
  5. [2305.11171] TrueTeacher: Learning Factual Consistency ... TrueTeacher: Learning Factual Consistency Evaluation with ... TrueTeacher: Generating Synthetic Data for Factual ... (PDF) TrueTeacher: Learning Factual Consistency Evaluation ... (PDF) TrueTeacher: Learning Factual Consistency Evaluation ... [PDF] TrueTeacher: Learning Factual Consistency Evaluation ...arxiv.org · paper · 2026-08-30