CURRICULUM 1.0.0+40bb735b5f50 · intermediate

AI 与软件

RAG 评估与可靠性实验

学员将能够将 RAG 流水线分离为检索与生成阶段进行评估，利用 Ragas 等自动化评估工具，设计能够减少幻觉并验证事实性的定量回归测试框架。

  • retrieval-augmented-generation
  • rag-evaluation
  • information-retrieval
  • llm-reliability
TIME96.0h
MODULES10
BUDGET₩0–100000
REVIEWED2026-08-30

YOUR FIELD LOG

学习进度

已完成 0%

创建固定的文档集合和问答评估集，通过定量衡量检索质量、依据忠实度、引用准确性及故障类型，完成可重现的 RAG 回归评估报告。

学员将能够将 RAG 流水线分离为检索与生成阶段进行评估，利用 Ragas 等自动化评估工具，设计能够减少幻觉并验证事实性的定量回归测试框架。

STUDY MAP

课程体系

1

RAG 基础与数据集构建

  1. 理解 RAG 架构8.0 小时 · 理解 RAG (Retrieval-Augmented Generation) 架构的核心组件。
  2. 评估用文档语料库策展8.0 小时 · 理解用于 RAG 评估的固定文档语料库的重要性。
  3. 构建问答评估集8.0 小时 · 理解构建用于评估 RAG 系统的高质量问答 (QA) 评估集的重要性。
2

检索与生成质量评估

  1. 检索质量指标 (Recall, MRR, nDCG)8.0 小时 · 了解检索增强生成(RAG)流水线中检索阶段的重要性。
  2. 依据忠实度评估8.0 小时 · 理解依据忠实度(Faithfulness)的概念及其在RAG系统中的重要性。
  3. 引用准确度及来源追踪8.0 小时 · 理解RAG系统中的回答在多大程度上忠实于检索到的文档内容。
  4. 自动化评估框架（Ragas）应用10.0 小时 · 理解RAG流水线的核心评估维度（检索及生成质量）。
3

可靠性验证与报告

  1. 故障类型分类与错误分析10.0 小时 · 能够识别并分类 RAG 系统中出现的故障类型。
  2. 样本人工审核与对照10.0 小时 · 理解自动化 RAG 评估指标与实际事实性之间的差距。
  3. 可重复的回归评估报告18.0 小时 · 理解 RAG 系统可重复的回归评估框架。

FINAL BUILD

RAG 系统可靠性回归评估报告

提交物

评分标准

  • 评估集来源的可追溯性及问答-文档对应精度。
  • 检索及生成质量指标定量测量的合理性。
  • 自动评估结果与人工审查结果之间定性一致性分析。
  • 故障类型（检索失败 vs 生成失败）的清晰分类及分析。
  • 报告的可重现性及回归评估框架与 CI 集成的可能性。

安全标准

  • 遵守评估过程中的个人信息防泄露措施。
  • 针对提示注入（Prompt Injection）的安全数据处理。
  • 并行进行用于事实核查的人工审查流程。
  • 通过限制费用及请求次数实现安全 API 使用。

RESEARCH LEDGER

参考资料

  1. Stanford CS 224N | Natural Language Processing with Deep Learningweb.stanford.edu · university · 2026-08-30
  2. Natural Language Processing with Deep Learning CS224N/Ling284web.stanford.edu · university · 2026-08-30
  3. [2309.15217] Ragas: Automated Evaluation of Retrieval ... Ragas: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAs: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper · 2026-08-30
  4. Ragas: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper · 2026-08-30
  5. [2305.11171] TrueTeacher: Learning Factual Consistency ... TrueTeacher: Learning Factual Consistency Evaluation with ... TrueTeacher: Generating Synthetic Data for Factual ... (PDF) TrueTeacher: Learning Factual Consistency Evaluation ... (PDF) TrueTeacher: Learning Factual Consistency Evaluation ... [PDF] TrueTeacher: Learning Factual Consistency Evaluation ...arxiv.org · paper · 2026-08-30