MODULE m10 · 18.0 HOURS

可重复的回归评估报告

已完成 0%

LEARNING OBJECTIVES

本模块目标

理解 RAG 系统可重复的回归评估框架。
使用 Ragas 框架定量测量检索和生成质量。
通过回归测试分析模型更新或检索算法变更对系统可靠性的影响。
学习通过结合人工审核与自动化评估来进行综合报告撰写的方法。

RAG 系统评估的核心维度

评估 RAG 架构是一项多维任务。评估对象包括检索系统识别与问题高度相关且聚焦的上下文的能力、LLM 使用所识别上下文忠实生成回答的能力，以及最终生成物的质量本身 [S3, S4]。

Ragas 框架

Ragas（Retrieval Augmented Generation Assessment）是一个无需基准数据（Ground Truth）即可评估 RAG 流水线的框架 [S3]。Ragas 提供了一系列指标，用于衡量检索质量（Retrieval quality）、生成质量（Generation quality）以及防止幻觉（Hallucination）的能力 [S3]。

回归评估的重要性

为了维持系统的可靠性，变革管理（Change Management）必不可少。在引入新的嵌入模型、微调检索算法或更改 LLM 设置时，必须针对现有的评估数据集执行回归测试。回归评估报告是统计性证明系统改进是否切实提升了可靠性，还是导致了新的缺陷的重要材料。

WORKED EXAMPLES

讲解示例

统计比较示例：针对两种 RAG 设置（现有 vs 新嵌入模型），运行相同的 100 个问题评估集，并比较 Ragas 指标（Faithfulness, Answer Relevance）的平均值和标准差，从而验证显著性能提升的笔记本分析案例。
错误类型分类示例：抽取系统中“回答相关性”得分较低的 30 个样本，手动分类是检索阶段的失败（未检索到相关文档）还是生成阶段的失败（忽略上下文），并将结果记录在流水线日志中。

LAB PROTOCOL

RAG 流水线回归测试自动化

1
准备用于最终验证的评估数据集（100 个问题），格式为 JSON。
2
定义两种不同的 RAG 流水线配置（版本 A，版本 B）。
3
使用 Ragas 框架对每个流水线进行自动化评估并保存结果。
4
使用 Pandas 可视化两个结果集的指标分布并计算统计学差异。
5
针对评估分数急剧下降的下层 10% 的案例，对照证据上下文和模型响应。

安全检查

务必确认评估数据集中不包含个人信息或公司机密文档。
调用外部 API 时设置费用上限，并在本地环境测试时使用缓存，以防止滥用请求。
切勿盲目相信模型评估结果，务必并行进行样本的人工审查（Human-in-the-loop）。

实验提交物

包含回归评估执行结果的 Jupyter Notebook
两个 RAG 设置间的性能比较可视化图表（箱线图或散点图）
包含错误类型分类及人工审查记录的最终报告

ASSIGNMENT

编写 RAG 可靠性改进报告

提交物

包含系统可靠性指标的技术报告 PDF用于配置可重现 CI 环境的设置文件（例如：pipeline.yaml）针对评估数据集的回归测试脚本

评分标准

是否对检索和生成质量指标进行了定量测量？
回归测试方法论是否有描述且可重现？
自动评估结果与人工审查结果之间的分析是否恰当？
是否明确提出了性能变化的原因及未来改进方向？

FIELD CHECK

完成标准

设计回归测试流水线，并完成至少 100 个问题的评估数据集对 2 个以上设置的对比分析。
利用 Ragas 指标进行定量评估。
提交通过人工样本审查验证自动评估结果的记录。
撰写并提交技术报告。

MODULE SOURCES