MODULE m10 · 18.0 HOURS

可重現的迴歸評估報告

已完成 0%

LEARNING OBJECTIVES

本模組目標

理解 RAG 系統的可重現迴歸評估框架。
使用 Ragas 框架定量測量檢索與生成的品質。
透過迴歸測試分析模型更新或檢索算法變更對系統可靠性的影響。
習得結合人類審查與自動化評估的綜合報告方式。

RAG 系統評估的核心維度

評估 RAG 架構是一項多面性的任務。檢索系統識別與問題高度相關且聚焦之上下文的能力、LLM 使用所識別上下文忠實生成答案的能力，以及最終生成物本身的品質，均為評估對象 [S3, S4]。

Ragas 框架

Ragas (Retrieval Augmented Generation Assessment) 是一個無需標準數據 (Ground Truth) 即可評估 RAG 管道的框架 [S3]。Ragas 提供了一系列指標，用於測量檢索品質 (Retrieval quality)、生成品質 (Generation quality) 以及防範幻覺 (Hallucination) 的能力 [S3]。

迴歸評估的重要性

為了維持系統可靠性，變更管理 (Change Management) 至關重要。在引入新的嵌入模型、調整檢索算法或更改 LLM 設定時，必須針對現有的評估數據集執行迴歸測試。迴歸評估報告是統計證明系統改進是否真正帶來可靠性提升，還是誘發了新缺陷的依據文件。

WORKED EXAMPLES

講解範例

統計對比範例：針對兩種 RAG 設定（現有 vs 新型嵌入模型）執行相同的 100 個問題評估集，並比較 Ragas 指標（Faithfulness, Answer Relevance）的平均值與標準差，以驗證顯著性能提升的筆記本分析案例。
錯誤類型分類範例：對系統「答案相關性」得分較低的 30 個案例進行採樣，並手動分類其為檢索階段失敗（未檢索到相關文檔）還是生成階段失敗（忽略上下文），並將其記錄在管道日誌中的方法。

LAB PROTOCOL

RAG 管道迴歸測試自動化

1
準備用於最終驗證的評估數據集（100 個問題），格式為 JSON。
2
定義兩種不同的 RAG 管道設定（版本 A、版本 B）。
3
使用 Ragas 框架對每個管道執行自動評估並儲存結果。
4
使用 Pandas 將兩個結果集的指標分佈視覺化並計算統計差異。
5
針對評估分數急劇下降的後 10% 案例，對照其參考上下文與模型響應。

安全檢查

務必確認評估數據集中未包含個人資訊或公司機密文件。
呼叫外部 API 時設定費用上限，並在本地環境測試時使用快取，以防止盲目的請求。
切勿盲目迷信模型評估結果，必須同步進行人類審核(Human-in-the-loop)以檢查樣本。

實驗繳交成果

包含回歸評估執行結果的 Jupyter Notebook
兩組 RAG 設定間的性能比較視覺化圖表（箱線圖或散點圖）
包含錯誤類型分類與人類審核記錄的最終報告

ASSIGNMENT

撰寫 RAG 可靠性改進報告

繳交成果

包含系統可靠性指標的技術報告 PDF用於建構可重現 CI 環境的設定檔 (e.g., pipeline.yaml)針對評估數據集的回歸測試腳本

評分標準

是否定量測量了檢索與生成的品質指標？
回歸測試方法論是否已說明且具備可重現性？
自動評估結果與人類審核結果之間的分析是否恰當？
是否明確提出了性能變化的原因與未來改進方向？

FIELD CHECK

完成標準

設計回歸測試管道，並使用至少 100 個問題的數據集完成 2 種以上設定的比較分析
利用 Ragas 指標執行定量評估
提交透過人類樣本審核來驗證自動評估結果的記錄
撰寫並提交技術報告

MODULE SOURCES