CURRICULUM 1.0.0+40bb735b5f50 · intermediate

AI 與軟體

RAG 評估與可靠性實驗

學習者能夠分離並評估 RAG 管道的檢索和生成階段，並利用 Ragas 等自動化評估工具，設計一個定量的回歸測試框架，以減少幻覺並驗證事實性。

  • retrieval-augmented-generation
  • rag-evaluation
  • information-retrieval
  • llm-reliability
TIME96.0h
MODULES10
BUDGET₩0–100000
REVIEWED2026-08-30

YOUR FIELD LOG

學習進度

已完成 0%

建立固定文件集和問答評估集，定量測量檢索品質、依據充足度、引用準確度、失敗類型，以完成可重現的 RAG 回歸評估報告。

學習者能夠分離並評估 RAG 管道的檢索和生成階段，並利用 Ragas 等自動化評估工具，設計一個定量的回歸測試框架，以減少幻覺並驗證事實性。

STUDY MAP

課程體系

1

RAG 基礎與資料集建構

  1. 理解 RAG 架構8.0 小時 · 理解 RAG (Retrieval-Augmented Generation) 架構的核心組成部分。
  2. 評估用文件語料庫策展8.0 小時 · 理解 RAG 評估固定文件語料庫的重要性。
  3. 建立問題-答案評估集8.0 小時 · 理解為 RAG 系統評估建立高品質問題-答案（QA）評估集的必要性。
2

檢索與生成品質評估

  1. 檢索品質指標 (召回率@k, MRR, nDCG)8.0 小時 · 理解檢索增強生成 (RAG) 管線中檢索階段的重要性。
  2. 證據忠實度評估8.0 小時 · 理解證據忠實度(Faithfulness)的概念，並掌握其在RAG系統中的重要性。
  3. 引用準確性與來源追溯8.0 小時 · 理解 RAG 系統中答案如何忠實地反映檢索到的文件內容。
  4. 自動評估框架 (Ragas) 應用10.0 小時 · 理解 RAG 管道的核心評估維度（檢索和生成質量）。
3

可靠性驗證與報告

  1. 失敗類型分類與錯誤分析10.0 小時 · 能夠識別和分類 RAG 系統中發生的失敗類型。
  2. 樣本人工審查與對照10.0 小時 · 了解自動化 RAG 評估指標與實際事實性之間的差距。
  3. 可重現的迴歸評估報告18.0 小時 · 理解 RAG 系統的可重現迴歸評估框架。

FINAL BUILD

RAG 系統可靠性回歸評估報告

繳交成果

評分標準

  • 評估集來源的可追溯性及問題-文件對應精確度
  • 檢索及生成品質指標的定量測量妥善性
  • 自動評估結果與人類審查結果間的定性一致性分析
  • 失敗類型（檢索失敗 vs 生成失敗）的明確分類及分析
  • 報告的再現性及迴歸評估框架與 CI 的整合可行性

安全標準

  • 評估過程中遵循個人隱私洩漏防護措施
  • 針對提示詞注入（Prompt Injection）的安全資料處理
  • 為驗證事實性而併行的人類審查流程
  • 透過成本與請求次數限制實現安全 API 使用

RESEARCH LEDGER

參考資料

  1. Stanford CS 224N | Natural Language Processing with Deep Learningweb.stanford.edu · university · 2026-08-30
  2. Natural Language Processing with Deep Learning CS224N/Ling284web.stanford.edu · university · 2026-08-30
  3. [2309.15217] Ragas: Automated Evaluation of Retrieval ... Ragas: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAs: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper · 2026-08-30
  4. Ragas: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper · 2026-08-30
  5. [2305.11171] TrueTeacher: Learning Factual Consistency ... TrueTeacher: Learning Factual Consistency Evaluation with ... TrueTeacher: Generating Synthetic Data for Factual ... (PDF) TrueTeacher: Learning Factual Consistency Evaluation ... (PDF) TrueTeacher: Learning Factual Consistency Evaluation ... [PDF] TrueTeacher: Learning Factual Consistency Evaluation ...arxiv.org · paper · 2026-08-30