樣本人工審查與對照

自動化評估的局限與人工審核的必要性

評估檢索增強生成 (RAG) 系統的品質時，像 Ragas 這樣的工具雖然能快速提供量化指標，但在完美捕捉模型生成回答中細微的事實錯誤方面仍有局限。特別是在複雜的語境中，很難區分 LLM 是在知識範圍內進行推論，還是依賴已學習的數據產生幻覺 (Hallucination)。

事實一致性評估

近期的研究利用自然語言推論 (NLI) 模型或大型語言模型 (LLM) 來評估摘要或回答的事實性。然而，傳統方法依賴人類撰寫的摘要數據集，這可能與實際模型生成結果的特性產生差異 [S5]。像 TrueTeacher 這樣的途徑，試圖透過利用 LLM 從模型生成的數據中產出合成的事實性評估數據，藉此克服上述限制 [S5]。

人工審核 (Human-in-the-Loop) 的角色

無論自動評估管線進化到何種程度，最終的可靠性驗證仍需人工審核。人工審核執行以下角色：

1. 自動評估指標的驗證： 識別特定回答雖被評估為「相關」但實際上並非事實的情況。
2. 幻覺類型分類： 診斷系統的結構性缺陷（檢索錯誤 vs. 生成模型錯誤）。
3. 回歸測試集的校準： 根據人類審核過的數據，持續改善評估集的品質。