引用の正確性および出典追跡

RAGシステムの引用および根拠忠実度評価

RAG（Retrieval Augmented Generation）システムは外部知識ベースを活用してLLMのハルシネーション（Hallucination）リスクを低減させますが、生成された回答が検索されたドキュメントを正確に引用しているかを検証するプロセスが必須です [S4]。

1. 主要評価指標

• 根拠忠実度（Faithfulness）： 生成された回答が提供された検索コンテキスト（Context）から導出されているかを測定します。回答のすべての主張が検索されたドキュメントに基づいていなければならず、外部知識やモデルの事前学習知識のみで回答する場合はスコアが低くなります [S4]。
• 回答関連性（Answer Relevance）： 回答が与えられた質問とどれだけ直接的に関連しているかを評価します。これは、検索された情報が十分であっても、回答が質問の意図から逸脱している場合を特定するために使用されます。

2. 引用正確性検証プロセス

引用正確性は、回答の特定の文章が検索されたコンテキストのどこを引用したかを識別し、その原文の事実と一致しているかを確認するプロセスです。自動評価フレームワークであるRagasは、このプロセスを実行するために、参照データ（Ground Truth）がなくても根拠忠実度を評価できる指標を提供します [S4]。

3. 失敗タイプ分類

• 引用漏れ： 回答の事実関係が検索ドキュメントに存在するにもかかわらず、引用を表示していない。
• 虚偽引用： 検索ドキュメントにない内容を引用したかのように表示。
• 事実歪曲： 引用は正しく表示されているが、原文の意味を誤解釈して生成した。