検索品質指標（Recall @k, MRR, nDCG）

RAG検索品質評価の重要性

RAGシステムは、外部データベースから関連情報を検索し、それをLLMに伝えて回答を生成する [S3]。そのため、検索段階で関連性が高く集中したコンテキストを特定できなければ、いかに強力なLLMであっても正確な回答を生成することは困難である [S3]。検索品質を評価することは、RAGアーキテクチャの全体的な性能を改善するための第一歩である。

主要検索評価指標

1. Recall @k（再現率）: 検索された上位k個の結果に、実際の正解が含まれているかを測定する。つまり、必要な情報が検索システムによって捕捉されたかを確認する指標である。
2. MRR（平均逆順位）: ユーザーの質問に対する正解（関連文書）が、検索結果リストの何番目に位置しているかを測定する。最も最初の位置に関連文書が登場するほどMRR値は1に近づき、高いスコアとなる。
3. nDCG（正規化割引累積利得）: 検索結果の順序を考慮する指標であり、関連性の高い文書が上部に位置するほど高いスコアを付与する。単純な包含有無（Recall）よりも、検索結果の「順位精度」をより精密に評価する。

これらの指標は、参照データ（Ground Truth）がある場合、システム改善のために必須であり、Ragasのようなフレームワークは、これらの側面を定量的に分析できるツールを提供する [S3, S4]。