評価用ドキュメントコーパスのキュレーション

RAG評価のためのコーパスキュレーション

大規模言語モデル (LLM) は学習されたパラメータ内の知識に依存する場合、ハルシネーション（幻覚）のリスクが存在します。検索拡張生成 (RAG) は、モデルがリアルタイムで外部知識にアクセスできるようにすることで、このような限界を克服します [S2]。効果的なRAGシステムの信頼性を定量的に評価するためには、固定され、制御可能な評価用ドキュメントコーパス (Fixed Evaluation Corpus) が不可欠です。

1. コーパス品質の決定要素

• 正確性 (Factuality): ドキュメント内の情報は最新かつ事実である必要があります。誤った情報が含まれたコーパスは、誤った回答を生成させます。
• ドメイン適合性: 評価しようとする実際のサービス環境と類似したトピックや語彙を含んでいる必要があります。
• 重複排除 (De-duplication): 同一情報が複数のドキュメントに重複していると、検索結果の多様性が損なわれ、評価統計に偏りを与える可能性があります。

2. QA評価データセットの構築

ドキュメントコーパスだけでは評価は不可能です。「ドキュメント-質問-正解」ペアを構築し、検索器が関連ドキュメントを正しく持ってくるか、生成器がこれを基に正確な回答をするかを測定しなければなりません。

• 質問生成: LLMを使用してドキュメントから自動的に質問を生成するか、ドメイン専門家が直接作成します。
• 正解の定義: 回答の根拠となるドキュメント区間 (Chunk) を明確に明示しなければなりません。

3. データの分割と整合性

評価セットの信頼性のため、開発用 (Development Set) と 最終評価用 (Hold-out Test Set) を厳格に分割しなければなりません。評価セットに含まれる質問が、検索対象ドキュメントに直接含まれて露出してしまう「データ漏洩」現象を防止しなければなりません。