MODULE m5 · 8.0 HOURS

根拠忠実度評価

0% 完了

LEARNING OBJECTIVES

このモジュールの目標

  1. 根拠忠実度(Faithfulness)の概念を理解し、RAGシステムにおける重要性を把握する。
  2. Ragasフレームワークを活用し、生成された回答が検索されたコンテキスト(Context)に基づいているか定量的に評価する。
  3. 自動化された評価指標を活用して幻覚(Hallucination)リスクを分析する。

根拠忠実度 (Faithfulness) 評価

RAG(Retrieval-Augmented Generation)システムの核心は、LLMが外部知識データベースから検索された情報を活用して回答を生成することである。根拠忠実度(Faithfulness)は、生成された回答が検索されたコンテキストに記述された情報のみを忠実に反映しているかを示す指標である [S3]。

1. なぜ根拠忠実度を評価するのか？

LLMは事前学習された知識に基づいて回答しようとする傾向があり、検索されたコンテキストと無関係な情報を生成したり、コンテキストを歪曲したりすることがある。これを「幻覚(Hallucination)」と呼び、根拠忠実度評価を通じてこれを定量的に測定できる [S4]。

2. 評価フレームワーク: Ragas

Ragasはユーザーによる注釈がない状況でも、参照なし(reference-free)で評価が可能なフレームワークを提案する [S3]。根拠忠実度評価過程は一般的に次の段階に従う:

  • 回答から陳述の抽出: 回答から検証可能な事実的陳述を分離する。
  • 証拠の検索: 各陳述が検索されたコンテキストのどの部分から導き出されたか確認する。
  • 検証: 抽出された陳述がコンテキスト情報と一致するか判断する。

RagasはLLMを評価者として使用し、この過程を自動化する [S4]。

WORKED EXAMPLES

解説例

  1. 例 1: コンテキスト「リンゴはビタミンCが豊富だ」と回答「リンゴはビタミンCが多く免疫力に良い」がある場合、「免疫力に良い」はコンテキストにない情報なので根拠忠実度スコアが低下する。
  2. 例 2: コンテキスト「当社の創立日は 2020年 5月 1日である」と回答「当社は 2020年 5月に設立された」という情報は一致するため、高い根拠忠実度スコアを持つ。

LAB PROTOCOL

Ragasを活用した生成回答の根拠忠実度測定

  1. 1

    評価データセット(質問、検索されたコンテキスト、生成された回答)を準備する。

  2. 2

    Ragasライブラリをインストールし、`Faithfulness`メトリックをインポートする。

  3. 3

    準備されたデータセットをRagasのデータ構造に変換する。

  4. 4

    LLMベースの評価者を構成してデータセットの根拠忠実度スコアを算出する。

  5. 5

    スコアが低い回答を標本抽出し、検索されたコンテキストとの差異を人間による検討で分析する。

安全確認
  • 非公開文書や個人情報が含まれたデータセットを外部LLM APIに伝送しない。
  • APIリクエスト数制限を確認し、キャッシュ(Cache)を使用してコストを制御する。
  • 人間による検討時、標本データのセキュリティを維持する。

実習提出物

  • データセット全体の平均根拠忠実度スコアレポート
  • 低スコアを記録した回答の分析データセット
  • 自動評価結果と人間によるレビュー結果の比較分析

ASSIGNMENT

RAGパイプライン信頼性評価レポート

提出物

評価基準

  • 根拠忠実度メトリクスが正しく実装されているか？
  • 生成された回答のハルシネーション事例を正確に分類したか？
  • 自動評価結果と人間によるレビューの定性的一貫性が確保されているか？

KNOWLEDGE CHECK

理解度チェック

1RAGシステムにおける「根拠忠実度（Faithfulness）」とは何か？
2Ragasフレームワークの特徴として正しいものは？

FIELD CHECK

完了基準

  • Ragasライブラリを使用して、生成された回答の根拠忠実度を定量的に測定できる。
  • 評価結果から、ハルシネーションの発生タイプを少なくとも 3 種類以上分類できる。
  • 自動化された評価パイプラインの結果と実際の回答の一貫性を検証できる。

MODULE SOURCES

このモジュールの根拠

  1. [2309.15217] Ragas: Automated Evaluation of Retrieval ... Ragas: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAs: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generation RAGAS: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper
  2. Ragas: Automated Evaluation of Retrieval Augmented Generationarxiv.org · paper