MODULE m8 · 10.0 HOURS
失敗タイプの分類およびエラー分析
0% 完了
LEARNING OBJECTIVES
このモジュールの目標
- RAGシステムで発生する失敗タイプを識別し、分類できる。
- 検索（Retrieval）段階と生成（Generation）段階のエラーを区別して分析できる。
- Ragasフレームワークの指標を活用し、自動評価と人間によるレビュー結果を紐付けられる。
- エラー分析データに基づき、RAGパイプラインの性能改善案を導出できる。
RAGシステムの誤差分析概要
RAG（Retrieval Augmented Generation）アーキテクチャは、検索モジュールとLLMベースの生成モジュールで構成されます [S3]。システム性能を評価する際は、これら二つの段階を分離して分析することが重要です。誤差は大きく分けて、検索段階での問題と生成段階での問題に分類されます。
1. 失敗類型分類
- 検索失敗（Retrieval Failure）： 関連性がない、または焦点が合っていない文脈（context）を検索した場合 [S3]。
- 生成失敗（Generation Failure）： LLMが提供された文脈を忠実に利用できなかったり（Faithfulness）、質問と関連のない回答を生成したりする場合 [S3]。
2. 自動評価と人間による検討の補完
Ragasのようなレファレンスフリー（Reference-free）フレームワークは、人間による注釈（ground truth）がなくても検索と生成の品質を評価できるようにします [S3]。しかし、自動化された評価指標だけでは、システムの微細なハルシネーション（幻覚）や複合的な論理エラーをすべて捕捉することは困難です。したがって、定量的自動指標を通じて優先順位の高い失敗標本を抽出し、それに対して必ず人間による検討（Human Review）を併行して実際の原因を把握する必要があります。
WORKED EXAMPLES
解説例
- 例1：質問「モデルAの発売日は？」に対し、検索機が「モデルBの仕様」文書を取得した場合。これは「検索の失敗」に分類され、埋め込みモデルの調整や検索クエリの最適化が解決策となり得ます。
- 例2：質問「Xについて説明せよ」に対し、検索機がXに関する正確な文書を取得したものの、LLMが文書にない情報で回答した場合。これは「生成の失敗（忠実度の不足）」に分類され、プロンプトエンジニアリングを通じて「提供された文脈のみを使用せよ」という制約を強化する必要があります。
LAB PROTOCOL
失敗データセットの収集およびエラー分析
- 1
少なくとも50個の質問に対し、RAGシステムの回答と検索された文脈（context）を保存する。
- 2
各項目について、検索の関連性（Context Precision）と生成の忠実度（Faithfulness）をRagasで測定する。
- 3
指標が低い下位20%の質問と回答のペアを抽出する。
- 4
抽出されたサンプルについて、「検索エラー」、「生成エラー」、「論理エラー」のいずれかに分類する表を作成する。
安全確認
- 個人情報や非公開データは、評価コードに絶対に含めないこと。
- 評価プロセスで使用されるAPI呼び出し回数とコストを監視し、予算を遵守すること。
- データ分析時はローカル環境で作業を行い、情報漏洩を防止すること。
実習提出物
- 分類が完了したエラー分析のCSVファイル
- 検索および生成品質指標が可視化されたJupyter Notebook
ASSIGNMENT
RAGエラー分類および改善レポートの作成
提出物
評価基準
- 失敗タイプ分類の正確性と妥当性
- 定量的指標と人間によるレビュー結果間の相関分析能力
- 改善戦略の論理的な妥当性
KNOWLEDGE CHECK
理解度チェック
FIELD CHECK
完了基準
- 失敗タイプが含まれたエラー分類表の提出
- Ragas指標を活用した検索および生成品質の定量分析の完了
- エラー分析に基づいたパイプライン改善提案書の作成およびレビュー
MODULE SOURCES