评估用文档语料库策展

用于 RAG 评估的语料库策展

大语言模型 (LLM) 在依赖已学习参数内的知识时，存在幻觉 (Hallucination) 风险。检索增强生成 (RAG) 通过让模型实时访问外部知识来克服这一局限 [S2]。为了定量评估高效 RAG 系统的可靠性，必须拥有固定且可控的评估用文档语料库 (Fixed Evaluation Corpus)。

1. 语料库质量决定因素

• 准确性 (Factuality): 文档内的信息必须是最新且属实的。包含错误信息的语料库会导致生成错误的回答。
• 领域契合度: 必须包含与实际评估的服务环境相似的主题及词汇。
• 去重 (De-duplication): 若相同信息在多个文档中重复，会阻碍检索结果的多样性，并对评估统计造成偏差。

2. QA 评估数据集构建

仅凭文档语料库无法进行评估。必须构建“文档-问题-正解”对，以测量检索器是否带来了相关文档，以及生成器是否基于此做出了准确回答。

• 问题生成: 使用 LLM 自动从文档中生成问题，或由领域专家直接编写。
• 正解定义: 必须明确注明作为答案依据的文档区间 (Chunk)。

3. 数据划分与完整性

为确保评估集的可靠性，必须严格划分开发集 (Development Set)与最终评估集 (Hold-out Test Set)。必须防止评估集中包含的问题直接包含在检索目标文档中并被暴露的“数据泄露”现象。