AI因为找答案而停滞不前？更快更聪明的RAG的秘密

试想一下。你拜托公司里传闻最聪明的秘书去找出长篇报告的核心内容。秘书虽然会翻遍全世界的图书馆去寻找资料，但因为要一本一本地读完这些书，竟浪费了超过10分钟的时间。提问的人大概已经精疲力竭了吧。在人工智能(AI)的世界里，也正在发生完全一样的事情。无论大型语言模型（LLM，通过大规模数据训练、像人一样写作的人工智能）多么聪明，如果没有最新信息或企业内部文档，就会胡言乱语，经历“幻觉（Hallucination）现象” [出处 14]。

为了解决这一问题而登场的技术正是 RAG（Retrieval-Augmented Generation，检索增强生成 —— 先从外部数据库检索所需信息，然后据此生成回答的技术） [出处 16]。这是一种让AI像图书馆管理员一样，在外部数据库中准确找出文档并据此编写回答的方式。然而直到最近，这个“检索”过程依然过于缓慢且低效，成为了破坏用户体验、导致运营成本飙升的主犯 [出处 5]。

打个比方，这就好比AI世界的道路上发生了巨大的拥堵。今天，我们将用非常通俗易懂的方式来了解能够为AI世界的道路畅通无阻的最新RAG搜索优化技术，以及为了打造更快、更高效的AI而做出的种种努力。

为什么这很重要？

我们每天使用的AI服务要变得更快、更准确，其幕后必须进行海量的数据处理。在推荐系统、搜索以及RAG的核心，正是一项名为 MIPS（Maximum inner product search，最大内积搜索 —— 在海量数据中从数学角度寻找相关性最高项目的搜索方式） 的技术 [出处 1]。这个MIPS系统会搜寻数百万个候选键向量（vector，将数据转换为数字形式），找出与用户提问最匹配的唯一配对 [出处 1]。

问题在于，随着数据规模的扩大，这个检索过程会变得越来越沉重。检索变慢，用户看着加载画面就会感到郁闷，而对企业而言，服务器维护成本会像滚雪球一样暴涨 [出处 5]。还有研究结果表明，如果为了获得更准确的回答而堆砌大量参考文献，反而会产生反效果。根据发表在ICLR 2025上的论文，如果无条件增加检索到的段落（passage，文档片段）数量，起初性能会有所提升，但到了一定程度后准确度反而会下降，甚至产生更糟糕的回答 [出处 17]。也就是说，核心任务不是“给得多”，而是“又快又准地指出需要的东西”。

轻松理解：图书馆书架与摘要卡片

我们可以通过日常生活中的比喻来轻松理解这个复杂的过程吗？来了客人走进巨大的综合书店，问道：“有这种内容的书吗？”这就是用户的提问，也就是查询（Query）。

• 传统的笨办法（基于分块的检索）： 图书馆管理员把书店里插的所有书按页撕下来，在客人面前一一对照。要把书中所有的句子片段（分块，Chunk）逐一进行比较，不仅极其耗时，而且非常疲惫。
• 聪明的最新方式（M-RAG与轻量级键匹配）： 管理员不逐一翻阅书籍，而是只浏览写在书架前方的极其核心的“轻量级摘要卡片（Lightweight retrieval key）”。仅通过摘要卡片就能瞬间掌握是哪本书，并以最低的检索延迟时间（latency，从下达命令到收到结果所需的时间）找到书籍 [出处 2]。

最近的研究 M-RAG（Making RAG Faster, Stronger, and More Efficient） 正是引入了这种摘要卡片方式，通过快速匹配轻量级搜索键和查询，取代了与复杂分块表示的逐一比对，在所有基准测试中创下了最低的检索延迟时间 [出处 2]。

此外，为了解决复杂问题，各种技术正在被共同使用。简单来说，有以下这些“援军”在发挥作用：

• 混合搜索（Hybrid search）与重排序（Reranking）： 结合关键词搜索与基于语义的搜索后，按照真正重要的顺序重新排列的方式 [出处 3, 出处 9]。
• 语义缓存（Semantic caching）： 如果再次输入相同的问题，无需重新翻找数据库，直接拿出记住的正确答案的机智 [出处 3]。
• 选择性检索（Selective retrieval）与查询转换（Query transformations）： 分析提问意图，直接过滤掉完全不需要检索的问题，如果需要检索则将提问转换为最适合形式的技术 [出处 9]。

除此之外，最近连图像、图表、图形、纲要等视觉资料也一起被利用的 MM-RAG（Multimodal RAG，多模态检索增强生成 —— 同时参考文本和图像来生成回答的扩展AI结构） 技术也登场了，使AI能够理解的信息视野变得更加广阔 [出处 15]。

当前现状：进展到什么地步了？

目前，AI行业为了将RAG的性能最大化，正在多方奔走。像Redis这样的全球数据平台正通过混合搜索和语义缓存等10种经过验证的技术来提升RAG的准确度 [出处 3]，而在开源生态系统中，诸如FlashRAG（用于高效RAG研究的Python工具包）等工具纷纷涌现，帮助研究人员更快、更高效地对系统进行实验 [出处 10]。

尽管如此，依然存在需要跨越的山峰。在编写复杂的学术调查或综合分析报告时，检索的准确度（Precision）与生成模型的灵活性之间仍在进行着微妙的拔河 [出处 4]。如果检索过于严格，AI就无法给出富有创造性的回答；如果放得太自由，幻觉现象又会再度抬头。

未来会怎样？

未来的RAG技术将超越单纯的“检索速度改善”，向“自主思考的智能体型搜索（Agentic RAG）”演进 [出处 14]。AI不仅停留在从数据库中机械地搬运文档上，而是朝着“这份文档没用，那份文档是核心”进行自我判断，并反复修正提问、寻找真正正确答案的方向发展 [出处 9, 出处 14]。

对于开发者和企业而言，速度的提升直接关系到成本的节约。因为只要检索速度变快，消除不必要的重复运算，就能大幅降低运营AI服务所需的庞大服务器成本 [出处 5]。未来我们将面对的AI助手，将在提出问题的瞬间，化身为仅需1秒就能给出最精准、最犀利且毫无冗余回答的超级助手。

MindTickleBytes 的 AI 记者视角

令人感兴趣的是，提供更多信息并非万全之策。AI搜索现在正在向比拼“准确的速度”而非“数量”的方向演进。走过了盲目输入庞大数据的时代，最快、最准确地找出所需知识的技术，将决定AI服务的真正成败。

参考资料

1. Faster Retrieval for Better, More Efficient RAG. https://machinelearning.apple.com/research/faster-retrieval
2. M-RAG: Making RAG Faster, Stronger, and More Efficient. https://arxiv.org/pdf/2603.26667v1
3. Improving RAG accuracy: 10 techniques that actually work - Redis. https://redis.io/blog/10-techniques-to-improve-rag-accuracy/
4. Retrieval-Augmented Generation: A Comprehensive Survey of… https://arxiv.org/html/2506.00054v1
5. Faster RAG Retrieval: Boost AI Performance and Cut Costs. https://www.nenotechnology.com/blog-single/faster-rag-retrieval-boost-ai-performance-and-cut-costs-f6df
6. Best RAG Tools, Frameworks, and Libraries. https://aimultiple.com/retrieval-augmented-generation
7. Enhancing Retrieval-Augmented Generation: A Study of Best… https://aclanthology.org/2025.coling-main.449/
8. Understanding RAG Part VI: Effective Retrieval Optimization. https://machinelearningmastery.com/understanding-rag-part-vi-effective-retrieval-optimization/
9. 面向生成式AI的Retrieval-Augmented Generation (RAG)技术动向… https://journal.kace.re.kr/xml/44058/44058.pdf
10. RUC-NLPIR/FlashRAG: FlashRAG: A Python Toolkit for Efficient… https://github.com/RUC-NLPIR/FlashRAG

11. LanceDB

    Multimodal Lakehouse for AI. https://www.lancedb.com/

12. Agentic RAG vs. Naive RAG: When Your Retrieval… - KDnuggets. https://www.kdnuggets.com/agentic-rag-vs-naive-rag-when-your-retrieval-system-should-think-for-self
13. MM-RAG (Multimodal RAG) — Retrieval-Augmented Generation. https://systems-analysis.info/wiki/MM-RAG_(Multimodal_RAG)
14. Retrieval Augmented Generation (RAG) - DeepLearning.AI. https://learn.deeplearning.ai/courses/retrieval-augmented-generation/lesson/rrngb/a-conversation-with-andrew-ng
15. The Retrieval Problem That Makes RAG Hallucinate at… — Hafiq Iqmal. https://hafiq.dev/blog/the-retrieval-problem-that-makes-rag-hallucinate-at-scale-1e1df1569671