傳統僅採「搜尋片段」方式的 RAG 技術容易遺漏上下文，但如今 AI 正基於更深層的推理與理解能力不斷進化。
想像一下，你在公司向 AI 展示了一份非常重要的合約，並問道：「這份合約的核心條款是什麼？」AI 自信地給出了回答，但其回答的依據卻完全無視了合約中作為關鍵參考的「附錄」部分，從而得出了一個離譜的結論。這就像我們考試時只讀了課本正文，卻忽略了重要的表格或參考資料，最後寫出了錯誤答案一樣。
近期，生成式 AI 技術之一的「RAG（Retrieval-Augmented Generation，檢索增強生成）」被指出可能會犯下這類錯誤。我們常聽到「AI 會撒謊」或「出現幻覺（Hallucination）」，為什麼會發生這種事呢？
為什麼這很重要？
我們現在已經超越了單純叫 AI「幫我寫文章」的階段，進入了「閱讀我的工作文件並回答問題」的階段。RAG 正是幫助 AI 參考我們文件的關鍵技術。然而，如果 AI 無法正確理解文件，只是膚淺地檢索資訊，可能會在商業決策或重要判斷上引發嚴重錯誤。
與其盲目信任 AI 的成果，不如了解 AI 是以何種方式「檢索」資訊，這將成為個人與企業在現今時代的競爭力。
簡單理解：AI 的「開卷考試」
簡單來說，RAG 是讓 AI 進行「開卷考試」的技術。AI 不僅僅依賴自身習得的既有知識，還能像參考書一樣打開我們提供的文件來尋找答案。
| 然而，我們過去使用的「傳統 RAG」方式比較單純。專家解釋，這就像把文件當作「裝滿隨機文本碎片的袋子」。[Why YourRAGMayBeLyingtoYouand How to Fix It | LinkedIn](https://www.linkedin.com/posts/udaykiranchimpiri_ai-machinelearning-rag-activity-7450764888043331585-rqFy) |
| 舉個例子，假設你指示 AI：「關於這件事的詳細內容，請參閱後面的附錄 B」。但由於傳統 RAG 是透過數學計算，找出單詞頻率或相似度「看起來最像」的文本片段，它往往會忽略「請參閱附錄 B」這種重要的引導文字。這就像找路時不看路標，只跟著前人的腳印走，結果走到錯誤的地方一樣。[Why YourRAGMayBeLyingtoYouand How to Fix It | LinkedIn](https://www.linkedin.com/posts/udaykiranchimpiri_ai-machinelearning-rag-activity-7450764888043331585-rqFy) |
現狀：不斷進化的技術
| 有些人可能會說：「RAG 已經過時了」。但實際上，現場開發 AI 系統的工程師們想法截然不同。他們反而更加專注於 RAG 技術並增加投資。[WhyRAGMightActually Matter More Than Ever In2025 | HackerNoon](https://hackernoon.com/why-rag-might-actually-matter-more-than-ever-in-2025) |
| 並非技術已死，只是初期形態單純的「向量搜尋（尋找相似文本的方式）」遇到了瓶頸。現在技術正在超越單純「檢索」文件的階段，邁向讓 AI 能夠「理解並推理」文件的層次。[감사원도 활용 가능한 AI 문서분석기술 | 의미기반… - YouTube](https://www.youtube.com/watch?v=IH3_026P8GE) |
未來會如何發展？
AI 技術將會變得更加聰明。未來的 RAG 系統將不僅僅是丟出包含相關詞彙的段落，而是能準確掌握使用者的提問意圖，並在文件整體的語境中推導出邏輯結論。
我們現在應該成為「明智的使用者」，在看到 AI 提供的資訊時，不要照單全收，而是要學會詢問這些資訊是基於什麼依據。技術正在進化，最先察覺到這種變化的人，將能更靈活地駕馭 AI 時代。
MindTickleBytes 的 AI 記者觀點
不必因為 RAG 有時會胡言亂語而感到失望。這可以說是 AI 為了具備真正「智能」所經歷的成長痛。在 AI 從單純檢索文件的機器，轉變為真正的「助手」過程中，我們也需要鍛鍊驗證 AI 回答的批判性思考能力。
參考資料
-
[Why YourRAGMayBeLyingtoYouand How to Fix It LinkedIn](https://www.linkedin.com/posts/udaykiranchimpiri_ai-machinelearning-rag-activity-7450764888043331585-rqFy) -
[감사원도 활용 가능한 AI 문서분석기술 의미기반… - YouTube](https://www.youtube.com/watch?v=IH3_026P8GE) -
[WhyRAGMightActually Matter More Than Ever In2025 HackerNoon](https://hackernoon.com/why-rag-might-actually-matter-more-than-ever-in-2025)
- 文件數量過多
- 僅擷取相似的文本片段，而忽略了上下文
- AI 回應速度太慢
- 認為技術已死而放棄
- 不再進行任何改善
- 超越單純搜尋，致力於深化技術以提升理解與推理能力
- 僅讓 AI 快速閱讀文件
- 讓 AI 閱讀、理解並進行推理
- 讓 AI 自主撰寫文件