AI 為何能「理解」上下文？一切的起點是什麼？

試著想像一下：假設你需要翻譯一本厚厚的外文書。過去的 AI 就像是用手一字一句謄寫一樣，必須從頭到尾順序閱讀並解讀。如此一來，不僅容易忘記長句的前半段內容，只要文脈稍微複雜一點，就經常會寫出語意不通的句子。

但如果 AI 能將書頁一眼展開，並同時掌握詞彙與詞彙之間像絲線般糾纏的關聯呢？今日我們所熟知的生成式 AI 聊天機器人，其智慧正是源自這種「一眼看穿的技術」。2017 年由八位研究者發表的論文《Attention Is All You Need》，徹底改變了 AI 處理語言的方式 [[Source 6], [Source 10]]。

為何這如此重要？

我們日常使用的聊天機器人與生成式 AI，其基礎是「GPT (Generative Pre-trained Transformer，預訓練生成變換模型)」。顧名思義，它是建立在稱為「Transformer」的結構上 [[Source 1]]。

在該論文問世前，AI 處理語句的技術主要依賴循環神經網路 (RNN，依序處理數據的神經網路) 或卷積神經網路 (CNN，主要用於圖像處理) 等複雜結構 [[Source 2], [Source 13]]。然而，這些方式都有一個致命的限制：必須將數據逐一按順序處理 [[Source 9], [Source 13]]。

Transformer 的出現是自然語言處理 (NLP) 領域的「遊戲規則改變者」。多虧於此，AI 能夠更快地學習更長的文字，並理解像人類一樣自然的文脈 [[Source 4], [Source 9]]。現在你與 AI 對話時所感受到的「聰明」，事實上都是源自 2017 年該論文所定義的架構 [[Source 10]]。

簡單理解：「關注」的力量

讓我們用非常簡單的比喻來解釋 Transformer 的核心——「注意力 (Attention)」機制。回想一下我們與人對話的時刻：當對方說出一長串句子時，我們並不會將每個字都給予相同的權重去聽，而是更專注於構成對話核心的「關鍵字」。

例如：「昨天鐵柱吃了蘋果，非常好吃」這句話中，若要理解「非常好吃」是指什麼，AI 必須對「蘋果」這個詞「關注 (Attention)」。注意力機制透過數學手法，計算出語句中的詞彙彼此存在什麼樣的關係，以及在解析特定詞彙時，其他哪些詞彙是重要的線索 [[Source 6]]。

簡單來說，過去的 AI 是透過放大鏡逐行審視文句、絞盡腦汁回憶；而 Transformer 則是像拍照一樣將整個句子一次拍下，接著在重要部位畫上螢光筆，明確標示出關係 [[Source 9], [Source 13]]。多虧如此，它才得以不遺漏前後文，達成更立體的理解。

現狀：進展到什麼程度了？

今日的大型語言模型 (LLM) 將 Transformer 結構擴展至巨大的規模 [[Source 4]]。不僅僅是翻譯，AI 現在還能執行總結文章、撰寫程式碼，甚至分析複雜學術論文等作業 [[Source 13]]。

然而，注意力機制並非「萬能」。與人類具備超越單純詞彙機率關係的複雜推理能力不同，AI 仍舊高度優化於從數據中尋找規律 [[Source 14]]。此外，隨著模型處理的數據量增加，所需的運算資源會急劇上升，這也是我們未來必須克服的課題 [[Source 13]]。

未來展望

研究人員正持續嘗試提升 Transformer 的效率。近期，諸如將安裝與使用過程更系統化分離的新型開放協定「@skills」等研究相繼問世，旨在極大化 AI 系統的效率 [[Source 11]]。未來的 AI 將朝向以更少數據更聰明地學習、更精準掌握我們複雜需求的方向進化。換個比喻，現在的 AI 不僅僅是會畫螢光筆的技術，更正在成為一位能根據閱讀目的，自動總結並整理書籍內容的「主動閱讀者」。

MindTickleBytes 的 AI 記者觀點

正如其名「Attention (注意力)」，這項研究教會了機器「該關注什麼」。而關注的對象如今已超越了機器的內部，延伸至我們人類的溝通方式。試圖理解人類語言的努力，終究將 AI 塑造成我們身邊最聰明的秘書。正如我們關注 AI 一樣，AI 也開始深刻地理解我們了。

參考資料

1. Generative pre-trained transformer - Wikipedia
2. Abstract page for arXiv paper 1706.03762:AttentionIsAllYouNeed
3. AttentionIsAllYouHave- Relational Infrastructure
4. Attentionisallyouneed to understand - by Jon Evans
5. AttentionisAllYouNeed
6. AttentionisAllYouNeed
7. AttentionIsAllYouNeed — full paper - Marovi AI
8. [論文評析] Attention Is All You Need - Velog

9. [Attention Is All You Need 完全解析 - 改變 AI 的論文

   Parseur®](https://parseur.com/ko/blog/attention-is-all-you-need)

10. 從 Transformer 到 BERT：《Attention Is All You Need》與 BERT 論文 …
11. [2608.12610] @skills: Attention is all you have - arXiv.org
12. Attention Is All You Need - Transformer 論文完整分析

13. [僅靠注意力機制就足夠了 — 電腦科學韓語分析

    Caramel…](https://caramellab.org/papers/computer-science/attention-is-all-you-need-778328)

14. [Is ‘Attention’ the Essence of Intelligence?

    Quanta Magazine](https://www.quantamagazine.org/is-attention-the-essence-of-intelligence-20261012/)