AI 是如何思考的？深入龐大神經網路內部的數學之鑰

想像一下，你是一位非常聰明的訓犬師。狗狗完美地執行了你的指令，但你完全不知道狗狗腦中在想什麼，它是單純因為訓練而做出反應，還是有它自己的一套邏輯？

我們每天使用的 AI 模型（如 ChatGPT）也與此類似。它們透過學習海量數據產生驚人的成果，但其龐大神經網路內部的運作方式，就像一個「黑盒子」般被籠罩在迷霧中。今天，我們要探討這項試圖打開黑盒子、以數學方式窺探 AI 內部的重大研究——Anthropic 於 2021 年發表的《Transformer 電路數學框架》（A Mathematical Framework for Transformer Circuits）。出處: A Mathematical Framework for Transformer Circuits

為什麼這很重要？

隨著 AI 在社會各領域的普及，「AI 為何會給出這樣的回答」、「它是否值得信賴」已成為非常重要的議題。如果 AI 提供了偏頗的資訊或做出了錯誤的判斷，我們必須能夠從內部找出原因並加以修正。

這項研究不只是出於好奇，更是為了描繪出一張「數學地圖」，讓我們能夠徹底控制並理解 AI 這項宏大的技術。出處: A Mathematical Framework for Transformer Circuits \ Anthropic 這項研究成為了「機器可解釋性」（Mechanistic Interpretability，即從邏輯和數學上分析人工智慧處理數據過程的研究領域）的先驅，被評為嘗試以精確的數學語言翻譯 AI 內部運作的開創性工作。出處: [Review] A Mathematical Framework for Transformer Circuits

淺顯易懂：解剖 AI 的「大腦電路」

這項研究的核心源自一個簡單的問題：「我們能否用精確的數學術語描述 AI 執行的微型演算法，並僅透過觀察其權重（Weights，AI 在學習過程中調整的數值），就能直接讀懂它在做什麼？」出處: Circuits 01 — A Mathematical Framework for Transformer Circuits

為了實現這一點，研究團隊將 Transformer（AI 識別語句中詞彙關係的核心結構）模型簡化為兩層以下結構進行分析。出處: A Mathematical Framework for Transformer Circuits

打個比方： 想像你面前有一棟極其複雜的 100 層摩天大樓。由於設計圖太過複雜，很難一眼看懂。研究人員並沒有試圖拆解整棟建築的結構，而是選擇只拆下 1 樓和 2 樓，透過顯微鏡觀察其中的電線是如何連接的。出處: A Mathematical Framework for Transformer Circuits

研究團隊將 AI 傳遞資訊的管道——「殘差流」（Residual Stream，AI 在處理語句時保留資訊並持續更新的一種通訊路徑）視為一種透過加法傳遞資訊的通訊通道。出處: mathematicalframeworkfortransformercircuits 簡單來說，這過程類似於多人同時在同一個筆記本上書寫並累積資訊。在此基礎上，研究人員應用了注意力（Attention）機制（決定語句中哪些詞彙重要的功能），並將其拆解為決定是否關注特定資訊的矩陣（QK），以及決定如何反映該資訊的矩陣（OV），利用這些數學框架進行分析。出處: mathematicalframeworkfortransformercircuits

現狀：進度如何？

目前，這項研究已成為 AI 研究者推論 AI 模型內部運作之「心理模型」（Mental Model）的重要基礎。出處: Review: A Mathematical Framework for Transformer Circuits 不過，我們現今使用的最新模型，就像是擁有數兆個參數（Parameter，AI 在學習過程中微調的數值）的龐大怪獸，比這項研究中處理的兩層模型要複雜得多。出處: A Mathematical Framework for Transformer Circuits 因此，將這項研究的方法論完美應用於實際的大型模型，仍是一項極具挑戰的任務。

未來展望

這項研究提出的「數學語言」正在持續發展。研究人員正努力將在此發現的簡易演算法模式，逐步應用於更大、更複雜的模型中。出處: A Mathematical Framework for Transformer Circuits 也許有朝一日，當我們問 AI「為什麼你會給出這樣的回答？」時，AI 將能夠援引其內部的電路數學依據來回答我們。

MindTickleBytes AI 記者的觀點

在 AI 這股浩瀚的技術浪潮中，試圖解剖其內部的嘗試，是確保技術「透明度」與「信任度」的高貴努力。唯有將 AI 理解為擁有數學明確規則的機械，而非只是神秘的魔術盒子，我們才能自信地迎接與 AI 共存的未來。

參考資料

1. A Mathematical Framework for Transformer Circuits
2. A Walkthrough of A Mathematical Framework for Transformer Circuits — Neel Nanda
3. A Mathematical Framework for Transformer Circuits \ Anthropic
4. A Mathematical Framework for Transformer Circuits
5. Arxiv Dives - A Mathematical Framework for Transformer Circuits - Part 1
6. A Walkthrough of A Mathematical Framework for Transformer Circuits - YouTube
7. A Mathematical Framework for Transformer Circuits
8. Circuits 01 — A Mathematical Framework for Transformer Circuits
9. Review: A Mathematical Framework for Transformer Circuits
10. Review: A Mathematical Framework for Transformer Circuits

11. [A Mathematical Framework for Transformer Circuits…

    HackerNews](https://news.ycombinator.com/item?id=49672365)

12. A Mathematical Framework for Transformer Circuits \ Anthropic
13. A Mathematical Framework for Transformer Circuits - nikkie-memos
14. mathematicalframeworkfortransformercircuits
15. A Mathematical Framework for Transformer Circuits: How LLMs…

16. [TransformerCircuits1: Summary of Results

    3rd layer](https://3rdlayer.uk/posts/framework-01-summary/)