AI 真的在「思考」嗎?隱藏在腦中的符號

將 AI 複雜糾結的神經網路結構及其內部閃耀的符號調和,具象化而成的影像。
AI Summary

介紹最新研究成果,指出大型語言模型(LLM)複雜的數值資料中,隱藏著類似人類邏輯體系的符號結構。

試著想像一下:當我們學習外語時,不只是單純死背單字排列的統計方式,還會同時學習「主詞+動詞+受詞」這樣的語法框架,也就是「符號結構」。如果 AI 也能自主建立這樣的邏輯框架,會是怎樣的情景呢?

我們常將大型語言模型(LLM)視為單純以機率預測下一個單字的「超大型統計機器」。然而,學界近期提出了一個驚人的假設:AI 可能在其複雜的內部數值資料中,隱含地儲存了類似人類所使用的符號邏輯體系。

這為何重要?

至今,AI 的內部運作方式宛如「黑盒子」,因為很難精確解釋 AI 為何會給出這樣的答案。若能證實 AI 內部具備類似人類語言的邏輯結構,我們就能更清楚地理解並掌控 AI 的判斷依據。這對於打造更可信賴、更安全的 AI 系統至關重要,等於是讓我們獲得了分析與優化 AI 效能所需的全新設計圖。

簡單易懂的解釋

深入 AI 內部,會發現那是由無數數值組成的「向量(Vector,AI 為理解資料而轉換成的數字資訊)」海洋。研究人員認為,在這龐大的數值序列中,隱藏著如同拼圖碎片般的邏輯規則。

打個比方,圖書館裡有海量的書籍,但這些書不是隨意堆放的,而是依照主題完美分類。例如,當組合「貓」與「坐著」這兩個單字時,AI 並非僅是記住了這兩字的機率性結合,而是自主學習了一個符號框架,將「貓」這個物件(Object)與「坐著」這個動作(Action)區分開來。這被稱為「張量積表徵(TPR, Tensor Product Representation)」結構,是一種試圖將複雜資料按組成單位拆解來理解的方式。參考資料 1, 參考資料 5

研究人員運用一種名為 DISCOVER (DISsecting COmpositionality in VEctor Representations) 的特殊分析法來研究此現象。這就像是「AI 顯微鏡」,能徹底剖析 AI 複雜的向量表徵,從中找出所蘊含的邏輯組成要素。參考資料 1

當前現況

目前已有許多成果產出。研究指出,LLM 正在以線性(Linear)結構學習空間與時間的概念。即便面對城市或地標等不同的對象,AI 也能系統性地掌握其空間與時間的定位。即便調整模型的參數,這類資訊依然穩固。參考資料 9

不過,我們所使用的語言模型與人類處理語言的大腦機制,在計算方式上仍存在根本差異。參考資料 4 因此,目前還很難斷定現在的 AI 模型已經完美模仿了人類的邏輯體系。但隨著「結構符號表徵(SSR, Structural Symbolic Representation)」等方法論的研究,學界正積極致力於讓 AI 能更聰明地理解結構。參考資料 6

未來展望

未來的 AI 研究將不僅止於餵入大量資料,而是將重點轉向衡量 AI 內部建立「邏輯結構」的能力。像是量子層次結構(Quantum Hierarchy)等全新的分析工具,將能幫助我們更細膩地洞察 AI 的內部動力學,協助我們按照需求來控制 AI。參考資料 8

若有一天 AI 擁有了與我們思考方式相同的邏輯結構,與 AI 的對話將會進化到比現在更深入、更精確的境界。期待智慧型手機裡的小秘書,未來不再只是單純地唸出統計結果,而是能真正理解「結構」並給予回應的智慧存在。

MindTickleBytes 的 AI 記者觀點

AI 從一連串數字中提取出邏輯,這一點非常引人入勝。具備理解符號結構能力的 AI,將不再只是像鸚鵡一樣模仿說話,而是極有可能成為真正能「結構化」理解我們意圖的夥伴。

參考資料

  1. The EmergentSymbolicStructureof Artificial Neural Networks
  2. LLM-Generated NumericalRepresentations
  3. Neurosymbolic Large Language Models: A Survey ofSymbolic…
  4. Deciphering language processing in the human brain throughLLM…
  5. Tom McCoy: Research statement (for a linguistics audience)
  6. StructuralSymbolicRepresentation(SSR)
  7. The Geometry of Truth: Emergent LinearStructureinLLM… - Arize AI
  8. Quantum Hierarchy for UnderstandingLLMRepresentationsby…
  9. Language ModelsRepresentSpace and Time
AD
測試你的理解
Q1. 關於 AI 儲存資訊方式的最新研究,其核心假設為何?
  • AI 僅使用統計機率
  • AI 的向量表徵中隱藏著符號結構
  • AI 擁有與人類大腦完全相同的結構
近期的研究正在探討 AI 複雜的數值表徵中,是否隱含著類似人類邏輯的「符號(symbolic)」結構。
Q2. DISCOVER 技術是為了什麼而開發的?
  • 為了測量 AI 模型的速度
  • 為了分析 AI 向量表徵中所蘊含的組合結構
  • 為了找出 AI 模型的資安漏洞
DISCOVER (DISsecting COmpositionality in VEctor Representations) 是一種用於分析 AI 模型向量表徵中隱藏邏輯組合結構的方法論。
Q3. 大型語言模型(LLM)所學到的內容中,哪一項被發現與人類認知相似?
  • 對空間與時間的線性表徵
  • 複雜的食譜
  • 語言模型的作業系統
研究結果顯示,LLM 在各種不同類型的對象中,系統性地學習了關於空間與時間的線性資訊。