AI 隱藏了思考嗎?GPT-6 Astra 的「循環轉換器」祕密

象徵抽象數位迴路,由複雜機械裝置與數學符號交織而成的圖像。
AI Summary

GPT-6 Astra 為了追求效率,採用了將資訊在模型內部循環的「循環轉換器」技術,然而這引發了 AI 思考過程對人類而言變得不透明,進而產生安全疑慮的爭議。

試想一下:當您解數學題時,不是將所有計算過程一一寫在紙上來得出答案,而是改為在腦海中極其快速地運轉無數思緒,最後只說出最終答案。這樣一來,身旁的人就很難得知您是如何得出答案的,對吧?最近公開的 OpenAI 下一代 AI 模型 GPT-6 Astra 所引發的爭議,正與這種情況類似。

這為何如此重要?

AI 變得更聰明固然值得高興,但如果其「過程」變得不可見,那就是另一個嚴重的問題了。當我們向 AI 提出複雜問題時,AI 解釋其得出該結論的過程(這被稱為「思維鏈」或「Chain of Thought」)是我們檢視 AI 是否做出正確判斷的唯一窗口。近期技術界有觀點指出,GPT-6 Astra 處理此過程的方式是人類無法閱讀的,因此備受矚目[Source 1, Source 14]。

簡單來說,AI 就像一位魔術師,只拋出答案,卻將過程當作「祕密」鎖在箱子裡。如果我們無法窺探 AI 的想法,就無從得知 AI 是真的經過邏輯思考,還是只是僥倖答對。

輕鬆理解:何謂循環轉換器?

要理解這個問題,必須了解 GPT-6 Astra 的核心技術:「循環轉換器(Looped Transformers,一種將資訊在模型內部層級中循環並重複使用的 AI 架構)」或稱為「遞迴深度(Recurrent Depth)」[Source 1, Source 18]。

打個比方,如果傳統的 AI 就像一列很長的火車,按順序串聯車廂來處理數據,那麼循環轉換器就像一個「圓環路口」。與其將數據直線發送,它是通過重複使用神經網路的一部分,讓資訊在內部持續旋轉並進行計算[Source 5, Source 14]。

這種方式在效率上有巨大的優勢,因為它能用相同的資源處理更深、更複雜的邏輯[Source 1, Source 18]。問題在於,在此過程中,AI 並非將複雜的邏輯逐一拆解為人類可理解的文字,而是直接在其「內部數學狀態(Hidden mathematical states)」中解決[Source 5, Source 6]。結果我們所看到的只有成品,至於 AI 為了得出該結果所經過的具體步驟,已不像過去那樣明確[Source 14, Source 19]。

現況與安全爭議

這項消息傳出後,業界湧現了對「AI 黑箱化」的擔憂[Source 6, Source 14]。特別是當 AI 能夠自行控制並隱藏思維時,有安全警告指出,我們可能難以控制 AI 內含危險資訊或進行錯誤推理的可能性[Source 6, Source 14]。這就像 AI 用我們聽不懂的密碼進行自我對話,導致我們難以掌握其意圖。

當然,反對的聲音也不小。OpenAI 首席科學家 Jakub Pachocki 將這些擔憂斥為「因混亂報導而產生的焦慮」。他強調 Astra 的計算圖深度與上一代模型 GPT-4 相比,維持在 2 倍以內的水平,並已防止 AI 無差別隱藏思考的情況發生[Source 2, Source 3]。此外,部分專家也解釋道,循環轉換器並非刻意隱藏推理痕跡,僅僅是一種高效率的計算方式而已[Source 15]。

未來將如何發展?

GPT-6 Astra 正展現出遠超前代模型的複雜邏輯解決能力[Source 10]。展望未來,我們需要密切關注兩個層面:

第一,隨著循環轉換器這類高效架構成為標準,該如何確保 AI 回答的「可解釋性」?雖然 AI 變聰明很好,但如果無法與我們分享其中的智慧,那它終究只是半調子的技術。 第二,如何在技術上填補模型內部計算與我們可驗證的思考過程之間的鴻溝?技術正以更快的速度朝高效率邁進,但如何在過程中維持「透明度」這一安全裝置,將決定未來 AI 發展的成敗。

MindTickleBytes AI 記者觀點

為了效率而「壓縮」AI 的思考過程,或許是理所當然的技術演進。然而,隨著 AI 的決策與我們生活的連結愈發緊密,我們知悉該「過程」的權利,應該要與技術效率受到同等重視。期待 AI 不僅僅是只會拋出答案的聰明機器,更能成為與我們邏輯溝通的真正夥伴。

參考資料

  1. GPT-6 Astra - Wikipedia: https://en.wikipedia.org/wiki/GPT-6_Astra
  2. GPT-6 Astra, Looped Transformers, and Hidden Reasoning: https://magazine.sebastianraschka.com/p/gpt-6-astra-looped-transformers-and
  3. GPT-6 Astra, Looped Transformers, and Hidden Reasoning – Physical AI News: https://physicalainews.com/gpt-6-astra-looped-transformers-and-hidden-reasoning/
  4. GPT-6 Astra Pushes AI Reasoning Beyond Readable Thought - Artiverse: https://www.artiverse.ca/gpt-6-astra-pushes-ai-reasoning-beyond-readable-thought/
  5. Why less visibility into how OpenAI’s new GPT-6 Astra ‘thinks’ is sparking safety concerns South China Morning Post: https://www.scmp.com/tech/tech-trends/article/3366401/why-less-visibility-how-openais-new-gpt-6-astra-thinks-sparking-safety-concerns
  6. GPT-6 Astra can do a lot of multi-hop reasoning without chain of…: https://www.greaterwrong.com/posts/FsCkkoGsNmPzFKRhg/gpt-6-astra-can-do-a-lot-of-multi-hop-reasoning-without
  7. GPT-6 Astra’s hidden reasoning triggers AI safety alarm: https://www.nationpress.com/sciencetech/gpt-6-astra-hides-its-own-reasoning
  8. GPT-6 Astra’s Real Story: Looped Transformers, Computer-Use…: https://bedrocknews.com/article/hackernews/49627370
  9. GPT-6 Astra: Architecture and the Rise of Neuralese: https://theaicronicle.com/en/daedalus-lab/gpt-6-astra-architecture-analysis-neuralese
  10. GPT-6 Astra: What OpenAI Announced—and Why Its Hidden…: https://www.studioglobal.ai/discover/answers/what-did-openai-announce-with-the-thursday-6a9a1d9952056a1accb60e97
AD
測試你的理解
Q1. GPT-6 Astra 所使用的新型推理技術名稱為何?
  • 線性轉換器
  • 循環轉換器(或遞迴深度)
  • 靜態固定層
GPT-6 Astra 使用了「循環轉換器(looped transformers)」或稱為「遞迴深度(recurrent depth)」的技術。
Q2. 部分專家對循環轉換器感到擔憂的原因為何?
  • 因為 AI 變得太慢
  • 因為 AI 以人類難以閱讀的內部數學狀態來處理思考過程
  • 因為能源消耗過大
人們擔憂 AI 不再將複雜邏輯轉化為文字,而是於內部隱藏的數學循環中處理,導致思考過程的透明度降低。
Q3. OpenAI 首席科學家 Jakub Pachocki 針對 AI 模型的計算深度有何說法?
  • 比 GPT-4 深數千倍
  • 與 GPT-4 相比,控制在 2 倍以內的深度
  • 不再計算深度
Jakub Pachocki 明確表示,為避免混亂,Astra 的計算圖深度與 GPT-4 相比,控制在 2 倍以內的水平。