突破 AI 學習的巨大瓶頸？反向傳播的新替代方案：PC-ALM

By Gi Pyeong Lee
AI 深度學習 技術解析 PC-ALM
可視化神經網路各層之間相互連結並溝通的圖形
AI Summary

PC-ALM 使用「預測編碼」方式取代複雜的反向傳播學習，讓各神經層能與鄰近層溝通並自主學習，從而實現了 1,000 層深度的深度神經網路訓練。

想像一下，如果您是一位擁有數千名員工的大型企業執行長（CEO），但每個部門所有細微的業務指令和回饋都需要您親自簽核，會發生什麼事？簽核文件必須從最頂層（CEO）傳達到最底層（基層部門），再傳回最頂層，公司恐怕很快就會陷入癱瘓。

目前大部分人工智慧（AI）的學習方式「反向傳播（Backpropagation）」正是這種情況。今天我們要介紹一項為突破這個複雜簽核過程，也就是反向傳播巨大瓶頸而登場的新型學習技術：PC-ALM（Augmented Lagrangian Predictive Coding，增廣拉格朗日預測編碼）。

為什麼這很重要？

隨著 AI 技術發展，模型變得越來越深、越來越龐大。然而，目前的標準學習方式反向傳播，隨著模型層數增加，在傳遞資訊和修正參數的過程中會消耗巨大的時間和運算資源。這就像在一場馬拉松比賽中，所有選手都必須依賴同一位裁判來指揮一樣。

如果 AI 的學習方式能從根本上改變，我們將能以更少的能源打造出更快速、更聰明的 AI。特別是 PC-ALM，甚至能讓高達 1,000 層的超深層神經網路進行學習（來源：Sakana AI Researchers Introduce PC-ALM）。這是開啟巨型 AI 模型開發新紀元的重要進展。

淺顯易懂的理解：「部門自主簽核」機制

用簡單的比喻來說，如果反向傳播是「CEO 親自確認所有文件的方式」，那麼 PC-ALM 就是「各部門（各層）直接與相鄰部門協商後簽核的方式」。

  1. 反向傳播（既有方式）：數據從神經網路開頭一直傳遞到結尾（前向傳播），之後與最終答案比較誤差，再將誤差反向傳遞（反向傳播）來微調整個神經網路的參數。由於必須一次性計算整體，效率較低。
  2. PC-ALM（新方式）：每一層神經網路運作起來就像一個活生生的生命體（來源：Augmented Lagrangian Predictive Coding: training 1000-layer…）。每一層不需要等待整個系統的答案，而是只與前後緊鄰的層進行溝通（來源：Augmented Lagrangian Predictive Coding: training 1000-layer…）。

這裡出現了一個名字聽起來較艱澀的數學技術：「增廣拉格朗日（Augmented Lagrangian）」。簡單來說，這是解決複雜約束優化問題時，透過在原始目標函數中加入「懲罰項（類似扣分標準）」來引導系統更容易找到答案的一種工具（來源：AugmentedLagrangianmethod - Wikipedia）。PC-ALM 利用此技術引導各層自行尋找最佳狀態。這就像一個聰明的組織，雖然所有部門共享公司的整體目標，但各部門都能自主進行決策。

目前狀況

研究團隊透過 PC-ALM 技術，成功訓練出深度驚人的 1,000 層網路（來源：Augmented Lagrangian Predictive Coding: training 1000-layer…）。過去的反向傳播替代方案通常存在學習效能低落或僅適用於特定環境的限制，但 PC-ALM 將層間溝通方式解讀為動態系統，從而克服了這些限制。

當然，這並不代表現在您使用的 AI 服務已經是透過這種方式訓練出來的。目前該技術處於證明其研究階段的效率，若要應用於實際商用的巨型 AI 模型，仍需經過更多的驗證與優化過程。

未來展望

未來我們最該關注的是「AI 的能源效率」。如果反向傳播的瓶頸消失，或許我們將迎來一個即使在比現在規格更低的電腦上，也能訓練或運作巨型 AI 模型的時代。這也將有效降低 AI 的技術門檻。

研究團隊已經公開相關程式碼，創造了讓任何人都能進行實驗的環境（來源：Sakana AI Researchers Introduce PC-ALM）。AI 不僅僅是在變得更龐大，如何更有效率地進行自我學習，這些思維正不斷創造出全新的學習範式。

MindTickleBytes AI 記者觀點： PC-ALM 不僅僅是技術上的替代方案，更展現了 AI 有可能進行與生物大腦神經結構相似的「局部學習」。在數據規模爆炸的時代，期待 AI 透過這項技術躍進，讓自身變得更輕量、更聰明。

參考資料

  1. AugmentedLagrangianmethod - Wikipedia
  2. AugmentedLagrangianPredictiveCoding: training 1000-layer…
  3. Sakana AI Researchers Introduce PC-ALM, a Layer-LocalAlternative…
  4. BackpropAlternative:AugmentedLagrangianPredictiveCoding
  5. Primal DualAugmentedLagrangianSolver for ModelPredictive…
  6. ExactAugmentedLagrangianDuality for Nonconvex Mixed-Integer…
  7. AugmentedLagrangianPredictiveCoding: training 1000-layer… (Ref)
  8. A momentum-based linearizedaugmentedLagrangianmethod for…
  9. GitHub - LumenPallidium/backprop-alts
AD
測試你的理解
Q1. PC-ALM 學習方式的核心特徵為何？
  • 一次處理所有數據
  • 各層僅與相鄰層溝通並進行學習
  • 必須強制執行反向傳播
PC-ALM 使各層作為獨立的動態系統運作，僅與緊鄰的相鄰層溝通來進行學習。
Q2. PC-ALM 名稱中的「Augmented Lagrangian」代表什麼意義？
  • 提升學習速度的硬體加速
  • 在解決有約束條件的問題時，增加懲罰項的一種數學技術
  • 壓縮數據的演算法
增廣拉格朗日（Augmented Lagrangian）方法是一種在求解有約束條件的優化問題時，透過在原始目標函數中添加懲罰項（augmentation）來求得解的技術。
Q3. 透過 PC-ALM 可以訓練的深度神經網路層數大約是多少？
  • 最多 10 層
  • 最多 100 層
  • 1,000 層以上
使用 PC-ALM 可以有效地訓練深度高達 1,000 層的神經網路結構。