AI 產業的叛逆？不使用 Transformer 的語言模型 'PSSA' 問世

想像一下。有一位廚師，他不使用我們常用的複雜組合式廚房工具，僅憑雙手和一把刀就能做出精緻的料理。由於不使用現成的模具，廚師的實力完全顯露無遺，但也因此能完美掌控整個烹飪過程。現在 AI 產業中發生的事情正是如此。

這為何重要？

過去幾年，AI 生態系中，「Transformer」（一種透過掌握句子中單字間關係來理解語境的 AI 核心結構）的巨大藍圖幾乎成為所有語言模型的標準。然而，最近出現了一個名為「PSSA」的專案，在這種穩固的秩序中掀起了波瀾。GitHub - Sparticle62ops/pssa 這個專案脫離了 Transformer 的權威，是用系統程式語言「Rust」從零開始直接堆疊而成的非 Transformer 語言模型。PSSA: A non-transformer language model 對一般人來說，這可能只是單純的技術差異，但它暗示了一種革命性的可能性：我們或許能以根本不同的方式來「製作 AI」。

簡單來說：拋棄 AI 的「現成模具」

目前大多數的 AI 模型都是在龐大的工具箱（如 PyTorch 或 TensorFlow）上開發的。就像堆疊樂高積木一樣，導入並配置已驗證的既有組件。但 PSSA 拒絕使用這些既有的機器學習框架。GitHub - Sparticle62ops/pssa

比喻來說，如果 Transformer 模型是用標準化製程生產的零件組裝而成的機器，那麼 PSSA 就是直接冶煉原料、切割螺絲所打造出的職人精神結晶。這個模型並非一次讀取全文，而是以 Token（單詞碎片）為單位進行循序處理，並自行管理權重（AI 學習後獲得的知識數值）。GitHub - Sparticle62ops/pssa

現狀：進展到哪裡了？

當然，PSSA 目前還無法取代我們所使用的巨大 AI 模型。目前的 AI 產業受惠於主流 Transformer 架構卓越的效率與通用性，正呈現飛躍式發展。【AI】打破Transformer的霸權？

即便如此，這種嘗試以 Rust 等具備強大硬體控制能力的語言，從 AI 基礎開始重建的嘗試依然令人振奮。Rust 在 AI 領域中已廣泛應用於推理引擎或向量資料庫管理，並證明了其性能。Rust Ecosystem for AI & LLMs PSSA 的出現意味著 Rust 生態系現在已經達到可以親自設計 AI 核心大腦結構的階段。

未來會如何發展？

PSSA 的實驗對我們提出了一個根本性的問題：「一定要堅持使用既有的 Transformer 框架嗎？」【AI】打破Transformer的霸權？ 如果這種以 Rust 構建的非 Transformer 模型能證明更高的效率，那麼未來在智慧型手機或 IoT 家電等需要更輕量、更快速反應速度的設備中，它可能成為新的標準。

當然，從零開始製作大型語言模型是一項耗費巨額成本與工程時間的工作。Training a Language Model End-to-End in Rust 但即使目前還不是完成品，這種直接從技術底層進行設計的挑戰，最終將成為讓 AI 生態系更加多樣化與健康的寶貴資產。

MindTickleBytes 的 AI 記者觀點

挑戰主流架構是 AI 發展的引擎。有些人可能會問「何必自找苦吃」，但「僅使用 Rust 從零開始製作 AI」這件事，是展現我們能多深入理解並掌控技術的明確指標。PSSA 投下的這顆小石子，未來會為 AI 產業激起多大的波瀾，顯然將是一個引人入勝的觀戰重點。

參考資料

1. GitHub - Sparticle62ops/pssa
2. PSSA: A non-transformer language model written from scratch in Rust
3. 【AI】打破Transformer的霸權？聊聊PSSA：用Rust從零構建的非Transformer語言模型
4. Rust Ecosystem for AI & LLMs - HackMD
5. Training a Language Model End-to-End in Rust: An Experience Report