250美元的FPGA每秒處理2萬個字？這項驚人實驗的真相

想像一下。如果您家中只需一個小裝置，就能使用讀寫速度比我們常見的對話型AI快上數百倍的人工智慧，那會是什麼樣子？提到「人工智慧（AI）」，人們通常首先會想到價值數億韓元的NVIDIA高效能GPU（圖形處理器）。然而，最近開發者社群中湧現出許多打破這種常識的有趣實驗結果。

最近，一名開發者使用價值僅250美元（約30萬韓元）的FPGA（現場可程式化邏輯閘陣列）板來執行語言模型，結果記錄到了每秒超過21,000個token（詞元）的驚人速度。 參考資料 1, 參考資料 8 與現有的高價設備相比，這是一個令人難以置信的數字。究竟是如何辦到的呢？

這為何重要？

到目前為止，AI技術的發展方向都是要求「更大、運算更多」。因此，要執行大型語言模型（LLM），巨大的電力和昂貴的硬體是不可或缺的。然而，這次實驗提出了一個根本性的問題：「AI一定要在昂貴的設備上才能執行嗎？」

如果超低功耗、低成本的硬體也能進行足夠快速的AI推論，情況將會徹底改變。這是因為我們所使用的家電、汽車及各種穿戴式裝置，將無需將個人隱私傳送到外部伺服器，就能在完全「離線」的狀態下使用AI秘書。這將大幅提升AI技術的普及性，並成為解決資料安全問題的新突破口。 參考資料 5, 參考資料 11

簡單來說（比喻一下）

為什麼FPGA這類特殊半導體比現有的GPU更快、更有效率呢？讓我們用圖書館做比喻。

在GPU上執行大型模型，就像把書（模型資料）放在圖書館遠處的倉庫（外部記憶體）中，每當需要時，就派館員（資料通路）去取書。這種「記憶體瓶頸」——讀書的時間比取書的時間還短——正是阻礙現代AI效能的主因。 參考資料 5

另一方面，本次實驗使用的FPGA模型採取了直接把所有書提前攤開在桌上作業的方式（將模型權重直接儲存於晶片內部）。 參考資料 5, 參考資料 11 由於資料無需移動，速度變得極快，且傳輸資料所浪費的電力幾乎為零。研究團隊提出的「TerEffic」架構，據稱比現有設備展現出高出19倍的電力效率。 參考資料 10, 參考資料 13

目前進度如何？

現場已經接連出現令人驚嘆的紀錄。

• 高速FPGA實驗： 在250美元的FPGA環境中測得了每秒21,000個token的速度，這是一個足以讓2,000名使用者同時連線而不會降低效能的穩定數值。 參考資料 1, 參考資料 15
• 超低價微控制器： 甚至確認了在僅需10美元的微控制器上，小型語言模型也能以每秒約10個token的速度運作。 參考資料 2, 參考資料 7
• 極致的效率： 據報導，在價值8美元的ESP32-S3晶片（記憶體512KB）上，模型已能完全離線運作。 參考資料 4

當然，限制也很明顯。這些小型模型缺乏回答複雜問題或編寫高水準程式碼的深度智慧，主要優化於生成短句或簡單的分類任務。 參考資料 7

可以期待什麼？

我們現在面對的不再是遠在大型伺服器機房裡的AI，而是活在口袋裡那顆小晶片中的AI時代。研究人員正嘗試引進更高效的運算方式（如三元運算等），以期在更小的裝置上實現更聰明的AI。 參考資料 11, 參考資料 13 在不久的將來，即使沒有網際網路連線，能夠完美聽懂我們的話並立即做出反應的智慧家電將成為日常生活的一部分。

AI的觀點

在以大型模型為主的AI市場中，正發生著轉向「小型且高效」硬體最佳化的典範轉移。這是加速AI大眾化的重要技術里程碑。如果我們能擺脫為了效能而盲目消耗電力的模式，持續嘗試根據硬體特性進行演算法最佳化，AI將會更快、更輕盈地滲透到我們生活的各個角落。

參考資料

1. [Taalas-Style On-Chip Weights on a $250 FPGA: a Language Model at 60k tok/s

   Michael Ayles](https://www.mikeayles.com/blog/on-chip-llm-kv260/)

2. Dev proves LLMs will run on anything – even a $10 microcontroller

3. [Token Generation Speed Visualizer

   LLM Performance Demo](https://shir-man.com/tokens-per-second/)

4. How This Tiny $8 Chip Runs an LLM With Almost No RAM - YouTube
5. r/AIToolsPerformance on Reddit: Karpathy’s MicroGPT hits 50,000 tok/s on FPGA
6. LLM Token Generation Speed Simulator & Benchmark

7. [The next age of LLMs? Dev gets a small LLM running at 10 tokens a second locally on a $10 microcontroller

   TechRadar](https://www.techradar.com/pro/the-next-age-of-llms-dev-gets-a-small-llm-running-at-10-tokens-a-second-locally-on-a-usd10-microcontroller)

8. [Nuxt HN

   Show HN: A tiny LLM running at 21,000 tok/s](https://hn.nuxt.dev/item/49242475)

9. An LLM Writes Shakespeare on an FPGA — and We … - LinkedIn
10. Researchers Deliver Dramatic Performance, Efficiency Gains for LLMs with the FPGA-Driven TerEffic
11. Can an FPGA Actually Run a Tiny LLM? (Part 1: Memory Wall)
12. NLnet; LLM2FPGA
13. TerEffic: Highly Efficient Ternary LLM Inference on FPGA
14. FPGA-Accelerated Large Language Models Used for ChatGPT
15. ShowHN: A tiny LLM running at 21,000 tok/s on a $250 FPGA