250ドルのFPGAでAIが秒速2万文字？驚きの実験の正体

想像してみてください。自宅にある小さなデバイス一つだけで、私たちが日常的に使っている対話型AIより数百倍も速い速度でテキストを読み書きする人工知能が使えるとしたらどうでしょうか？通常「人工知能（AI）」と言えば、数億円を誇るNVIDIA（エヌビディア）の高性能GPU（グラフィックス処理装置）を真っ先に思い浮かべるはずです。しかし最近、開発者の間でこうした常識を覆す興味深い実験結果が続々と報告されています。

最近、ある開発者が250ドル（約3万5千円程度）に過ぎないFPGA（現場でプログラミング可能な論理回路半導体）ボードを使用して言語モデルを駆動した結果、なんと秒速21,000トークン（単語の断片）を超える速度を記録しました。参考資料 1, 参考資料 8 これは既存の高価な装置と比較しても目を疑うような驚異的な数値です。一体どのようにしてこれが可能なのでしょうか？

なぜこれが重要なのか？

これまでAI技術は「より大きく、より多くの演算」を要求する方向に発展してきました。そのため、大規模言語モデル（LLM）を動かすには莫大な電力と高価なハードウェアが不可欠でした。しかし今回の実験は、「AIは必ず高価な機器で動かさなければならないのか？」という根本的な問いを投げかけています。

もし超低電力・低コストのハードウェアでも十分に速いAI推論が可能なら、話は全く変わります。私たちが使う家電製品、自動車、各種ウェアラブル機器の内部でも、個人情報を外部サーバーに送ることなく完全に「オフライン」状態でAIアシスタントを使えるようになるからです。これはAI技術のアクセシビリティを飛躍的に高め、データセキュリティ問題を解決する新たな突破口となるでしょう。参考資料 5, 参考資料 11

簡単な比喩で説明すると

なぜ既存のGPUよりFPGAのような特殊半導体の方が速く効率的なのでしょうか？図書館を例に挙げてみましょう。

巨大モデルをGPUで動かすのは、本（モデルデータ）を図書館の遠い倉庫（外部メモリ）に置き、必要な時にその都度司書（データ通路）を呼び出して本を持ってこさせるのと同じです。本を読む時間よりも本を持ってくる時間の方がかかるこの「メモリのボトルネック」こそが、現代のAI性能の足かせとなっている主犯です。参考資料 5

一方、今回の実験で使用されたFPGAベースのモデルは、最初から机の上にすべての本を広げて作業する方式（モデルの重みをチップ内部に直接保存）を選択しました。参考資料 5, 参考資料 11 データが移動する必要がないため速度は桁違いに速くなり、データを移すために浪費される電力もほとんどありません。実際に研究チームが提案した「TerEffic」アーキテクチャは、既存の機器より19倍も高い電力効率を示すといいます。参考資料 10, 参考資料 13

現在の到達地点は？

すでに現場では驚くべき記録が次々と登場しています。

• 高速FPGA実験: 250ドルのFPGA環境で秒速21,000トークンという速度が測定されました。これは2,000人のユーザーが同時に接続しても性能低下がないほど安定した数値です。参考資料 1, 参考資料 15
• 超低価格マイクロコントローラー: たった10ドルのマイクロコントローラーでも小型言語モデルが秒速約10トークンの速度で動作することが確認されました。参考資料 2, 参考資料 7
• 極度の効率性: 8ドルのESP32-S3チップ（RAM 512KB）でもモデルが完全にオフラインで動作する事例が報告されました。参考資料 4

もちろん限界も明確です。こうした小型モデルは複雑な質問に答えたり高度なコードを書いたりするような高度な知能は不足しており、主に短い文章の生成や単純な分類作業に最適化されています。参考資料 7

何を期待できるのか？

私たちは今、巨大なサーバー室にあるAIではなく、ポケットの中の小さなチップの中で生き生きと動くAIの時代を迎えています。研究者たちはより効率的な演算方式（三値演算など）を導入し、さらに小さなデバイスでも賢いAIを実装しようと努力を続けています。参考資料 11, 参考資料 13 近い将来、インターネット接続なしでも声を完璧に聞き取り即座に反応するスマート家電が日常になるでしょう。

AIの見解

巨大モデル主体のAI市場において、「小型で効率的」なハードウェア最適化へのパラダイムシフトが起きています。これはAIの大衆化を加速させる重要な技術的マイルストーンです。性能のために無闇に電力を注ぎ込む方式から脱却し、ハードウェアの特性に合わせてアルゴリズムを最適化する試みが続けば、AIは私たちの生活の至る所に、より速く軽く浸透していくはずです。

参考資料

1. [Taalas-Style On-Chip Weights on a $250 FPGA: a Language Model at 60k tok/s

   Michael Ayles](https://www.mikeayles.com/blog/on-chip-llm-kv260/)

2. Dev proves LLMs will run on anything – even a $10 microcontroller

3. [Token Generation Speed Visualizer

   LLM Performance Demo](https://shir-man.com/tokens-per-second/)

4. How This Tiny $8 Chip Runs an LLM With Almost No RAM - YouTube
5. r/AIToolsPerformance on Reddit: Karpathy’s MicroGPT hits 50,000 tok/s on FPGA
6. LLM Token Generation Speed Simulator & Benchmark

7. [The next age of LLMs? Dev gets a small LLM running at 10 tokens a second locally on a $10 microcontroller

   TechRadar](https://www.techradar.com/pro/the-next-age-of-llms-dev-gets-a-small-llm-running-at-10-tokens-a-second-locally-on-a-usd10-microcontroller)

8. [Nuxt HN

   Show HN: A tiny LLM running at 21,000 tok/s](https://hn.nuxt.dev/item/49242475)

9. An LLM Writes Shakespeare on an FPGA — and We … - LinkedIn
10. Researchers Deliver Dramatic Performance, Efficiency Gains for LLMs with the FPGA-Driven TerEffic
11. Can an FPGA Actually Run a Tiny LLM? (Part 1: Memory Wall)
12. NLnet; LLM2FPGA
13. TerEffic: Highly Efficient Ternary LLM Inference on FPGA
14. FPGA-Accelerated Large Language Models Used for ChatGPT
15. ShowHN: A tiny LLM running at 21,000 tok/s on a $250 FPGA