250美元的FPGA实现AI每秒2万字？揭秘这项惊人实验

想象一下，如果家里只需一个小设备，就能以比我们常用的对话式AI快几百倍的速度读写文字，那会怎样？提到“人工智能（AI）”，人们通常首先想到的是价值数十万美元的英伟达（NVIDIA）高性能GPU（图形处理器）。然而，最近开发者社区中涌现出了许多打破这一常识的有趣实验结果。

最近，一位开发者使用一块仅需250美元的FPGA（现场可编程逻辑门阵列）板运行语言模型，记录到了每秒超过21,000 token（词元）的速度。参考资料 1, 参考资料 8 这一数据即使与现有的高端设备相比，也令人难以置信。这究竟是如何实现的？

为什么这很重要？

到目前为止，AI技术的发展方向一直是“更大、运算更多”。因此，运行大型语言模型（LLM）必须依赖巨大的功耗和昂贵的硬件。但这项实验提出了一个根本性的问题：“AI一定非得在昂贵的设备上运行吗？”

如果超低功耗、低成本的硬件也能实现足够快的AI推理，情况将发生巨大改变。因为这意味着家电、汽车和各种可穿戴设备内部，无需将个人信息发送到外部服务器，即可完全“离线”使用AI助手。这将显著提高AI技术的易用性，成为解决数据安全问题的突破口。参考资料 5, 参考资料 11

简单来说（打个比方）

为什么像FPGA这样的特殊半导体比传统GPU更快、更高效？让我们以图书馆为例。

在GPU上运行巨型模型，就像把书（模型数据）放在图书馆遥远的仓库（外部内存）里，需要时就让图书管理员（数据通道）去取。读取时间比拿书的时间还要长，这种“内存瓶颈”是制约现代AI性能的罪魁祸首。参考资料 5

相反，本次实验中使用的FPGA模型选择了一种直接将所有书提前摊开在桌面上工作的方式（将模型权重直接存储在芯片内部）。参考资料 5, 参考资料 11 由于数据无需移动，速度快得惊人，搬运数据所浪费的功耗也几乎为零。实际上，研究团队提出的“TerEffic”架构显示，其能效比现有设备高出19倍。参考资料 10, 参考资料 13

目前进展如何？

现场已经陆续出现了令人惊叹的记录：

• 高速FPGA实验： 在250美元的FPGA环境下测量到了每秒21,000 token的速度，即使2000名用户同时访问，性能也足以保持稳定。参考资料 1, 参考资料 15
• 超低价微控制器： 甚至在价值仅10美元的微控制器上，小型语言模型也被确认能以每秒约10 token的速度运行。参考资料 2, 参考资料 7
• 极致效率： 在8美元的ESP32-S3芯片（512KB内存）上也报告了模型完全离线运行的案例。参考资料 4

当然，局限性也很明显。这些小型模型缺乏回答复杂问题或编写高质量代码所需的深度智能，主要适用于简短的文本生成或简单的分类任务。参考资料 7

可以期待什么？

我们现在面对的不再是身处巨大服务器机房中的AI，而是活在口袋里那块小小芯片中的AI时代。研究人员正在努力引入更高效的运算方式（如三元运算等），以便在更小的设备上实现更聪明的AI。参考资料 11, 参考资料 13 在不久的将来，无需网络连接，能够完美理解人声并立即响应的智能家电将成为日常。

AI的观点

在以巨型模型为主导的AI市场中，正发生着向“小巧高效”硬件优化范式的转变。这是加速AI大众化的重要技术里程碑。如果能摆脱为了性能而不计代价增加功耗的模式，持续尝试根据硬件特性优化算法，AI将更快速、轻盈地融入我们生活的方方面面。

参考资料

1. [Taalas-Style On-Chip Weights on a $250 FPGA: a Language Model at 60k tok/s

   Michael Ayles](https://www.mikeayles.com/blog/on-chip-llm-kv260/)

2. Dev proves LLMs will run on anything – even a $10 microcontroller

3. [Token Generation Speed Visualizer

   LLM Performance Demo](https://shir-man.com/tokens-per-second/)

4. How This Tiny $8 Chip Runs an LLM With Almost No RAM - YouTube
5. r/AIToolsPerformance on Reddit: Karpathy’s MicroGPT hits 50,000 tok/s on FPGA
6. LLM Token Generation Speed Simulator & Benchmark

7. [The next age of LLMs? Dev gets a small LLM running at 10 tokens a second locally on a $10 microcontroller

   TechRadar](https://www.techradar.com/pro/the-next-age-of-llms-dev-gets-a-small-llm-running-at-10-tokens-a-second-locally-on-a-usd10-microcontroller)

8. [Nuxt HN

   Show HN: A tiny LLM running at 21,000 tok/s](https://hn.nuxt.dev/item/49242475)

9. An LLM Writes Shakespeare on an FPGA — and We … - LinkedIn
10. Researchers Deliver Dramatic Performance, Efficiency Gains for LLMs with the FPGA-Driven TerEffic
11. Can an FPGA Actually Run a Tiny LLM? (Part 1: Memory Wall)
12. NLnet; LLM2FPGA
13. TerEffic: Highly Efficient Ternary LLM Inference on FPGA
14. FPGA-Accelerated Large Language Models Used for ChatGPT
15. ShowHN: A tiny LLM running at 21,000 tok/s on a $250 FPGA