AI 变得更聪明的秘密，隐藏在“算术强度”中？

想象一下，你是一名厨师，但每拿一种食材都要往返于厨房和冰箱之间 100 米的路程，那会是什么情景？很可能你花在路上的时间远多于烹饪的时间。无论你的刀工有多快，整体的出菜速度也快不起来。

在当今 AI 的世界里，同样的事情正在发生。作为最新 AI 模型核心大脑的“注意力机制（Attention，一种识别句子中词语之间关系的 AI 结构）” 参考资料 12，在处理信息时，就像那位奔波于冰箱和厨房之间的厨师，必须在内存（存储数据的地方）和硬件之间频繁往返。今天，我们就来聊聊为什么 AI 跑得不够快，以及工程师们为解决这一问题而关注的“算术强度”这一神秘指标。

为什么这很重要？ (Why It Matters)

如果你使用的 AI 聊天机器人响应速度很慢，这不仅仅是体验问题，因为 AI 服务的成本直接与处理效率挂钩。简单来说，如果 AI 在从内存读取一次数据时能完成更多计算，我们就能用同样的硬件提供更快、更便宜的 AI 服务。

换句话说，除了提高 AI 的智能水平，如何将 AI 的能力在硬件上榨干而不浪费——即“工程优化”，正是改变我们日常 AI 体验的关键所在。

浅显易懂的解释 (The Explainer)

AI 工程师们使用“算术强度 (Arithmetic Intensity)”这一指标来衡量效率 参考资料 10。

打个比方，它表示的是“从内存中每获取 1 字节 (byte) 的数据，硬件能执行多少次计算（FLOPs，浮点运算）”的比率 参考资料 7, 11。

• 算术强度低： 就像为了切一个洋葱要多次往返冰箱的情况。（数据移动量很大，但实际计算却很少）
• 算术强度高： 就像一次性把所有食材从冰箱拿出来，煮了一大锅泡菜汤的情况。（用一次获取的数据完成了大量的计算）

在我们目前使用的基于 Transformer 的 AI 模型中，计算成本最高的部分就是注意力层 参考资料 1。然而，由于这种结构会产生大量的中间数据，导致其处理速度受限于从内存读取和写入数据的速度，而非其自身的计算能力，即陷入了“内存受限 (Memory-bound)”状态 参考资料 2, 13。

例如，在过去的 A100 GPU 标准下，为了实现高效运算所需的算术强度为 156 FLOPs/byte，而一般注意力机制的实际强度仅为 65 FLOPs/byte 左右 参考资料 2。这就像开着顶级跑车，却因为道路拥堵只能以时速 30 公里缓慢爬行。

现状 (Where We Stand)

为了克服这一问题，技术人员正在对注意力结构本身进行改造。代表性的技术包括“多查询注意力（MQA, Multi-Query Attention）”或“分组查询注意力（GQA, Grouped-Query Attention）” 参考资料 6, 9。

这些技术能显著减少计算注意力时从内存中读取的信息量。既然读取较少的数据也能达到相同的结果，那么“算术强度”自然就会提高，整体处理速度也会随之加快 参考资料 6, 9。在最近的研究中，优化注意力投影矩阵以使算术强度提高近两倍的尝试也非常活跃 参考资料 9。

未来展望 (What’s Next)

未来的 AI 发展方向将不再是盲目扩大模型规模，而是最大限度地突破硬件性能极限 参考资料 4。我们将看到能以更低功耗理解更长上下文的 AI，这将为在智能手机等个人设备上运行更强大的 AI 创造环境 参考资料 14。

MindTickleBytes AI 记者视角

AI 的发展不仅在于打造更聪明的大脑，在于如何巧妙地调动大脑的“工程效率”才能加速技术的普及。这场旨在提高算术强度的无声战争，正是让 AI 深植于我们日常生活的真正引擎。

参考资料

1. Transformer Inference Estimations: Arithmetic Intensity, Throughput
2. 2.1: Standard Attention — The IO Problem

3. [Attention at Inference: Arithmetic Intensity…

   Aleksandr Timashov](https://timashov.ai/blog/2025/mha-during-inference/)

4. Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference
5. Native Sparse Attention: Hardware-Aligned and Natively
6. Multi-Query Attention is All You Need

7. [Attention & KV Cache Bottlenecks in Inference

   Medium](https://medium.com/@alice_gjw/deep-dive-2-attention-kv-cache-bottlenecks-in-inference-35ea2d52a34d)

8. [[Tech] Why MLA and MTP Fight Each Other: Attention Through Arithmetic Intensity

   Changyi Yang’s Site](https://changyi.fun/posts/attention-arithmetic-intensity/)

9. Hardware-Efficient Attention for Fast Decoding
10. FlashAttention: Making Attention I/O-Aware

11. [What is arithmetic intensity?

    GPU Glossary](https://modal.com/gpu-glossary/perf/arithmetic-intensity)

12. [What is an attention mechanism?

    IBM](https://www.ibm.com/think/topics/attention-mechanism)

13. ELI5: Flash Attention
14. Arithmetic Intensity In Decoding: A Hardware-Efficient Perspective…