AI 變聰明的秘密，隱藏在「運算強度」之中？

想像一下，如果您是一位廚師，但每次拿食材都要從廚房往返冰箱 100 公尺，那會是什麼情況？恐怕您花在路上的時間比烹飪時間還要多。無論您的刀工再快，整體料理的速度勢必會慢到讓人心急。

在我們現今使用的 AI 世界中，也正在發生一模一樣的情況。最新 AI 模型的「大腦」核心——「注意力機制（Attention Mechanism，一種用於理解語句中單字間關係的 AI 結構）」參考資料 12，在處理資訊時，就像那位往返冰箱的廚師一樣，必須在記憶體（儲存數據的地方）與硬體之間不斷來回傳輸。今天，我們就來深入淺出地解析，為什麼 AI 無法跑得更快，以及工程師們為了化解此問題，所聚焦的一個秘密指標——「運算強度」。

這為什麼重要？（Why It Matters）

我們所使用的 AI 聊天機器人如果反應遲鈍，這不僅僅是體驗上的問題，更直接關乎 AI 服務的運作成本與效率。簡單來說，如果 AI 在從記憶體讀取數據時，能執行更多的計算，那麼我們就能以相同的硬體設備，開發出更快且成本更低的 AI 服務。

換句話說，除了提升 AI 的智慧程度外，「工程優化」——也就是在不浪費硬體資源的前提下，將 AI 的潛能發揮到極致——正是改變我們日常生活 AI 使用體驗的關鍵鑰匙。

簡單理解（The Explainer）

AI 工程師使用「運算強度（Arithmetic Intensity）」這一指標來衡量運作效率 參考資料 10。

比喻來說，這就是「當從記憶體取得 1 byte 的數據時，硬體能執行多少運算（FLOPs，浮點運算）」的比例 參考資料 7, 11。

• 低運算強度： 就像為了切一顆洋蔥，必須往返冰箱好幾趟的狀況。（數據傳輸量很大，但實際計算卻很少）
• 高運算強度： 就像一次從冰箱取出滿滿的食材，煮出一大鍋泡菜鍋的狀況。（利用一次取得的數據，執行大量的計算）

在我們目前使用的 Transformer 架構 AI 模型中，運算成本最高的部分正是注意力層 參考資料 1。然而，由於注意力機制在結構上會產生過多中間數據，導致其實際計算能力受限於記憶體讀寫速度，進而陷入所謂的「記憶體密集（Memory-bound）」瓶頸狀態 參考資料 2, 13。

舉例來說，以過去的 A100 GPU 為基準，為了達到高效運算所需的強度為 156 FLOPs/byte，但一般注意力機制的實際強度僅約 65 FLOPs/byte 參考資料 2。這就像是開著頂級跑車，卻因為道路擁擠只能以時速 30 公里緩慢前進。

現況（Where We Stand）

為了克服此難題，技術人員正從架構層面改良注意力機制。代表性技術包括「多查詢注意力（MQA, Multi-Query Attention）」與「分組查詢注意力（GQA, Grouped-Query Attention）」參考資料 6, 9。

這些技術能顯著減少在進行注意力計算時，必須從記憶體讀取的資訊量。因為讀取的數據量減少了，卻仍能得到相同的結果，自然而然就提升了「運算強度」，進而加快整體處理速度 參考資料 6, 9。近期研究中，更有許多嘗試透過優化注意力的投影矩陣（projection matrix），試圖將運算強度提升近兩倍 參考資料 9。

未來走向（What’s Next）

未來的 AI 發展將不再僅是一味地擴大模型規模，而是朝向突破硬體性能極限的方向演進 參考資料 4。我們將迎來能以更低功耗理解更長上下文的 AI，這將為智慧型手機等個人裝置上執行更強大的 AI 模型創造條件 參考資料 14。

MindTickleBytes AI 記者的觀點

AI 的發展不僅僅是為了創造更聰明的大腦，如何巧妙地「使用」這些大腦，即「工程效率」，才是加速技術大眾化的關鍵。這場旨在提升運算強度的無聲戰爭，正是讓 AI 深入融入我們日常生活的核心引擎。

參考資料

1. Transformer Inference Estimations: Arithmetic Intensity, Throughput
2. 2.1: Standard Attention — The IO Problem

3. [Attention at Inference: Arithmetic Intensity…

   Aleksandr Timashov](https://timashov.ai/blog/2025/mha-during-inference/)

4. Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference
5. Native Sparse Attention: Hardware-Aligned and Natively
6. Multi-Query Attention is All You Need

7. [Attention & KV Cache Bottlenecks in Inference

   Medium](https://medium.com/@alice_gjw/deep-dive-2-attention-kv-cache-bottlenecks-in-inference-35ea2d52a34d)

8. [[Tech] Why MLA and MTP Fight Each Other: Attention Through Arithmetic Intensity

   Changyi Yang’s Site](https://changyi.fun/posts/attention-arithmetic-intensity/)

9. Hardware-Efficient Attention for Fast Decoding
10. FlashAttention: Making Attention I/O-Aware

11. [What is arithmetic intensity?

    GPU Glossary](https://modal.com/gpu-glossary/perf/arithmetic-intensity)

12. [What is an attention mechanism?

    IBM](https://www.ibm.com/think/topics/attention-mechanism)

13. ELI5: Flash Attention
14. Arithmetic Intensity In Decoding: A Hardware-Efficient Perspective…