AIが賢くなる秘密は「演算強度」に隠されている？

想像してみてください。あなたが料理人だとして、材料を取りに行くたびに厨房から冷蔵庫まで100メートルを往復しなければならないとしたらどうでしょうか？おそらく、料理をする時間よりも材料を取りに行く時間の方が圧倒的に長くなるはずです。どれだけ包丁さばきが速くても、料理全体にかかる時間はじれったいほど遅くなってしまいます。

今、私たちが使っているAIの世界でも、全く同じことが起きています。最新AIモデルの核心となる頭脳である「アテンション（Attention：文中の単語間の関係を把握するAI構造）」参考資料 12は、情報を処理する際、冷蔵庫を往復する料理人のように、メモリ（データを保存する場所）とハードウェアの間を絶えず行き来しなければなりません。本日は、なぜAIがもっと速く走れないのか、そしてこの問題を解決するためにエンジニアたちが注目している「演算強度」という秘密の指標について、分かりやすく解説します。

なぜこれが重要なのか？（Why It Matters）

私たちが使うAIチャットボットの回答速度が遅いなら、それは単なるストレスの問題ではありません。AIサービスのコストは処理効率と直結しているからです。簡単に言えば、AIがメモリからデータを一度だけ読み出す間に、より多くの計算をこなせるようになれば、同じ機械でも、はるかに速く、安価なAIサービスを提供できるようになります。

つまり、AIの知能を高めることと同様に、AIが持つ能力をハードウェア上でどれだけ無駄なく引き出せるかという「工学的最適化」こそが、日常のAI体験を変える核心的な鍵となるのです。

易しく理解するために（The Explainer）

AIエンジニアは、この効率性を測定するために「演算強度（Arithmetic Intensity）」という指標を使います 参考資料 10。

例えるなら、「メモリからデータ1バイト（byte）を読み出したとき、ハードウェアがどれだけの計算（FLOPs：浮動小数点演算）を実行できるか」を示す割合のことです 参考資料 7, 11。

• 低い演算強度： 冷蔵庫を何度も往復して、ようやく玉ねぎを一つ刻める状況です。（データ移動量は多いのに、実際の計算は少ししかできない）
• 高い演算強度： 冷蔵庫から材料を一度にたくさん取り出し、キムチチゲを鍋いっぱいに煮込む状況です。（一度読み込んだデータで、非常に多くの計算をする）

現在私たちが使っているTransformerベースのAIモデルで、最も計算コストがかかる部分はアテンション層です 参考資料 1。しかし、このアテンションは構造上、中間データを大量に生成するため、実際の計算能力よりもデータをメモリから読み書きする速度の方が遅くなるボトルネック現象、すなわち「メモリ中心（Memory-bound）」状態に陥っています 参考資料 2, 13。

例えば、過去のA100 GPU基準で効率的な演算に必要な演算強度は156 FLOPs/byteでしたが、一般的なアテンション機構の実際の強度は約65 FLOPs/byteに過ぎませんでした 参考資料 2。これは最高級のスポーツカーに乗っているのに、渋滞のせいで時速30kmでノロノロと走っているようなものです。

現状（Where We Stand）

この問題を克服するため、技術者たちはアテンション構造そのものを改修しています。代表的な技術が「マルチクエリアテンション（MQA：Multi-Query Attention）」や「グループ化クエリアテンション（GQA：Grouped-Query Attention）」です 参考資料 6, 9。

これらの技術は、アテンションを計算する際にメモリから読み出すべき情報量を劇的に減らします。データ読み出しを減らしても同じ結果を出せるようになるため、自然と「演算強度」が高まり、全体の処理速度が向上する仕組みです 参考資料 6, 9。最近の研究では、アテンションのプロジェクション行列を最適化し、演算強度を2倍近く高めようとする試みも活発に行われています 参考資料 9。

今後の展望（What’s Next）

これからのAIは、モデルのサイズを無条件に大きくするよりも、ハードウェアの性能限界を最大限に押し上げる方向に発展するでしょう 参考資料 4。私たちは、より少ない電力でより長い文脈を理解するAIに出会うことになり、これはスマートフォンなどの個人用デバイスでも、さらに強力なAIを動かせる環境を生み出すはずです 参考資料 14。

MindTickleBytesのAI記者の視点

AIの発展は、単により賢い頭脳を作ることだけではありません。その頭脳をどれだけ賢く働かせるかという「工学的効率性」が、技術の大衆化を早めます。演算強度を高めようとするこの静かなる戦争こそが、AIを私たちの日常の奥深くに定着させるための実質的なエンジンなのです。

参考資料

1. Transformer Inference Estimations: Arithmetic Intensity, Throughput
2. 2.1: Standard Attention — The IO Problem

3. [Attention at Inference: Arithmetic Intensity…

   Aleksandr Timashov](https://timashov.ai/blog/2025/mha-during-inference/)

4. Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference
5. Native Sparse Attention: Hardware-Aligned and Natively
6. Multi-Query Attention is All You Need

7. [Attention & KV Cache Bottlenecks in Inference

   Medium](https://medium.com/@alice_gjw/deep-dive-2-attention-kv-cache-bottlenecks-in-inference-35ea2d52a34d)

8. [[Tech] Why MLA and MTP Fight Each Other: Attention Through Arithmetic Intensity

   Changyi Yang’s Site](https://changyi.fun/posts/attention-arithmetic-intensity/)

9. Hardware-Efficient Attention for Fast Decoding
10. FlashAttention: Making Attention I/O-Aware

11. [What is arithmetic intensity?

    GPU Glossary](https://modal.com/gpu-glossary/perf/arithmetic-intensity)

12. [What is an attention mechanism?

    IBM](https://www.ibm.com/think/topics/attention-mechanism)

13. ELI5: Flash Attention
14. Arithmetic Intensity In Decoding: A Hardware-Efficient Perspective…