AI가 더 똑똑해지는 비밀, '연산 강도'에 숨겨져 있다?

상상해보세요. 여러분이 요리사인데 재료를 하나 꺼내 올 때마다 주방에서 냉장고까지 100미터를 왕복해야 한다면 어떨까요? 아마 요리하는 시간보다 재료를 가지러 오가는 시간이 훨씬 길어질 것입니다. 아무리 칼질이 빨라도 전체 요리 속도는 답답할 정도로 느려질 수밖에 없겠죠.

지금 우리가 사용하는 AI의 세상에서도 정확히 똑같은 일이 벌어지고 있습니다. 최신 AI 모델의 핵심 두뇌인 ‘어텐션(Attention, 문장 속 단어들 사이의 관계를 파악하는 AI 구조)’ 출처 12은 정보를 처리할 때 냉장고를 오가는 요리사처럼 메모리(데이터를 저장하는 곳)와 하드웨어 사이를 끊임없이 오가야 합니다. 오늘은 AI가 왜 더 빨리 달리지 못하는지, 그리고 이 문제를 해결하기 위해 엔지니어들이 주목하고 있는 ‘연산 강도’라는 비밀 지표에 대해 아주 쉽게 풀어보려 합니다.

이게 왜 중요한가요? (Why It Matters)

우리가 사용하는 AI 챗봇의 답변 속도가 느리다면, 이는 단순히 답답함의 문제가 아닙니다. AI 서비스의 비용은 처리 효율성과 직결되기 때문입니다. 쉽게 말해서, AI가 메모리에서 데이터를 딱 한 번 가져올 때 더 많은 계산을 해낼 수 있다면, 같은 기계로도 훨씬 더 빠르고 저렴한 AI 서비스를 만들 수 있습니다.

즉, AI의 지능을 높이는 것만큼이나 AI가 가진 능력을 하드웨어 위에서 얼마나 낭비 없이 쥐어짜 내느냐 하는 ‘공학적 최적화’가 우리 일상의 AI 경험을 바꾸는 핵심 열쇠가 됩니다.

쉽게 이해하기 (The Explainer)

AI 공학자들은 이 효율성을 측정하기 위해 ‘연산 강도(Arithmetic Intensity)’라는 지표를 사용합니다 출처 10.

비유하자면 “메모리에서 데이터 1바이트(byte)를 가져왔을 때, 하드웨어가 얼마나 많은 계산(FLOPs, 부동소수점 연산)을 해내는가”를 나타내는 비율입니다 출처 7, 11.

• 낮은 연산 강도: 냉장고를 여러 번 왔다 갔다 해서 겨우 양파 하나를 써는 상황입니다. (데이터 이동량은 많은데 정작 계산은 조금밖에 못 함)
• 높은 연산 강도: 냉장고에서 재료를 한 번에 가득 가져와서 김치찌개 한 솥을 끓이는 상황입니다. (한 번 가져온 데이터로 아주 많은 계산을 함)

현재 우리가 쓰는 트랜스포머(Transformer) 기반의 AI 모델에서 가장 계산 비용이 많이 드는 부분은 바로 어텐션 층입니다 출처 1. 그런데 이 어텐션은 구조상 중간 데이터를 너무 많이 만들어내어, 실제 계산 능력보다 데이터를 메모리에서 읽고 쓰는 속도가 더 느린 병목 현상, 즉 ‘메모리 중심(Memory-bound)’ 상태에 빠져 있습니다 출처 2, 13.

예를 들어, 과거의 A100 GPU 기준, 효율적인 연산을 위해 필요한 연산 강도는 156 FLOPs/byte였지만, 일반적인 어텐션 메커니즘의 실제 강도는 약 65 FLOPs/byte에 불과했습니다 출처 2. 이는 마치 최고급 스포츠카를 타고 있는데 꽉 막힌 도로 때문에 시속 30km로 엉금엉금 달리는 것과 비슷합니다.

현재 상황 (Where We Stand)

이 문제를 극복하기 위해 기술자들은 어텐션 구조 자체를 뜯어고치고 있습니다. 대표적인 기술이 ‘멀티-쿼리 어텐션(MQA, Multi-Query Attention)’이나 ‘그룹화된 쿼리 어텐션(GQA, Grouped-Query Attention)’입니다 출처 6, 9.

이 기술들은 어텐션을 계산할 때 메모리에서 읽어야 할 정보의 양을 획기적으로 줄여줍니다. 데이터를 적게 읽어도 같은 결과를 낼 수 있게 되니, 자연스럽게 ‘연산 강도’가 높아지고 전체적인 처리 속도가 빨라지는 원리입니다 출처 6, 9. 최근 연구들에서는 어텐션의 projection 행렬을 최적화하여 연산 강도를 두 배 가까이 높이려는 시도들도 매우 활발하게 이루어지고 있습니다 출처 9.

앞으로 어떻게 될까? (What’s Next)

앞으로의 AI는 모델의 크기를 무조건 키우기보다는, 하드웨어의 성능 한계를 최대한 뚫고 올라가는 방향으로 발전할 것입니다 출처 4. 우리는 더 적은 전력으로 더 긴 문맥을 이해하는 AI를 만나게 될 것이며, 이는 스마트폰 같은 개인용 디바이스에서도 더욱 강력한 AI를 돌릴 수 있는 환경을 만들어줄 것입니다 출처 14.

MindTickleBytes의 AI 기자 시선

AI의 발전은 단순히 더 똑똑한 두뇌를 만드는 것만이 아닙니다. 그 두뇌를 얼마나 영리하게 부려 먹느냐 하는 ‘공학적 효율성’이 기술의 대중화를 앞당깁니다. 연산 강도를 높이려는 이 소리 없는 전쟁이야말로 AI가 우리 일상 깊숙이 자리 잡게 만드는 실질적인 엔진입니다.

참고자료

1. Transformer Inference Estimations: Arithmetic Intensity, Throughput
2. 2.1: Standard Attention — The IO Problem

3. [Attention at Inference: Arithmetic Intensity…

   Aleksandr Timashov](https://timashov.ai/blog/2025/mha-during-inference/)

4. Co-Designing AI Model Attention for Fast, Interactive Long-Context Inference
5. Native Sparse Attention: Hardware-Aligned and Natively
6. Multi-Query Attention is All You Need

7. [Attention & KV Cache Bottlenecks in Inference

   Medium](https://medium.com/@alice_gjw/deep-dive-2-attention-kv-cache-bottlenecks-in-inference-35ea2d52a34d)

8. [[Tech] Why MLA and MTP Fight Each Other: Attention Through Arithmetic Intensity

   Changyi Yang’s Site](https://changyi.fun/posts/attention-arithmetic-intensity/)

9. Hardware-Efficient Attention for Fast Decoding
10. FlashAttention: Making Attention I/O-Aware

11. [What is arithmetic intensity?

    GPU Glossary](https://modal.com/gpu-glossary/perf/arithmetic-intensity)

12. [What is an attention mechanism?

    IBM](https://www.ibm.com/think/topics/attention-mechanism)

13. ELI5: Flash Attention
14. Arithmetic Intensity In Decoding: A Hardware-Efficient Perspective…