AI가 더 똑똑해지고 빨라진다? '소프트맥스' 우회 기술의 비밀

By Gi Pyeong Lee
AI 트랜스포머 소프트맥스 딥러닝 기술동향
복잡한 수식과 기호들이 단순화되어 AI 모델의 효율성이 높아지는 과정을 형상화한 디지털 아트
AI Summary

인공지능 트랜스포머 모델의 고질적인 연산 병목 현상인 '소프트맥스'를 건너뛰거나 최적화하는 기술이 등장하며, 더 빠르고 대용량 정보를 처리하는 AI 시대가 열리고 있습니다.

상상해보세요. 당신이 아주 거대한 도서관에서 특정한 정보를 찾으려 합니다. 그런데 도서관 사서가 모든 책을 일일이 펼쳐보고 정렬한 뒤에야 당신에게 답을 준다면 어떨까요? 책이 늘어날수록 사서가 답을 주는 시간은 상상 이상으로 기하급수적으로 늘어날 것입니다. 현재 우리가 사용하는 인공지능 모델, 특히 ‘트랜스포머(Transformer, 문장의 단어들 사이 관계를 파악하는 AI 핵심 구조)’가 겪고 있는 문제가 바로 이와 비슷합니다.

최근 인공지능 분야에서는 이 고질적인 ‘병목 현상’을 해결하기 위해, 그동안 당연하게 여겨졌던 ‘소프트맥스(softmax)’라는 연산을 건너뛰거나 최적화하려는 혁신적인 시도가 활발하게 이루어지고 있습니다.

이게 왜 중요한가요? (Why It Matters)

트랜스포머는 현재 거의 모든 현대적 AI의 근간을 이루는 구조입니다. 하지만 이 구조 안에서 소프트맥스 함수는 정보를 처리할 때마다 반드시 거쳐야 하는 일종의 ‘통행세’와도 같습니다. 소프트맥스는 여러 데이터 값들을 확률 분포로 바꾸어 AI가 최종적인 선택이나 판단을 내리게 돕는 필수적인 역할을 합니다 출처: Softmaxfunction - Wikipedia.

문제는 AI가 다루는 정보량이 최근 들어 폭발적으로 늘어났다는 점입니다. 처리해야 할 데이터가 많아질수록 소프트맥스 연산은 메모리를 엄청나게 잡아먹고, 전체적인 연산 속도를 늦추는 주범이 됩니다. 만약 이 연산을 생략하거나 최적화할 수 있다면, AI는 더 긴 문맥을 훨씬 적은 에너지를 쓰면서도 빠르게 처리할 수 있게 됩니다. 이는 곧 우리 일상에서 더 똑똑하고, 반응 속도가 빠른 AI 어시스턴트를 훨씬 쾌적하게 사용할 수 있다는 희망적인 미래를 의미합니다.

쉽게 이해하기 (The Explainer)

소프트맥스를 이해하기 위해 쉬운 비유를 하나 들어볼게요. 우리가 쇼핑몰에서 ‘가장 마음에 드는 상품’을 고르는 과정을 생각해 보세요. 수많은 상품의 가격, 품질, 디자인을 다 비교한 뒤, 각각의 상품이 내 마음에 들 확률을 매기는 과정이 바로 소프트맥스 연산입니다. 모든 선택지들에 점수를 매기고, 이를 합산하여 100%라는 확률 분포로 바꾸는 것이죠.

하지만 AI 모델이 아주 길고 복잡한 책 한 권 분량의 내용을 읽어야 한다면 어떨까요? 모든 단어들을 하나하나 비교하며 확률을 정밀하게 계산하는 것은 너무나 힘든 일입니다.

그래서 연구자들은 최근 몇 가지 묘수를 찾아냈습니다.

  1. 정적 수축(Static Contraction) 기술: 마치 미리 길을 닦아놓는 것처럼, 연산 과정에서 불필요한 계산 경로를 미리 차단하고 효율적인 수식으로 대체하는 방법입니다. 이는 AI 모델이 긴 문맥에서 메모리 부족 문제(OOM, Out-Of-Memory)를 겪을 위험을 크게 줄여줍니다 출처: GitHub - PJHkorea/jax-softmax-bypass, 출처: ShowHN:BypassingTransformerSoftmaxviaStaticContraction.
  2. 소프트맥스 제거(Softmax-free): ‘SOFT’라는 모델은 기존의 복잡한 연산 대신 ‘가우시안 커널(Gaussian kernel)’이라는 상대적으로 단순한 수학 함수를 사용합니다. 마치 확률 계산을 위해 복잡한 공학용 계산기를 매번 두드리는 대신, 더 직관적인 지름길을 택하는 셈이죠 출처: SOFT: Softmax-free Transformer with Linear Complexity, 출처: [2110.11945] SOFT: Softmax-free Transformer with Linear Complexity.
  3. 망각의 기술(Forgetting Mechanism): ‘ForgettingTransformer(FoX)’는 필요 없는 정보는 적절히 잊어버리는 ‘포겟 게이트(forget gate)’를 활용합니다. 쉽게 말해서 우리가 중요한 정보만 메모하고 나머지는 자연스럽게 잊어버리듯, 주의를 기울여야 할 점수들을 선별적으로 조절하여 문맥 처리를 한결 수월하게 만듭니다 출처: ForgettingTransformer:SoftmaxAttention with a Forget Gate, [출처: ForgettingTransformer:SoftmaxAttention with… Papers with Code](https://paperswithcode.co/paper/2503.02130), 출처: GitHub - zhixuan-lin/forgetting-transformer.

현재 상황 (Where We Stand)

현재 이 기술들은 실험실 단계의 PoC(개념 증명, Proof of Concept)부터 학술적인 제안 단계에 이르기까지 매우 다양한 형태로 빠르게 발전하고 있습니다. 하지만 아직 완전히 소프트맥스를 완전히 대체했다고 말하기에는 시기상조입니다. 기존의 표준적인 방식보다 효율적이라는 점은 명확히 증명되고 있지만, 모든 범용 AI 모델에 바로 적용하기에는 추가적인 검증이 필요한 부분들이 남아있기 때문입니다. 그럼에도 불구하고, ‘UniAttn’과 같이 성능 저하를 최소화하면서도 연산 비용을 획기적으로 줄이는 시도들이 꾸준히 성과를 내고 있어 기대감을 높이고 있습니다 [출처: UniAttn: Reducing Inference CostsviaSoftmax… Papers with Code](https://paperswithcode.co/paper/2502.00439).

앞으로 어떻게 될까? (What’s Next)

앞으로의 AI 기술 경쟁은 단순히 ‘더 큰 모델’을 만드는 것을 넘어, 누가 ‘더 효율적인 모델’을 만드느냐의 싸움으로 이동할 것입니다. 특히 우리가 사용하는 스마트폰처럼 연산 자원이 물리적으로 제한된 기기에서 더 강력한 AI를 돌리기 위해, 이러한 소프트맥스 우회 기술들은 필수적인 열쇠가 될 것입니다. 오늘날의 이러한 연구들이 결실을 맺는다면, 우리는 훨씬 더 긴 대화 기록을 완벽하게 기억하고, 더 빠른 속도로 답변하는 똑똑한 AI를 우리의 일상에서 만나게 될 것입니다.

참고자료

  1. GitHub - PJHkorea/jax-softmax-bypass: https://github.com/PJHkorea/jax-softmax-bypass
  2. Vertex-Softmax: Tight Transformer Verification via Exact Softmax Optimization∗: https://arxiv.org/pdf/2605.10974
  3. SimA: Simple Softmax-free Attention for Vision Transformers: https://openaccess.thecvf.com/content/WACV2024/papers/Koohpayegani_SimA_Simple_Softmax-Free_Attention_for_Vision_Transformers_WACV_2024_paper.pdf
  4. SOFT: Softmax-free Transformer with Linear Complexity: https://proceedings.neurips.cc/paper/2021/file/b1d10e7bafa4421218a51b1e1f1b0ba2-Paper.pdf
  5. [2110.11945] SOFT: Softmax-free Transformer with Linear Complexity: https://arxiv.org/abs/2110.11945
  6. Differential Transformer Hacker News: https://news.ycombinator.com/item?id=41776324
  7. Softmaxfunction - Wikipedia: https://en.wikipedia.org/wiki/Softmax_function
  8. ForgettingTransformer:SoftmaxAttention with a Forget Gate: https://arxiv.org/abs/2503.02130
  9. ShowHN:BypassingTransformerSoftmaxviaStaticContraction: https://news.ycombinator.com/item?id=49666335
  10. ForgettingTransformer:SoftmaxAttention with… Papers with Code: https://paperswithcode.co/paper/2503.02130
  11. In-Context Learning withTransformers:Softmax… OpenReview: https://openreview.net/forum?id=lfxIASyLxB
  12. Transformersare RNNs: Fast Autoregressive… - YouTube: https://www.youtube.com/watch?v=hAooAOFRsYc
  13. UniAttn: Reducing Inference CostsviaSoftmax… Papers with Code: https://paperswithcode.co/paper/2502.00439
  14. GitHub - zhixuan-lin/forgetting-transformer: https://github.com/zhixuan-lin/forgetting-transformer
  15. SoftmaxFunction in Deep Learning: https://lzwjava.com/notes/2025-06-03-softmax-en
AD
이 글을 얼마나 이해했나요?
Q1. 소프트맥스(Softmax) 함수의 주된 역할은 무엇인가요?
  • 데이터를 압축한다
  • 숫자들을 확률 분포로 변환한다
  • 데이터를 삭제한다
소프트맥스는 다양한 값들을 확률 분포로 변환하여 AI가 최종적인 판단을 내릴 수 있게 돕는 함수입니다 [출처: Softmaxfunction - Wikipedia](https://en.wikipedia.org/wiki/Softmax_function).
Q2. SOFT(Softmax-free Transformer) 모델은 무엇으로 기존의 점곱(dot-product) 유사도를 대체하나요?
  • 가우시안 커널 함수
  • 리니어 함수
  • 로그 함수
SOFT 모델은 소프트맥스 없이 자기 주의(self-attention)를 구현하기 위해 가우시안 커널 함수를 사용합니다 [출처: SOFT: Softmax-free Transformer with Linear Complexity](https://proceedings.neurips.cc/paper/2021/file/b1d10e7bafa4421218a51b1e1f1b0ba2-Paper.pdf).
Q3. '포겟 게이트(forget gate)'를 도입한 모델의 이름은 무엇인가요?
  • ForgettingTransformer(FoX)
  • Softmax-free Transformer
  • UniAttn
ForgettingTransformer(FoX)는 주의 점수에 포겟 게이트 메커니즘을 통합하여 더 나은 문맥 처리를 가능하게 합니다 [출처: ForgettingTransformer:SoftmaxAttention with a Forget Gate](https://arxiv.org/abs/2503.02130).
    AI가 더 똑똑해지고 빨라진다? '소프트맥스' 우...
    0:00