随着能够跳过或优化人工智能 Transformer 模型中长期存在的运算瓶颈——“Softmax”的技术出现，一个速度更快、能够处理海量信息的 AI 时代正在开启。
想象一下。你正在一个巨大的图书馆里寻找特定信息。但是，如果图书管理员必须把所有的书都翻开看完并整理好之后才给你答案，会怎样？随着书的数量增加，管理员给出答案的时间将会呈指数级增长。我们目前使用的 AI 模型，特别是“Transformer”（掌握句子单词之间关系的 AI 核心结构），正在面临的问题也与此类似。
最近，在人工智能领域，为了解决这一长期的“瓶颈现象”，跳过或优化过去被认为理所当然的“Softmax”运算的创新尝试正变得非常活跃。
为什么这很重要？ (Why It Matters)
Transformer 是目前几乎所有现代 AI 的基石。但是，在这个结构中，Softmax 函数就像是处理信息时必须缴纳的一种“通行税”。Softmax 是一个必不可少的函数，它将各种数据值转换为概率分布，帮助 AI 做出最终的选择或判断 来源: Softmaxfunction - Wikipedia。
问题在于，AI 所处理的信息量最近呈爆炸式增长。处理的数据越多，Softmax 运算就越成为吞噬大量内存、减慢整体运算速度的罪魁祸首。如果能够省略或优化这一运算，AI 就能够以更少的能源消耗、更快速地处理更长的上下文。这意味着在不久的将来，我们可以更舒适地使用更聪明、反应更快的 AI 助手。
轻松理解 (The Explainer)
为了理解 Softmax，我们举个简单的例子。设想一下我们在购物中心挑选“最心仪商品”的过程。对比了无数商品的价格、质量、设计后，为每件商品标记出它成为我心仪之选的概率，这个过程就是 Softmax 运算。给所有选项打分，并将其加总转换为 100% 的概率分布。
但如果 AI 模型必须阅读一本长篇小说呢？逐一比较所有单词并精确计算概率是一件非常艰巨的任务。
因此，研究人员最近找到了一些妙招：
- 静态收缩 (Static Contraction) 技术：就像提前铺好路一样，在运算过程中提前切断不必要的计算路径，并替换为高效的公式。这大大降低了 AI 模型在长上下文中遭遇内存不足 (OOM, Out-Of-Memory) 的风险 来源: GitHub - PJHkorea/jax-softmax-bypass, 来源: ShowHN:BypassingTransformerSoftmaxviaStaticContraction。
- 去除 Softmax (Softmax-free)：名为“SOFT”的模型使用相对简单的数学函数“高斯核 (Gaussian kernel)”代替了现有的复杂运算。就像为了计算概率，不再每次都使用复杂的工程计算器，而是选择了更直观的捷径 来源: SOFT: Softmax-free Transformer with Linear Complexity, 来源: [2110.11945] SOFT: Softmax-free Transformer with Linear Complexity。
-
遗忘技术 (Forgetting Mechanism)：‘ForgettingTransformer(FoX)’ 利用了能适度遗忘无用信息的“遗忘门 (forget gate)”。简单来说，就像我们只记住重要信息，自然地遗忘其余部分一样，它通过有选择地调节需要注意的分数，使上下文处理变得更加轻松 来源: ForgettingTransformer:SoftmaxAttention with a Forget Gate, [来源: ForgettingTransformer:SoftmaxAttention with… Papers with Code](https://paperswithcode.co/paper/2503.02130), 来源: GitHub - zhixuan-lin/forgetting-transformer。
目前状况 (Where We Stand)
| 目前，这些技术正以从实验室阶段的 PoC（概念验证，Proof of Concept）到学术建议阶段等多种形式迅速发展。但现在断言已经完全替代了 Softmax 还为时尚早。虽然明确证明了它比现有的标准方式更高效，但仍有一些部分需要进一步验证，以应用于所有通用 AI 模型。尽管如此，像“UniAttn”这样在将性能下降降至最低的同时，显著降低运算成本的尝试一直在取得成果，提升了人们的期望值 [来源: UniAttn: Reducing Inference CostsviaSoftmax… | Papers with Code](https://paperswithcode.co/paper/2502.00439)。 |
未来展望 (What’s Next)
未来的 AI 技术竞争将不仅仅在于制造“更大的模型”，而在于谁能制造出“更高效的模型”。特别是为了在我们日常使用的智能手机等运算资源受到物理限制的设备上运行更强大的 AI，这些 Softmax 绕过技术将成为必不可少的钥匙。如果今天的这些研究能够结出硕果，我们将能在日常生活中遇见能够完美记住更长对话记录、并以更快速度回答问题的聪明 AI。
参考资料
- GitHub - PJHkorea/jax-softmax-bypass: https://github.com/PJHkorea/jax-softmax-bypass
- Vertex-Softmax: Tight Transformer Verification via Exact Softmax Optimization∗: https://arxiv.org/pdf/2605.10974
- SimA: Simple Softmax-free Attention for Vision Transformers: https://openaccess.thecvf.com/content/WACV2024/papers/Koohpayegani_SimA_Simple_Softmax-Free_Attention_for_Vision_Transformers_WACV_2024_paper.pdf
- SOFT: Softmax-free Transformer with Linear Complexity: https://proceedings.neurips.cc/paper/2021/file/b1d10e7bafa4421218a51b1e1f1b0ba2-Paper.pdf
- [2110.11945] SOFT: Softmax-free Transformer with Linear Complexity: https://arxiv.org/abs/2110.11945
-
Differential Transformer Hacker News: https://news.ycombinator.com/item?id=41776324 - Softmaxfunction - Wikipedia: https://en.wikipedia.org/wiki/Softmax_function
- ForgettingTransformer:SoftmaxAttention with a Forget Gate: https://arxiv.org/abs/2503.02130
- ShowHN:BypassingTransformerSoftmaxviaStaticContraction: https://news.ycombinator.com/item?id=49666335
-
ForgettingTransformer:SoftmaxAttention with… Papers with Code: https://paperswithcode.co/paper/2503.02130 -
In-Context Learning withTransformers:Softmax… OpenReview: https://openreview.net/forum?id=lfxIASyLxB - Transformersare RNNs: Fast Autoregressive… - YouTube: https://www.youtube.com/watch?v=hAooAOFRsYc
-
UniAttn: Reducing Inference CostsviaSoftmax… Papers with Code: https://paperswithcode.co/paper/2502.00439 - GitHub - zhixuan-lin/forgetting-transformer: https://github.com/zhixuan-lin/forgetting-transformer
- SoftmaxFunction in Deep Learning: https://lzwjava.com/notes/2025-06-03-softmax-en
- 压缩数据
- 将数值转换为概率分布
- 删除数据
- 高斯核函数
- 线性函数
- 对数函数
- ForgettingTransformer(FoX)
- Softmax-free Transformer
- UniAttn