AI的心脏，‘注意力（Attention）’并非万能？新的挑战者出现

想象一下，当我们与朋友交谈时，并不会以同样的权重去听对方说的每一个词，而是会“集中（Attention，注意力）”在关键词上，从而理解语境。2017年，Google Brain团队发表了一篇名为Attention Is All You Need的革命性论文，将这一原理应用到了人工智能中。该论文介绍的“Transformer”结构，成为了我们今天每天都在使用的ChatGPT、Claude和Gemini等AI的大脑。[Source 5, Source 9, Source 18]

然而，最近AI学界捕捉到了一个有趣的动向。一些新的模型开始提出一个根本性的问题：“‘注意力’真的是AI的唯一正解吗？”

为什么这很重要？

Transformer确实使AI得到了飞跃式的发展，但也存在难以解决的根本性局限。最典型的就是句子越长，计算量呈指数级增长的问题。如果我们能找到一种与Transformer完全不同的、处理信息效率更高的新结构，AI就能以比现在少得多的资源进行更聪明的思考。这意味着AI的使用成本将降低，我们也能够在每天使用的智能手机等日常设备中运行更强大的AI。

轻松理解：是线团，还是流？

现有的Transformer为了把握词与词之间的关系，使用了“注意力机制”。简单比喻的话，这就像是在句子这张地图上，连接重要目的地（单词）的无数条线。如果句子变长，这团线会变得极其复杂，导致处理困难。这就像当许多人同时交谈时，决定先听谁的话需要耗费巨大的能量。[Source 13]

相比之下，最近提出的“格拉斯曼流（Grassmann flows）”方法，其切入点完全不同。[Source 3] 如果说注意力是逐一计较词与词之间关系的“连接艺术”，那么格拉斯曼流则是将信息视为几何空间（流形，Manifold）上的一个点，并追踪这些信息如何在空间上移动。[Source 4]

简单来说，与其复杂地连接线，不如寻找信息点勾勒出平滑曲线并流动的“路径”。通过这种方式，即使不逐一比较单词，也能更高效地把握整体脉络。[Source 3, Source 4]

现状：Transformer的独占鳌头与新的挑战

Transformer依然是AI的标准。因为其并行处理数据的能力非常出色，展示出了比过去顺序处理方式的RNN（循环神经网络）快得多、强大得多的性能。[Source 10, Source 13] 研究人员并没有止步于此，通过增加“FlashAttention（闪存注意力）”或“混合专家模型（Mixture of Experts）”等各种优化技术，不断突破Transformer的局限。[Source 11]

尽管如此，Transformer的垄断体制下出现了“无注意力模型”这一新选择，其意义极其重大。虽然格拉斯曼流等模型尚处于起步阶段，但它们展示了在序列建模领域打破原有框架的新可能性。[Source 3]

未来会怎样？

未来的AI模型将超越单纯的“学习多少数据”，向“寻找更高效结构”的方向发展。如果目前研究的这些几何方法能够达到商用水平，AI将能够以更低的功耗更快、更准确地理解数据。我们今天所称的“注意力”技术，未来或许会成为装饰AI技术史册的一项古典技术。

技术的发展从不驻足。跨越“注意力”这堵巨大的墙，寻找另一条高效之路的科学家的努力，正在引领我们走向更惊人的未来。

参考资料

1. Abstract page for arXiv paper 1706.03762:AttentionIsAllYouNeed

2. [AttentionIsNotWhatYouNeed

   alphaXiv](https://www.alphaxiv.org/overview/2512.19428v1)

3. [AttentionisNotWhatYouNeed

   Aelias](https://aelias.dev/reading-log/attention-is-not-what-you-need/)

4. Attentionisn’t allyouneed: The wanderer’s algorithm
5. AttentionIsNOTAll That WENeed
6. AttentionIsAllYouNeed— на русском — IRI Lab
7. AttentionIsAllYouNeed：關於Transformer你所需要知道的關鍵論文
8. AttentionisAllYouNeed: статья, изменившая AI — AI-Uchi
9. 3 Lessons from the paper “AttentionIsAllYouNeed” as a Beginner
10. AttentionisAllYouNeed