AI 能够‘理解’语境的秘诀，其起点是什么？

想象一下。假设你需要翻译一本厚厚的外语书。过去的 AI 就像是用手逐字抄写一样，必须从头到尾按顺序阅读和解释句子。因此，它经常会忘记长句前面的内容，或者只要语境稍显复杂，就容易写出别扭的句子。

那么，如果 AI 能一眼展开书的一页，并同时把握单词与单词之间像丝线般缠绕的关系，会怎样呢？今天我们所熟悉的生成式 AI 聊天机器人的智能，正是始于这种“一眼把握的技术”。2017 年，八位研究人员发表的论文《Attention Is All You Need》彻底改变了 AI 处理语言的方式 [[Source 6], [Source 10]]。

这为何重要？

作为我们每天使用的聊天机器人和生成式 AI 基础的“GPT (Generative Pre-trained Transformer，预训练生成式变压器)”模型，正如其名，是基于“Transformer”结构构建的 [[Source 1]]。

在这一论文出现之前，AI 处理句子的技术依赖于循环神经网络 (RNN，一种按顺序处理数据的神经网络) 或卷积神经网络 (CNN，主要用于图像处理等领域的神经网络) 等复杂结构 [[Source 2], [Source 13]]。然而，这些方式存在一个致命的局限性，即必须按顺序逐个处理数据 [[Source 9], [Source 13]]。

Transformer 的出现是改变自然语言处理 (NLP) 领域格局的“游戏规则改变者”。得益于此，AI 能够更快地学习更长的文章，并理解像人类一样自然的语境 [[Source 4], [Source 9]]。现在大家在与 AI 对话时感受到的那种“聪明”，毫不夸张地说，正是归功于 2017 年发表的这篇论文中所确立的架构 [[Source 10]]。

简单理解：“关注”的力量

我们用一个非常简单的比喻来解释 Transformer 的核心——“注意力 (Attention)”机制吧。想象一下我们与人交谈时的场景。当对方说出一句长句时，我们并不会以相同的比重去听每一个字。我们会更集中于对话的核心“关键词”。

例如，在“昨天小明吃了苹果，非常好吃”这句话中，为了理解“非常好吃”这个表达指的是什么，AI 必须对“苹果”这个词给予“关注 (Attention)”。注意力机制通过数学方法计算出句子中的单词之间存在什么样的关系，以及在解释特定单词时，其他哪些单词是重要的线索 [[Source 6]]。

简而言之，如果说过去的 AI 是一种用放大镜逐一查看写着一行行文字的句子的方式，那么 Transformer 则是一种先像拍照一样将整个句子一次性拍下来，然后在重要的部分涂上荧光笔以明确关系的方式 [[Source 9], [Source 13]]。得益于此，它才得以不遗漏前后语境，实现更立体的理解。

现状：进展到什么程度了？

如今的大型语言模型 (LLM) 已将这种 Transformer 结构扩展到巨大规模，并不断发展 [[Source 4]]。AI 不再仅仅擅长翻译，现在还能执行总结文章、编写代码，甚至分析复杂的学术论文等工作 [[Source 13]]。

但是，注意力机制并非“万能”。与人类智能具备超越单词之间概率关系的复杂推理能力不同，AI 仍然优化于在数据中寻找模式 [[Source 14]]。此外，模型需要处理的数据越多，所需的计算资源就会急剧增加，这也是我们未来需要解决的课题 [[Source 13]]。

未来会怎样？

研究人员正在继续进行各种尝试，以提高 Transformer 的效率。最近，出现了诸如“@skills”这样将安装和使用过程更加系统化分离的新开放协议，旨在最大限度地提高 AI 系统的效率 [[Source 11]]。未来的 AI 将朝着以更少的数据学习得更聪明，并更准确地把握我们复杂需求的方向进化。打个比方，现在的 AI 不仅是在掌握涂荧光笔的技术，更在成为根据阅读目的自主总结和整理书籍内容的“主动读者”。

MindTickleBytes AI 记者的视角

正如“Attention (注意力)”这个名字一样，这项研究教给了机器“应该关注什么”。而这种关注的对象现在已经超越了机器内部，延伸到了我们人类的交流方式中。试图理解人类语言的努力，最终正在将 AI 塑造成为我们身边最聪明的助手。正如我们关注 AI 一样，AI 也开始深深地理解我们了。

参考资料

1. Generative pre-trained transformer - Wikipedia
2. Abstract page for arXiv paper 1706.03762:AttentionIsAllYouNeed
3. AttentionIsAllYouHave- Relational Infrastructure
4. Attentionisallyouneed to understand - by Jon Evans
5. AttentionisAllYouNeed
6. AttentionisAllYouNeed
7. AttentionIsAllYouNeed — full paper - Marovi AI
8. [论文评论] Attention Is All You Need - Velog

9. [Attention Is All You Need 完全解说 - 改变 AI 的论文

   Parseur®](https://parseur.com/ko/blog/attention-is-all-you-need)

10. 从 Transformer 到 BERT：Attention Is All You Need 与 BERT 论文 …
11. [2608.12610] @skills: Attention is all you have - arXiv.org
12. Attention Is All You Need - Transformer 论文完全分析

13. [仅靠注意力机制就足够了 — 计算机科学韩语分析

    Caramel…](https://caramellab.org/papers/computer-science/attention-is-all-you-need-778328)

14. [Is ‘Attention’ the Essence of Intelligence?

    Quanta Magazine](https://www.quantamagazine.org/is-attention-the-essence-of-intelligence-20261012/)