八人小组：一篇论文的诞生

时间拨回到2016年12月的一个下午，Noam Shazeer在Google山景城园区一栋不起眼的办公楼里，把一张打印出来的训练损失曲线钉在了工位隔板上。曲线在过去三周里下降了0.3个BLEU点。三周。对于一个翻译模型来说，这种幅度的提升在2014年可能只需要三天就能达到。Shazeer盯着那条几乎水平的线条，用红笔在旁边的空白处写了两个字母：RNN。

这不是一个技术标注。这是一个判断。

循环神经网络正在耗尽。不是某个具体的变体——不是LSTM，不是GRU，不是加了注意力机制的增强版——而是整个范式。顺序计算的本质决定了，当句子长度翻倍，训练时间不是翻倍，而是因为梯度必须穿过更长的反向传播路径，导致每一步的计算成本都在隐性增长。更致命的是，这种架构在GPU上的表现近乎荒谬：一块设计用来同时执行数千个线程的芯片，被迫一个时间步一个时间步地串行处理，大部分计算单元在等待上一个词处理完成。谷歌于2016年将其翻译服务转换为神经机器翻译，但就像在Transformer架构出现之前的语言模型一样，它仍由seq2seq深度LSTM网络完成。

Shazeer不是Google Brain团队里第一个意识到这个问题的人。但在那个冬天，他是最焦躁的一个。

同一栋楼的另一层，Ashish Vaswani正在做一件看起来毫无关联的事：重读信息检索的经典教材。这位刚从南加州大学博士毕业加入Google Research的研究员，在机器翻译领域还算新人，但他的数学直觉在团队里已经有了口碑。Vaswani关注的问题比Shazeer更基础：注意力机制为什么只能作为RNN的插件存在？如果从第一性原理出发，序列建模真正需要的是什么？

答案藏在一个看似不相关的领域里。数据库系统在处理大规模查询时，从不按照数据存储的顺序逐条检索——它们使用索引，让查询直接匹配最相关的键，然后返回对应的值。这个过程不需要顺序。它是并行的。Vaswani在草稿纸上写下三个词：Query，Key，Value。这是信息检索的基本框架。查询向量用来匹配键向量，匹配程度决定值向量的权重。但如果把这个框架映射到语言上呢？

句子中的每个词同时扮演三个角色：它作为查询去检索其他词，作为键被其他词检索，作为值向那些匹配到它的词提供信息。这意味着每个词可以一次性与句中所有其他词建立关系。不需要等待。不需要顺序。

这个想法太大胆了。大胆到Vaswani自己都没有立即着手实现。他只是把草稿纸折好，放进了抽屉里。

转折发生在2017年1月。Łukasz Kaiser，一位在机器翻译领域深耕多年的Google Research研究员，正式启动了一个名为“Tensor2Tensor”的内部项目。项目目标听起来平淡无奇：用统一的张量运算框架简化不同序列建模任务的开发流程。但Kaiser的野心不止于此。他想要的不是一个更好的工具，而是一个能容纳全新架构的实验平台。

Kaiser开始组建团队。他先找到了Shazeer——Google Brain最资深的序列建模专家之一，对RNN的局限有着切肤之痛。然后是Vaswani——那个抽屉里藏着Query-Key-Value草稿纸的年轻人。接着是Niki Parmar，一位同样刚从学术界加入Google的研究员，带着对既有框架的怀疑和新鲜的视角。Jakob Uszkoreit，Google的工程老兵，对代码实现有着近乎偏执的严谨。Llion Jones，优化器设计方面的专家。Aidan Gomez，当时还是实习生，但已经在序列建模上展现出了超越同龄人的数学直觉。Illia Polosukhin，负责协调项目与Google更大的研究议程之间的对接。

八个人。背景各异，技能互补。他们被聚集在同一个项目下，但Kaiser没有给他们分配具体的任务。他只是说：Tensor2Tensor需要一个新的序列建模模块，你们来设计。

第一次正式讨论在1月中旬的一个下午进行。会议室不大，白板占据了整面墙。Kaiser站在白板前，画了一个标准的序列到序列模型结构：编码器、解码器、中间的上下文向量。然后他做了一件事，改变了讨论的方向。他在编码器和解码器之间画了一个粗重的箭头，在旁边写了一个词：“Attention？”

问号是他刻意加上的。

房间里安静了几秒钟。在场的每个人都明白这个问号的分量。过去三年，注意力机制一直是作为RNN的辅助工具存在的——它帮助解码器在生成每个词时“回顾”编码器的相关位置，但底层仍然是顺序计算。现在Kaiser在问：如果反过来呢？如果注意力不是辅助，而是核心？

Shazeer第一个走向白板。他没有直接回答Kaiser的问题，而是从Vaswani那里听过的一个想法突然被激活了。他在“Attention”旁边写下三个词：“Query，Key，Value。”然后他开始解释。句子中的每个词生成三个向量：查询向量表示“我在找什么”，键向量表示“我能提供什么”，值向量表示“我的实际内容是什么”。当模型处理某个位置时，该位置的查询向量与所有位置的键向量计算匹配度，匹配度高的位置，其值向量就被赋予更大的权重。这就是自注意力——让句子中的每个词直接与所有其他词建立关系。

“不再有顺序，”Shazeer说，“整个句子一次性输入。”

Uszkoreit立即抓住了工程含义。“计算复杂度是多少？如果句子有n个词，每个词都要和所有其他词计算注意力——”

“O(n²)，”Vaswani接话。他一直在旁边安静地听着，这时站了起来。“但n²次计算可以并行执行。n步顺序计算不能。”他走到白板前，在三个词下面画了一个矩阵乘法符号。“如果我们把整个注意力计算表示成矩阵乘法——查询矩阵乘以键矩阵的转置——那么一块GPU可以在一个时钟周期内完成大量运算。实际耗时可能比RNN更短。”

这是一个关键转折。Vaswani指出的不是计算量的问题，而是计算范式的问题。O(n²）的并行计算对比O(n）的顺序计算，就像一千个工人同时砌墙对比一个工人依次砌砖。前者的总劳动量更大，但完成时间呈指数级缩短。在深度学习的工程实践中，完成时间才是真正的硬约束——它决定了研究者能多快看到实验结果，能迭代多少个想法，能把多少算力转化为有意义的进展。

讨论持续了整个下午。到结束时，白板上已经写满了公式和箭头。一个基本架构的轮廓浮现出来：用自注意力替代循环结构，用位置编码标记词的顺序，用多头机制让模型在不同的表示子空间里同时学习不同类型的依赖关系。

但轮廓只是轮廓。接下来的两周，Shazeer和Vaswani开始构建第一个原型。他们选择了英德翻译作为测试任务，使用WMT 2014标准基准。这个选择不是随意的。德语的语法结构——动词后置、可分前缀、复杂嵌套从句——天然要求模型处理长距离依赖。英语中“I will have been waiting”在德语中可能变成“Ich werde gewartet haben”，动词成分分散在句子的两端。如果新架构能在这里胜出，就能在最苛刻的条件下证明自己。

第一个版本令人失望。模型确实捕捉到了一些长距离关系——德语动词后置的处理比RNN更准确——但在短距离的语法一致性上频繁出错。冠词和名词的性数格配合，在输出中经常不匹配。

问题出在哪里？Parmar在做注意力权重可视化时发现了线索。模型的所有注意力都在关注相似的东西——主要是相邻词和句末的动词。这意味着注意力能力没有被充分利用。如果自注意力是模型的“眼睛”，那么当前版本就像一个人用多只眼睛盯着同一个点。

“我们需要让不同的注意力关注不同的东西，”Parmar在第二次讨论中说。

这就是“多头注意力”的灵感来源。Shazeer提议将注意力机制拆分成多个并行的“头”，每个头处理词向量的不同子空间。一个头可以专注于句法关系——比如冠词和名词的一致性；另一个头可以追踪语义关系——比如动词与其论元的关联；还有一个头可以学习指代关系——比如代词指向的先行词。工程上的精妙之处在于，每个头的维度变小了，总计算量不变。八个注意力头，每个处理64维的子空间，总计算量与一个512维的单头注意力完全相同。但模型的能力显著提升——它现在可以在不同的表示子空间里同时学习不同类型的依赖关系。

第二个问题来自位置信息。纯粹的注意力机制没有内置的顺序感知能力。对模型来说，“猫追老鼠”和“老鼠追猫”看起来是完全相同的词集合。RNN通过顺序计算天然编码了位置，但Transformer一次性输入整个句子，位置信息丢失了。

Vaswani和Parmar提出了位置编码方案：在输入词向量上叠加一个代表位置的信号。他们测试了两个版本：学习式位置嵌入——让模型自己学习位置表示；固定正弦波编码——使用不同频率的正弦和余弦函数生成位置信号。学习式嵌入效果稍好，但有一个致命缺陷：它无法泛化到训练时未见过的更长序列。如果训练数据中最长句子是100个词，模型就不知道如何处理101个词的位置。固定正弦波编码没有这个问题——因为正弦波是连续函数，可以外推到任意长度。他们选择了正弦波编码。这个工程决策后来被证明具有深远影响：它为Transformer处理超长文本的能力埋下了伏笔，也为后续的GPT等模型在推理时处理超长提示词提供了理论基础。

第三个版本，也就是加入多头注意力和位置编码后的版本，在1月底提交到内部基准测试系统。结果在第二天早上出来了。BLEU分数——衡量翻译质量的核心指标——达到28.4。这个数字本身可能不直观，但对比数据说明一切：当时Google翻译生产环境中使用的最强RNN加注意力集成系统，在相同数据集上的BLEU分数是27.3。而训练时间，Transformer用了3.5天，RNN系统用了11天。

更少的计算量，更好的翻译质量。这不是渐进的改进，这是一个新范式的性能跨越。

Shazeer收到结果邮件时，据他后来在公开演讲中回忆，他重新运行了一遍测试脚本，确认没有代码错误。然后他把邮件转发给团队，正文只有一句话：“It works.”

接下来的两个月，团队进入了一种高强度迭代状态。Kaiser和Polosukhin负责协调计算资源。Google的内部GPU集群是当时世界上最强大的算力设施之一，但即便如此，每次完整训练仍然需要数天时间。八个人开始了一种非正式的轮班制：有人负责白天监控训练，有人负责晚上提交新任务，确保集群利用率最大化。这不是管理层的要求，而是他们自己的选择——实验结果的速度决定了想法迭代的速度。

Parmar和Vaswani在改进位置编码的同时，开始系统性地测试不同配置：层数、头数、隐藏维度、学习率调度策略。每一次实验都消耗宝贵的计算资源，每一个决策都需要在性能和效率之间权衡。他们最终确定的Transformer-base配置——6层编码器、6层解码器、8个注意力头、512维隐藏层——成为后来无数衍生工作的标准起点。

Uszkoreit和Jones在解决训练稳定性问题。深度网络的一个老毛病是梯度消失或爆炸：在反向传播中，梯度信号经过多层传递后会衰减到接近零或膨胀到无穷大，导致训练无法收敛。他们引入了两个技术：残差连接——让每一层的输入直接加到输出上，为梯度提供一条“高速公路”；层归一化——在每一层内部对激活值进行标准化，防止数值范围漂移。

这两个技术都不是他们发明的。残差连接来自微软亚洲研究院2015年的ResNet论文，层归一化来自2016年的一篇独立工作。但Uszkoreit和Jones将它们组合进自注意力架构的方式，形成了一个极其稳定的训练框架。在后续实验中，Transformer可以在不调整学习率的情况下，从几百个词的短句扩展到上千个词的长文，训练曲线始终保持平滑。

Gomez在做消融实验——系统性地移除模型的各个组件，观察性能变化。这是深度学习研究中最枯燥但也最重要的工作：它回答的不是“什么有效”，而是“为什么有效”。他的实验记录本上写满了一行行数字。移除位置编码：BLEU下降4.2点。移除多头注意力，改用单头：下降3.8点。移除残差连接：训练无法收敛。移除层归一化：梯度爆炸。将头数从8减到4：下降1.1点。将头数从8增到16：提升0.3点，但计算时间增加35%。

这些数字构成了新架构的证据链。它们证明了每一个组件都有其功能，每一个设计选择都有其代价。更重要的是，它们为后续研究提供了优化方向：既然8头配置存在冗余，那么能否设计更高效的注意力模式？既然残差连接如此关键，那么能否在层间建立更丰富的连接？

Shazeer则沉浸在了一个更激进的想法里。如果自注意力能处理句子内词与词的关系，为什么不能处理层与层之间的关系？他开始设计一种跨层注意力机制，让高层直接访问低层的表示。这个想法最终没有进入论文的最终版本——实验表明它带来的提升微乎其微，而计算成本显著增加——但它预示了后来在GPT等模型中广泛使用的“跳跃连接”思想，以及更晚近的“层次化注意力”研究。

2017年3月，团队决定将模型正式命名为“Transformer”。这个名字是Vaswani提议的。选择它有多重考量：在字面上，它指代模型“转换”输入序列为输出序列的功能；在工程上，它暗示了架构的核心操作——将一种表示转换为另一种表示；在修辞上，它简洁有力，容易记忆，与当时充斥论文标题的“循环”“卷积”“长短期记忆”等术语形成鲜明对比。这是一个带有宣言意味的命名。它说的是：我们不再修补旧范式，我们要转换它。

命名确定后，论文写作进入冲刺阶段。八位作者在Google Docs上协作撰写，每个人负责自己最熟悉的部分。Vaswani负责架构总览和数学推导——他写的那一段关于自注意力计算复杂度的分析，后来被引用了数千次。Shazeer负责注意力机制的描述，尤其是“查询-键-值”框架的动机。Parmar负责位置编码和训练细节，Uszkoreit和Jones负责优化和正则化策略，Gomez负责实验设计和结果分析，Kaiser和Polosukhin负责相关工作比较和讨论。

写作过程本身就是一场持续的辩论。每一段文字都被反复推敲，每一个声明都需要实验数据支撑。最激烈的争论集中在论文的“相关工作”部分：应该如何处理那些同样在探索非循环架构的同期工作？2016年到2017年初，放弃RNN的想法并非Google团队独有。Facebook AI Research在研究卷积序列模型，用多层卷积替代循环结构。DeepMind在探索可微分神经计算机，试图给神经网络加上外部记忆。学术界的注意力机制变体也在不断涌现。

Vaswani坚持要在论文中诚实地呈现这些工作，并明确指出Transformer与它们的区别——不是渐进式改进，而是一次彻底的架构断裂。“如果我们不划清界限，”Vaswani在一次讨论中说，“读者会认为这只是又一个注意力变体。但这不是变体。这是替代。”这个决定后来被证明是明智的。它让论文的贡献边界异常清晰，避免了后续的优先权争议。当2018年BERT和GPT相继出现时，所有人都能清楚地追溯它们的技术源头。

另一个争论焦点是论文标题。Kaiser最初提议的标题是“基于自注意力的序列转换网络”，技术准确但毫无记忆点。Vaswani在深夜改稿时随手写下“Attention Is All You Need”，然后发到了共享文档里。第二天早上，团队的反应两极分化。Shazeer喜欢它的直接和大胆——它传达的信息是，注意力机制不是辅助工具，它是全部所需。Uszkoreit担心它过于口号化，不够学术。Parmar指出，从技术上讲，Transformer并不完全是“只有注意力”——还有残差连接、层归一化和前馈网络。但这个标题留了下来。它成为深度学习历史上最著名的论文标题之一，不仅因为它好记，更因为它准确捕捉了Transformer的本质：这是一个关于注意力的激进实验，它证明了注意力本身足以支撑整个序列建模架构。

2017年4月，论文初稿完成。团队通过内部渠道提交到了当年的神经信息处理系统大会（NeurIPS），这是机器学习领域最顶级的学术会议之一。审稿过程出奇地顺利。三位审稿人都给出了正面评价。一位审稿人写道：“这篇论文提出的方法极其简洁，但效果惊人。它有可能成为序列建模的新标准。”另一位审稿人提出了关于长序列计算复杂度的质疑，团队在终稿中补充了更详细的分析——当序列长度n小于隐藏维度d时，自注意力的实际计算速度超过RNN。对于典型翻译任务，n很少超过100，而d通常是512或1024，因此Transformer在实践中更快。

2017年6月，论文被正式接收。但真正改变历史的时刻发生在论文公开之后。Google在论文被接收的同时，开源了Tensor2Tensor代码库，其中包含了Transformer的完整实现。这个决定并非自动做出的。在Google内部，关于是否开源核心模型一直存在争论。支持的一方认为，开源能加速研究进展，建立学术声誉，吸引人才。反对的一方担心技术泄露，削弱竞争优势。

Kaiser和Polosukhin在管理层会议上做了关键辩护。他们的论点不是理想主义的“研究应该公开”，而是务实的竞争分析：Transformer的价值不在于代码本身，而在于Google在大规模训练和部署上的工程能力。开源代码不会损害核心优势——因为真正的壁垒是Google的内部计算基础设施、海量训练数据和多年积累的部署经验——但会确立Transformer作为标准架构的地位，让整个领域围绕Google的技术路线运转。

这个判断被批准了。其后果远比任何人预想的更深远。代码开源后的三个月内，GitHub上出现了数十个基于Transformer的衍生项目。有人将它应用于文本分类，有人用它做问答系统，有人开始探索它在翻译之外的可能性。哈佛大学、斯坦福大学、麻省理工学院的实验室迅速跟进，将Transformer纳入研究生课程。一个学术生态系统在几周内形成。

但最关键的响应来自两个方向。一个在Google内部，另一个在Google之外。

内部响应来自Google的搜索和广告团队。他们看到了Transformer在理解查询意图和匹配广告上的潜力，开始探索将这一架构整合进生产系统。这意味着Transformer不会停留在论文和代码层面，而是将获得真实世界的检验——数十亿次查询、数十种语言、毫秒级的延迟要求。这种规模的部署需求，反过来又会推动架构的优化和改进。

外部响应来自一家名为OpenAI的小公司。当时OpenAI还是一家非营利研究机构，正在探索通用人工智能的可能性。他们的技术团队在论文发表后立即开始复现Transformer，并在内部邮件列表中展开了热烈讨论。一位名叫Alec Radford的研究员对Transformer的生成潜力特别感兴趣——如果模型能并行处理输入，为什么不能并行生成输出？这个问题的答案将在一年后以GPT的名字出现。但那是后面的故事了。在2017年夏天，Transformer团队还不知道他们的工作将引发怎样的连锁反应。他们只知道一件事：循环网络的时代结束了。

2017年8月，论文在NeurIPS会议上正式宣讲。Vaswani站在讲台上，面对满屋子的研究者，用一句话总结了他们的工作：“我们提出了一种新的简单网络架构，Transformer，完全基于注意力机制，彻底摒弃了循环和卷积。”宣讲结束后的问答环节，有人问了一个问题：“这种架构的局限性是什么？”

Vaswani的回答诚实而审慎：“对于非常长的序列，比如整本书的长度，O(n²）的复杂度仍然是一个挑战。另外，在训练数据较少的情况下，Transformer可能不如带有强归纳偏置的循环模型。”这两个局限性后来都成为后续研究的关键方向。第一个问题催生了稀疏注意力和长程Transformer变体；第二个问题则为预训练范式的兴起埋下了伏笔——如果数据少时表现不佳，那就用海量数据来训练。

2017年10月，Google翻译团队做出了一个决定：在生产环境中测试Transformer。初步实验在英法和英德翻译上进行，结果令人振奋——不仅翻译质量提升，推理延迟也显著下降。因为Transformer可以并行处理整个输入句子，不需要像RNN那样逐步计算，这对面向用户的翻译服务至关重要。但全面部署还面临工程挑战。现有的翻译服务基础设施是为RNN优化的，切换到Transformer需要重写大量代码，重新设计推理管线，重新训练所有语言对模型。这是一项巨大的工程投入，需要说服多个层级的决策者。

在这个关键时刻，Google翻译的技术负责人做出了判断：Transformer不是另一个渐进式改进，而是一个平台级的升级。他批准了一个专项工程团队，目标是在2018年底前完成主要语言对的切换。这意味着每天处理数十亿次翻译请求的Google翻译服务，将在一年内彻底抛弃循环神经网络，转向一个诞生仅两年的新架构。这是深度学习历史上最快的技术栈更替之一，也是“范式税”开始征收的第一个明确信号。

所谓范式税，是指一种技术范式在确立主导地位后，因其固有的局限性而向整个产业生态征收的隐性成本。在Transformer之前，循环神经网络就是那个征收范式税的范式——所有做序列建模的团队都必须接受顺序计算带来的效率瓶颈，所有优化都只能在这个框架内进行。现在，Transformer开始反过来对循环网络征收范式税：继续使用RNN的团队将不得不解释为什么选择了一个更慢、效果更差的架构。这不是道德评判，而是工程现实。当一种新范式的性能优势足够大，继续使用旧范式的机会成本就会高到难以承受。Transformer在2017年确立的，正是这样一种优势。

但范式税的征收者很快也会成为被征收者。Transformer的O(n²）复杂度、对大规模训练数据的依赖、推理时的显存占用——这些特征将在未来几年成为整个产业必须承担的成本。只是在这个时间点上，还没有人意识到这一点。

2017年12月，八位作者中的大多数人在Google山景城园区的一家餐厅里吃了一顿庆祝晚餐。论文已经被引用数百次，开源代码库获得了数千颗星标，来自学术界和工业界的合作邀请纷至沓来。但在餐桌上，他们讨论的不是已经取得的成就，而是尚未解决的问题。

Shazeer在餐巾纸上画了一张图：Transformer的编码器和解码器堆叠在一起，旁边标注了几个问号。他在想，如果只保留解码器会怎样？如果让模型单向生成文本，而不是双向理解文本，会得到什么？

这个想法后来导向了GPT系列的基础架构。Vaswani在讨论注意力机制的数学本质。自注意力的核心操作是让每个词查询所有其他词。但如果把“所有其他词”这个约束去掉，让模型学会自己决定关注范围，会不会更有效？这个方向后来发展为稀疏注意力。

Parmar和Uszkoreit在争论训练效率的问题。Transformer训练快是因为并行化，但模型本身并不小——标准的Transformer-base配置有6500万参数，Transformer-large有2.13亿参数。如果把模型规模再扩大一个数量级，现有的训练基础设施还能承受吗？这个担忧后来被证明极具前瞻性：GPT-3的1750亿参数让训练成本飙升到数百万美元。

Gomez在思考一个更根本的问题：Transformer学到了什么？注意力权重的可视化显示，不同头确实在关注不同的语言特征，但这些特征是人类可理解的吗？模型内部是否形成了一种不同于人类语法的“机器语法”？这个问题至今仍未完全解答。

这顿晚餐没有留下正式记录，但参与者后来在不同场合都提到过它。不是因为有什么戏剧性的事件发生，而是因为它代表了一个特殊的时刻：八个人在创造历史之后，没有停留在庆祝里，而是已经开始思考下一个问题了。这种不安于现状的焦躁，正是Transformer团队最核心的特质。他们推翻了一个范式，但并没有因此成为新范式的守成者。

2018年1月，论文《Attention Is All You Need》正式发表于NeurIPS会议论文集。在论文的致谢部分，作者们感谢了Google Brain和Google Research提供的计算资源和研究环境。这是一段标准的学术致谢，但它掩盖了一个更深层的事实：Transformer的诞生，不仅仅是一个技术突破，也是一次组织实验的成功。Google Brain和Google Research的联合团队模式，让基础研究和工程实现之间的界限变得模糊。Vaswani和Parmar带来了最新的学术思想，Shazeer和Uszkoreit提供了深厚的工程经验，Kaiser和Polosukhin负责资源协调和战略对接。这种混合编队让团队既能提出激进的理论构想，又能快速将其落地为可工作的代码。

更重要的是，Google的内部文化在那个时期仍然保留着对长期研究的容忍。Tensor2Tensor项目不是产品导向的，没有明确的商业指标，没有上线时间表。团队被允许花几个月时间探索一个可能失败的方向。这种研究自由，在Google后来的历史上逐渐收缩，但在2017年，它仍然存在。Transformer的诞生，就是这种自由最后的也是最辉煌的产物之一。

论文发表的同一个月，一篇来自艾伦人工智能研究所的论文出现在了arXiv上。论文标题是《Deep Contextualized Word Representations》，提出了一种名为ELMo的模型。ELMo使用双向LSTM来生成上下文相关的词表示，在多个自然语言处理基准测试上取得了显著提升。这篇论文没有使用Transformer，但它提出了一个将彻底改变领域的问题：如果词表示的质量取决于上下文，那么为什么不直接用一个在大规模文本上预训练的模型来生成所有任务的词表示？

预训练的思想正在暗流涌动。它将在接下来的十二个月里与Transformer架构结合，催生BERT和GPT，彻底重塑自然语言处理的版图。而这一切的起点，就是八个人在Google山景城办公室里做出的那个决定：抛弃循环，只留注意力。

2018年春天，Transformer论文的引用量突破了一千次。在深度学习领域，这通常意味着一篇论文已经确立了经典地位。但真正的冲击还没有到来。八位作者中的一些人已经开始新的项目，另一些人则留在Google继续改进架构。他们都知道自己做了一件重要的工作，但没有人预见到，这个架构将在五年内驱动数千亿美元的产业变革，重新定义人类与机器的交互方式，并引发一场关于智能本质的全球辩论。

在那个春天，Transformer还只是一个优秀的翻译模型架构。它安静地待在论文和代码库里，等待下一个团队发现它的真正潜力。而那个团队，正在加拿大多伦多的一间办公室里，盯着预训练模型的损失曲线，准备迈出下一步。