算力即权力：GPU集群与隐性资本

把时钟拨回2017年第三季度，这份文件被标记为“内部——资本支出预测”，夹在一叠关于服务器采购和办公空间租赁的财务材料中间。它没有标题，只是一张电子表格，列出了未来十二个月的计算资源需求预估。当OpenAI的首席财务官在旧金山福尔瑟姆街的办公室里打开这份文件时，他的目光停在了一行数字上：训练一个大规模Transformer模型所需的GPU集群预估成本，按当时的市场价格计算，大约相当于公司A轮融资总额的四分之三。

这不是一个技术问题。这是一个生存问题。把时间拨回2014年，当大多数自然语言处理研究者还在为LSTM的梯度消失问题绞尽脑汁时，硅谷的几家巨头已经开始了一场平行竞赛。这场竞赛的参与者不是算法科学家，而是基础设施工程师、数据中心架构师和采购总监。他们的战场不在arXiv上，而在服务器机架之间。他们的武器不是数学公式，而是采购订单。

要理解这场竞赛为何发生，需要先理解一个被算法史叙事长期遮蔽的事实：训练一个能够在现实世界中发挥作用的大型语言模型，从来就不只是算法问题。它是一个资本密集型的工业项目，其物理基础是成排的GPU、兆瓦级的电力消耗和七位数美元的设备折旧。这个事实在2014年之前几乎不存在。原因很简单：在那之前，语言模型还不够大。---

2009年是一个值得标记的转折点。在那一年，统计语言模型在大多数语言处理任务中全面超越了符号语言模型。这不是因为统计方法突然变聪明了，而是因为它们终于有了足够的数据可以消化。互联网积累的文本量在那一年跨过了一个临界点，使得基于n-gram和平滑技术的统计模型能够从数据的规模中提取出符号系统无法企及的规律性。

但2009年的统计模型有一个致命的天花板：它们的参数规模受限于单台机器的内存。一个典型的n-gram模型即使训练在数十亿词上，其有效参数也不过数千万——因为每一个n-gram的出现概率都需要被显式存储和计数。这决定了模型的能力上限：它们可以记住常见的短语组合，但无法捕捉长距离的语义依赖，更无法进行任何形式的推理。

2012年，神经网络在图像处理领域确立了统治地位。AlexNet在ImageNet竞赛上的表现不仅是一个学术里程碑，也是一个产业信号。它证明了当神经网络被喂以足够的数据和算力时，它们能够做到传统方法无法企及的事情。

消息传到自然语言处理领域时，引发了两种反应：一种是兴奋，另一种是焦虑。兴奋很好理解。如果卷积神经网络能在图像上做到这一点，那么循环神经网络——或者某种更好的架构——也许能在文本上复制这种成功。

焦虑则来自一个更实际的问题：图像可以用GPU高效处理，因为卷积操作天然适合并行计算。但语言是序列，RNN的每一步计算都依赖于前一步的结果，这使它很难在GPU上获得同样的加速。

2014年到2016年间，机器翻译领域的研究者们围绕着这个问题展开了一场艰苦的拉锯战。他们给LSTM加上注意力机制，试图缓解长距离依赖问题；他们设计了各种技巧来加速序列计算；他们不断推高模型的参数规模，但每次扩大都伴随着训练时间的指数增长。

一个使用当时最先进的LSTM架构训练的机器翻译模型，即使在8块GPU上并行，也需要数周时间才能收敛。这不是一个可持续的路径。

但大多数人当时没有意识到的是，这个瓶颈不仅限制了模型性能，它还在塑造整个领域的权力结构。

因为如果训练一个像样的模型需要数十块GPU和数周时间，那么只有那些拥有大规模GPU集群的机构才能参与这场竞赛。学术实验室的博士生们——他们曾经是自然语言处理领域的主力军——正在被系统性地排除在游戏之外。而这个趋势，在2017年之前就已经开始了。

斯坦福大学的一间地下室里，2015年冬天，一个博士生正在等待他的实验结束。他训练的序列到序列模型已经在两台机器上跑了十一天，GPU的温度稳定在七十八摄氏度，风扇的噪音大得像一台吸尘器。他算了一下，这个实验如果失败——失败的概率大约是百分之五十——他需要再等两周才能开始下一轮，因为他所在实验室的GPU队列里还排着另外三个人的任务。

在谷歌位于俄勒冈州达尔斯的数据中心里，一台由数百块GPU组成的集群正在同时运行十二个机器翻译实验。每个实验占用六十四块GPU，训练时间不超过三天。如果其中一个实验失败，工程师们会在下一次迭代中调整超参数，几乎没有等待成本。

这个对比不是关于天赋或努力。它是关于算力基础设施的鸿沟，而这个鸿沟正在变成研究能力的鸿沟。

谷歌的工程师们很清楚这一点。2016年，当谷歌大脑团队将神经机器翻译系统部署到谷歌翻译产品中时，他们不仅是在庆祝一个技术里程碑。

他们还在向整个行业传递一个信息：大规模神经网络的训练和部署，现在是我们的核心竞争力。但这个信息有一个隐含的推论，而这个推论在2017年之前即使谷歌内部也没有完全理解：如果训练大规模神经网络的能力取决于GPU集群的规模，那么GPU集群的规模就不仅仅是技术基础设施——它是战略资产。谁控制了GPU产能，谁就控制了下一波人工智能创新的准入资格。这个结论听起来像是夸大其词，直到你开始追踪GPU市场的实际动态。

NVIDIA总部位于圣克拉拉，一栋三角形的玻璃建筑，看起来很像是任何一家硅谷科技公司的办公室。但在2016年之后，这家公司越来越不像一家普通的半导体制造商，而更像一个帝国时代的军火商。

要理解NVIDIA的崛起，需要回到2006年。那一年，NVIDIA做出了一个当时看起来不太起眼的决定：推出CUDA。CUDA是一个并行计算平台和编程模型，它允许开发者使用C语言直接在GPU上编写程序，而无需通过图形API。在此之前，GPU的唯一用途是渲染图形。在此之后，它们变成了通用并行处理器。

这个决定最初并没有引起太多关注。NVIDIA的股价在2006年到2008年间甚至下跌了——CUDA的研发投入巨大，而它的早期用户只限于少数科学计算和金融建模领域。在2009年，当统计语言模型还在用CPU做n-gram计数时，没有自然语言处理研究者会想到自己有一天需要CUDA。但2012年的AlexNet改变了一切。

AlexNet是用CUDA训练的，更准确地说，它是在两块GTX 580显卡上训练的——这两块显卡在市面上售价不到五百美元，但它们提供的计算能力相当于一个小型CPU集群。当AlexNet的论文在NIPS上发表后，计算机视觉领域的研究者们蜂拥到NVIDIA的网站上，下载CUDA工具包。NVIDIA的管理层在看到AlexNet的那一刻，就意识到一个巨大的市场正在打开。

但他们同样清楚，消费级显卡不是为深度学习设计的。GTX系列显卡的显存太小，无法容纳大型神经网络；它们的双精度浮点性能有限，不适合需要高精度的科学计算；它们的散热和功耗设计假设的是游戏场景，而不是数据中心里连续数周的高强度计算。

这就是为什么在2016年4月，NVIDIA发布了P100计算卡。P100是第一款专门为深度学习工作负载设计的数据中心GPU，它使用16纳米工艺，集成了153亿个晶体管，拥有3584个CUDA核心和16GB的高带宽显存。更重要的是，它支持NVLink——一种高速GPU互连技术，允许八块GPU以接近线性的效率协同工作。

P100的发布时机堪称完美。它恰好赶在Transformer架构出现之前，谷歌大脑团队正在大规模训练序列模型，而OpenAI刚刚成立，正在组建自己的计算基础设施。对于这些机构来说，P100不是一种选择，而是一种必需品。但P100的真正威力要到2017年V100发布后才完全显现。

2017年6月，NVIDIA发布了V100计算卡。它的技术规格即使按今天的标准来看也令人印象深刻：21亿个晶体管，5120个CUDA核心，32GB显存，以及专用的Tensor Core——一种专门用于矩阵乘法的硬件单元，可以大幅加速深度学习中最核心的运算。V100的价格是每块约一万美元。

但这只是单块GPU的价格。要训练一个真正的大型语言模型，你需要的不只是一块V100，而是上百块——甚至上千块。

问题在于，上千块V100并不只是意味着上千万美元的采购成本。它还意味着你需要一个能够容纳它们的数据中心，而这个数据中心需要专门的电力供应、冷却系统和网络基础设施。一台满载V100的服务器机架功耗可以超过十千瓦，这意味着一百台这样的服务器需要的电力供应相当于一个小型工厂。散热则需要液冷或高密度空调系统，而这又进一步推高了基础设施成本。

当谷歌、微软和后来的OpenAI开始大规模采购V100时，一个残酷的产业现实开始浮现：训练一个真正意义上的大型语言模型，其门槛并非算法智慧，而是千万美元级的硬件投入。这个门槛在2017年还只是一个隐约的成本核算问题。

到了2018年，当BERT证明预训练-微调范式的威力后，它变成了一个明确的竞争壁垒。---

微软雷德蒙德园区的Azure数据中心里，2018年初，一个工程师团队正在执行一项任务，代号“脑波计划”，目标是构建一个能够支持大规模深度学习训练和推理的FPGA集群。

但到了2018年春天，这个项目的方向发生了转变。原因很简单：V100的性能优势是如此明显，以至于FPGA在大多数深度学习任务上的性价比劣势变得不可忽视。微软的采购部门在2018年第二季度下达了一份大额订单，目标是获得数千块V100 GPU。这份订单的总价值超过三千万美元，而这只是微软在接下来两年里将在GPU上花费的很小一部分。

但即使有钱，也不一定能买到足够的GPU。2017年底到2018年初，V100的供应出现了严重短缺。NVIDIA的台积电代工产能无法满足激增的需求，而每一家科技巨头都在试图锁定尽可能多的订单。GPU变成了一种稀缺资源，就像石油或稀土——控制供应的一方掌握着定价权。NVIDIA在这段时间里展现了惊人的商业纪律。

它没有为了短期利润而过度扩张产能，而是精确地控制供应，维持高利润率，同时将最稀缺的高端型号优先分配给最核心的战略客户。这些战略客户包括谷歌、微软、亚马逊——以及一家名为OpenAI的小型非营利组织。OpenAI最初并不是NVIDIA的优先客户。2015年成立时，OpenAI的GPU集群规模在整个行业里只能算中等水平。但到了2018年，当OpenAI开始训练GPT-2时，它的算力需求已经接近谷歌级别的规模。而OpenAI之所以能够获得足够的V100，是因为它背后有一个关键的支持者：微软。---

微软与OpenAI的合作关系在2018年还处于早期阶段。双方在2016年达成的初步协议中，微软为OpenAI提供了Azure云计算的访问权限，作为交换，OpenAI的研究成果将被用于改进微软的AI产品。

但到了2018年，当GPT-2的训练需求变得明确时，这个合作进入了一个新的阶段。微软在Azure数据中心里为OpenAI预留了一个专用区域，配备了一千块V100 GPU。这个数字在2018年几乎是不可想象的——除了谷歌，全球没有几家机构拥有如此规模的GPU集群。而谷歌的集群规模更大，而且当时它正在训练自己的BERT模型。

这两件事之间的关联不是偶然的。当2018年10月BERT论文发布时，谷歌不仅展示了一个新的模型架构，更展示了一种新的研究范式：大规模预训练需要大规模算力，而大规模算力只有少数机构能够负担。BERT的模型变体BERT-Large拥有3.4亿参数，在16块TPU上训练了四天——这个计算量在当时的学术实验室是无法达到的。

但谷歌的TPU策略有一个关键的不同。与NVIDIA的GPU不同，TPU是谷歌自主研发的专用芯片，不对外销售。这意味着谷歌可以在不依赖NVIDIA供应链的情况下，自主控制算力扩张的节奏。这给了谷歌一个独特的战略优势：它既是算法竞赛的参与者，又是算力基础设施的自主掌控者。然而，这个优势也有代价。因为TPU是谷歌的专有技术，使用TPU训练的模型与其他机构共享的难度更大，这在一定程度上限制了谷歌在开源社区中的影响力。相比之下，使用NVIDIA GPU训练的模型可以更容易地在不同机构之间迁移和复现，这让NVIDIA的GPU生态成为整个行业的事实标准。这个标准在2018年之后变得越来越根深蒂固。---

为什么Transformer架构能在2017年之后迅速碾压RNN？表面上的答案是注意力机制更擅长捕捉长距离依赖，但更深层的答案在于硬件。

Transformer的核心操作是自注意力——一个矩阵乘法密集型的计算过程。在自注意力层中，每个位置的表示通过对所有位置的表示进行加权求和来计算，而这个加权求和本质上是一个矩阵乘法。矩阵乘法是GPU最擅长的操作，因为它的每个元素都可以并行计算。相比之下，RNN的每一步计算都依赖于前一步的隐状态，这使得它无法被有效并行化。即使是最先进的LSTM实现，在GPU上的利用率也远低于Transformer。

用V100训练一个Transformer模型，可以达到硬件理论峰值的百分之六十到七十。而用同样的V100训练一个LSTM模型，利用率通常只有百分之三十以下。这意味着同样的硬件投入，Transformer能产生的有效计算量是LSTM的两倍以上。

或者反过来说：要达到同样的模型性能，Transformer需要的硬件成本只有LSTM的一半。这不是一个学术问题。当训练一个模型需要花费一百万美元的GPU算力时，节省一半成本意味着你可以用同样的预算训练两个模型，或者将模型规模扩大一倍。在一个大规模模型性能与规模正相关的世界里，这直接转化为竞争优势。

这个效率差距在2018年之前还没有被充分理解。但当BERT和GPT-2先后证明了基于Transformer的预训练模型的能力后，它变得清晰无误：Transformer不仅是更好的NLP架构，它是专门为GPU并行计算而生的架构。选择Transformer，就是选择将硬件算力近乎线性地转化为模型性能。

这形成了一个正反馈循环，而且这个循环是赢家通吃的。拥有最多GPU的机构能够训练最大、最强的模型。最强大的模型吸引顶尖人才，因为研究者希望在最大规模上验证自己的理论。顶尖人才又吸引更多资本，因为投资者看到了技术护城河。

更多资本意味着更多GPU，而更多GPU意味着更大的模型。这个循环在2018年还只是刚刚开始加速，但它的方向已经明确。当多伦多的研究者们在2018年秋天读到BERT论文时，他们不仅看到了一个更好的模型。他们看到了一个正在关闭的门——算法创新的窗口正在缩小，而算力竞赛的大门正在打开。---

回到旧金山福尔瑟姆街的那间办公室里，2017年第三季度的财务文件还在桌面上。OpenAI的首席财务官解释了那张电子表格的含义：训练一个足够大的Transformer模型，在可接受的时间内完成，需要至少一千块V100 GPU。采购成本加上基础设施改造，总计大约一千二百万美元。年度运营成本——电力、冷却、维护、折旧——大约四百万美元。

这个数字在今天看来并不惊人。截至2024年，训练一个前沿大模型的成本已经攀升到数亿美元。但在2017年，一千二百万美元对于一个非营利研究机构来说是一笔天文数字。OpenAI的A轮融资总额为十亿美元，而那笔钱需要覆盖多年的运营、研发、薪酬和基础设施。

会议桌上的讨论转向了一个根本问题：OpenAI存在的理由是什么？如果训练大型模型的门槛如此之高，如果只有谷歌和微软这样的巨头能够负担，那么OpenAI的非营利使命——确保人工智能惠及全人类——是否还有意义？或者说，这恰恰是OpenAI必须存在的原因？

因为如果连OpenAI都无法跨越这个门槛，那么AI的进步将完全由少数几家科技巨头垄断。这个讨论没有在那次会议上得出结论。但它在接下来的几个月里反复出现，直到2018年夏天，OpenAI做出了一个决定：它必须扩大算力规模，即使这意味着改变原有的组织结构和融资模式。这个决定后来被证明是OpenAI历史上最重要的转折点之一。它导致了从非营利向“有限营利”的转型，导致了与微软的深度合作，最终导致了GPT-3和ChatGPT的诞生。但在2017年那个秋天，当那份电子表格被放在桌面上时，没有人知道这些后果。他们只知道一件事：在这个游戏里，没有算力，就没有发言权。同一时间，在谷歌位于山景城的总部里，一个不同的讨论正在进行。谷歌大脑团队正在评估BERT的下一步方向。BERT-Large已经证明了预训练-微调范式的威力，但团队内部有一个争论：是应该继续扩大BERT的规模，还是应该探索新的架构方向？

扩大规模的支持者认为，从BERT-Large的3.4亿参数扩张到数十亿参数，将带来性能的进一步飞跃。反对者则指出，BERT-Large在16块TPU上训练了四天，如果将参数规模扩大十倍，训练时间将延长到数周，成本将攀升到数百万美元。在谷歌内部，这需要VP级别的批准，而VP们需要看到明确的投资回报。这个争论在谷歌内部持续了数月，直到2019年初才有了结论。而在此期间，另一家机构正在不受这种约束地前进——OpenAI，在微软的算力支持下，已经开始训练GPT-2，一个拥有15亿参数的模型，在超过一千块GPU上运行了数周。---

NVIDIA的V100在2018年之后继续统治着深度学习市场。它的继任者A100在2020年发布，采用了更先进的7纳米工艺，集成了542亿个晶体管，拥有6912个CUDA核心和40GB显存。A100的性能是V100的六倍，价格也水涨船高。但需求依然远超供应，因为到了2020年，训练大型语言模型已经不只是谷歌和OpenAI的事情了——Meta、微软、亚马逊，以及中国的百度、阿里巴巴和华为，都在竞相采购A100。NVIDIA从游戏显卡制造商到人工智能军火商的转型，至此完成。它的股价在2016年到2021年间上涨了超过十倍，市值超过英特尔和AMD的总和。而这一切的根基，是2006年推出的CUDA，以及2012年AlexNet带来的深度学习浪潮。但NVIDIA的成功也暴露了这场智力竞赛的脆弱性。整个行业的基础设施——训练大型语言模型所需的GPU集群——几乎全部依赖一家公司的产品。

如果NVIDIA的供应中断，或者定价策略变化，或者下一代产品延期，整个前沿研究都将受到影响。谷歌的TPU是一个替代方案，但它不对市场开放。其他替代方案——AMD的GPU、英特尔的Habana加速器、Graphcore的IPU——要么性能不足，要么生态不成熟。到了2020年，训练一个真正前沿的大型语言模型，实际上只有两种选择：NVIDIA的GPU，或者谷歌的TPU。而后者只对谷歌自己开放。这种垄断局面的后果在2021年之后开始显现。当OpenAI、微软、Meta和其他机构试图将模型规模从数十亿参数推向数千亿参数时，他们发现算力成本的增长速度超过了摩尔定律。训练一个千亿参数模型需要的GPU数量，以及相应的电力消耗和散热需求，正在逼近物理极限。但这还不是最深层的问题。最深层的问题是：这种算力门槛正在不可逆转地改变人工智能研究的性质。当训练一个模型需要上千万美元时，研究的试错成本变得极高。

你无法像在斯坦福的地下室里那样，用十一轮实验来验证一个想法。你只能在第一轮实验之前就精确计算成本，然后说服投资者或管理层相信这个实验值得投资。这改变了研究的激励机制。那些能够明确证明短期回报的项目更容易获得资金，而那些探索性的、高风险的基础研究则被边缘化。算法的创新越来越被算力的扩张所替代，因为扩张算力是确定性的——你花更多的钱，就能得到更大的模型——而算法创新是不确定性的。2012年之后，神经网络在图像处理领域占据主导地位，同样的模式在语言领域也将重演。2009年，统计语言模型因为能够消化大型数据集而胜出。2017年之后，基于Transformer的预训练模型因为能够消化更大的数据集和更多的算力而胜出。每一次胜利，都是规模对技巧的胜利，都是资本密集对劳动密集的胜利。到了2018年底，当BERT和GPT-2展示了预训练模型的威力后，这个趋势已经不可逆转。剩下的问题不是要不要扩大算力，而是谁有足够的算力留下来。

一份2018年12月的内部备忘录在谷歌研究部门内部流传。备忘录的作者是一位资深研究科学家，他在其中指出，语言学知识和精巧的模型设计正在被大规模计算所取代，这不是因为精巧的设计没有价值，而是因为算力的边际收益目前远高于算法的边际收益。但这意味着，只有那些能够动员数千块GPU的机构，才能参与定义下一个十年的自然语言处理。备忘录的结尾提出了一个尖锐的问题：如果这个趋势持续下去，谷歌是否应该将研究资源从算法创新转向算力扩张？还是说，谷歌应该通过开放TPU云服务，让更多研究者获得大规模算力，从而维持一个健康的学术生态？这个问题直到2019年也没有得到明确回答。但备忘录本身的存在，说明了一件事：在2018年底，算力已经从技术资源演变为权力工具。控制算力，就是控制谁能参与这场智力竞赛，设定什么问题是值得研究的，定义什么成功是值得追求的。这不是一个技术问题。这是一个关于知识生产秩序的问题。

而它的答案，将在接下来的几年里，由OpenAI、谷歌、微软和NVIDIA之间的博弈塑造出来。在旧金山福尔瑟姆街的那间办公室里，电子表格被合上，财务文件被收进文件夹。OpenAI的管理团队走向门口，每个人都知道，他们刚刚做出的决定——扩大算力，不惜代价——将改变这家机构的命运。他们不知道的是，这个决定也将改变整个行业的命运，并最终定义二十一世纪二十年代的技术竞争格局。一份采购订单在一周后发出。目标：NVIDIA，一千块V100。交货时间：三个月后。价格：一千二百万美元。这笔交易的收据后来被装裱起来，挂在OpenAI新办公室的墙上。它下面写着一行字：“算力即权力。”