第 14 章

论断:大模型产业的重组

英伟达2023年第二季度财报里有一个数字,藏在第27页的脚注里,字体比正文小一号,但分量足以压弯任何一张办公桌:数据中心业务收入103.2亿美元,同比增长171%,环比增长141%。这份135页的PDF文件于8月23日下午四点准时出现在公司投资者关系页面上,分析师们早已在屏幕前等待。他们等的不是游戏显卡的销售数据——那个曾经定义英伟达的业务已经退居次席——而是数据中心业务的增长斜率。两年前,这个季度的数据中心收入还只有23.7亿美元。两年时间,一条近乎垂直的上升曲线,驱动力的名字写在脚注里:生成式AI和大型语言模型的训练与推理。

这份财报不只是英伟达的成绩单。它是一份产业诊断书,宣告了大模型竞争重心的转移已经完成。在2023年夏天,算力不再只是技术基础设施。它变成了战略资源本身。要理解这场转移的起点,需要把时间拨回2022年10月7日。

美国商务部工业和安全局(BIS)在这一天发布了一项临时最终规则,编号87 FR 62186,针对先进计算芯片和半导体制造设备实施新的出口管制。规则文本的核心直白得近乎粗暴:禁止向中国大陆出口峰值算力和互连带宽超过特定阈值的芯片。英伟达的A100 GPU,当时全球AI训练的主力芯片,互连带宽恰好卡在600GB/s的线上,赫然列入管制清单。H100——英伟达在2022年GTC大会上刚刚发布、计划2023年量产的下一代GPU——互连带宽高达900GB/s,远远超标。

消息公布后的第一个交易日,英伟达股价暴跌7.7%。市场看到的是失去中国市场。但更深层的变化正在发生:美国政府用一份联邦公报文件,把GPU从商品变成了地缘政治筹码。

为什么是2022年10月?往前推两个月,拜登签署了《芯片与科学法案》,拨款527亿美元扶持美国本土半导体制造。往前推一个月,商务部新增了对先进半导体制造设备的出口管制。

往前推一年,OpenAI的GPT-3已经通过API大规模商用,全球科技公司都在抢购A100搭建大模型训练集群。华盛顿的政策制定者清楚地看到,AI芯片正在成为下一代计算的基础设施,就像20世纪70年代的CPU、90年代的互联网路由器。控制AI芯片的流向,就等于控制了谁能参与下一轮技术革命。

BIS的管制逻辑建立在一个精确的参数指标上:芯片的双向互连带宽不得超过600GB/s,峰值算力不得超过一个用TOPS和芯片面积综合计算出的阈值。这个阈值的设计并非随意——它精确瞄准了当时最先进的AI训练芯片,同时又为消费级产品留出了空间。一部iPhone里的A系列芯片、一块游戏显卡里的RTX 4090,都不受此限制。管制只针对数据中心级别的AI加速器,也就是训练大模型必须使用的那类芯片。

英伟达的应对快得惊人。BIS规则发布不到两个月,2022年11月,英伟达在提交给SEC的8-K文件中披露,公司已经开发出一款替代产品,命名为A800。

这款芯片基于A100的同一款GA100核心,CUDA核心数没变,单芯片浮点运算能力没变,张量核心的矩阵乘法吞吐量没变。唯一的变化是双向互连带宽从600GB/s降至400GB/s。三个月后,2023年3月,英伟达又推出了H800,基于H100的GH100核心,互连带宽从900GB/s降至450GB/s。

从纸面参数看,A800和H800的“降级”集中在一个维度上。但这个维度在大模型训练中恰恰是命门。当训练一个千亿参数的模型时,单张GPU装不下整个模型。模型参数分布在成百上千张芯片上,每一次训练迭代都需要芯片之间高速交换梯度数据。互连带宽决定了数据在芯片间流动的速度。把带宽从600GB/s砍到400GB/s,等于在芯片间的高速公路上设置了限速标志。单卡算力没降,但集群规模越大,通信瓶颈越严重。对于百卡级别的微调任务,A800和H800的体验与A100和H100几乎没有差别。

对于千卡、万卡级别的超大规模训练集群——前沿大模型研发的核心场景——效率损失会随规模放大。英伟达选择互连带宽作为降级维度,是精密计算的结果。BIS的管制规则明确提到了互连带宽阈值,降低这个参数是合规的最直接路径。但保留单卡算力意味着A800和H800在中低端市场仍然具有竞争力。英伟达的策略可以概括为:保住中小规模训练和推理部署的市场,让出最前沿的算力高地。

这个策略的商业效果立竿见影。2023财年第四季度(截至2023年1月),英伟达数据中心业务收入36.2亿美元,同比增长11%,增速明显放缓。但到了2024财年第一季度(截至2023年4月),数据中心收入跳涨到42.8亿美元。第二季度直接翻倍到103.2亿美元。

为什么需求会出现如此剧烈的反弹?因为大西洋两岸的科技巨头正在展开一场史无前例的算力军备竞赛,而中国市场只是全球版图的一部分。自2020年以来,软件和硬件的进步大大降低了成本,以至于在2023年,训练一个120亿参数的LLM的计算成本为72,300 A100-GPU小时,而在2020年,训练一个15亿参数的LLM的成本在80,000美元到1,600,000美元之间。自2020年以来,大量资金投入到越来越大的模型中。

英伟达CFO科莱特·克雷斯在财报电话会议上给出了一个耐人寻味的表述:中国市场的收入占比从之前的20%至25%下降到了个位数,但全球其他地区的需求远远弥补了这一缺口。微软在2023年上半年向英伟达下单了数十万张H100,用于扩建Azure的AI基础设施,支撑OpenAI的GPT-4训练和推理。Meta在2023年宣布采购数万张H100,扎克伯格在内部沟通中明确要求团队确保AI基础设施投资足以支持下一代模型。Google虽然有自己的TPU,但也在大规模采购H100,因为其云客户——从初创公司到大型企业——都在要求提供基于英伟达GPU的AI算力。亚马逊AWS在2023年re:Invent大会上宣布部署基于H100的EC2 P5实例。甲骨文、CoreWeave、Lambda Labs等专业云服务商也在疯狂下单。为什么是英伟达?这个问题在2023年有一个标准答案,只有三个字母:CUDA。

从2006年推出至今,CUDA已经积累了近二十年的软件栈——驱动程序、编译器、调试器、性能分析工具、数百个优化过的数学库、数十万个开源项目。每一篇关于Transformer训练优化的论文,每一份大模型训练的工程指南,都默认使用CUDA。当开发者写下PyTorch里的一行代码来调用GPU时,调用的不只是硬件,而是整个CUDA软件生态。AMD的ROCm平台在2023年仍然存在兼容性问题,Google的TPU只能在Google Cloud上使用,而英伟达的CUDA是跨云、跨数据中心的通用标准。这种生态锁定的强度,比任何单项技术参数都更难逾越。

但CUDA的优势并非不可挑战。为什么开源社区和初创公司不能联合起来,建立一个跨硬件的开放AI计算栈?2023年确实出现了这样的努力。PyTorch 2.0引入了新的编译功能,试图用编译器技术自动优化模型以适应不同硬件后端。

OpenAI开发了Triton,一个开源的GPU编程语言和编译器,目标是让开发者写出一次代码就能在多种加速器上高效运行。但这些努力在2023年仍处于早期阶段。现实是残酷的:如果你是一家AI初创公司的CTO,你的工程师团队只有两个月时间搭建训练集群,你只会选择英伟达。不是因为它最好,而是因为它风险最低。任何替代方案都意味着额外的工程时间、额外的调试成本、额外的招聘难度——而这些时间成本,在算力军备竞赛中本身就是致命的。

这就回到了BIS管制带来的更深层后果。A800和H800虽然合法出口到了中国,但互连带宽的削减使得万卡级别的大规模集群效率受损。对于中国的科技巨头和AI初创公司而言,这意味着在同样的算力预算下训练出同等规模的模型,需要更多的时间、更多的电力、更多的工程优化。时间本身就是竞争变量。当OpenAI用一万张H100训练GPT-4用了三个月,而竞争对手用A800集群可能需要五个月时,两个月的差距就足以决定产品上市的先机。

这不是性能的差距,是时间的差距。而在技术竞赛中,时间差往往比性能差更致命。

2023年10月17日,BIS发布了更新的出口管制规则,编号88 FR 73425。这份长达450页的文件进一步收紧了限制。新规则不仅更新了芯片参数阈值,还引入了“性能密度”这一新指标,试图堵住通过降低单一参数来规避管制的路径。管制范围也扩大了,将更多国家和地区纳入许可要求。英伟达在随后提交的8-K文件中警告,新规则可能影响某些产品的出口,包括此前设计为符合2022年10月规则的产品。A800和H800的合规性面临重新审查。英伟达股价再次应声下跌。

为什么美国政府在2023年10月进一步收紧管制?因为2022年10月的规则存在一个华盛顿无法容忍的漏洞。互连带宽的阈值设定让英伟达可以通过降低带宽来合规,但单卡算力未受限。中国的AI公司仍然可以通过购买更多A800和H800来弥补集群效率的损失——用数量换质量。

更重要的是,2023年开源模型的爆发让政策制定者意识到一个关键事实:模型权重本身无法被管制。当Meta开源了LLaMA,当Mistral以Apache 2.0许可证发布了Mixtral模型,当开源社区的模型性能迅速追赶GPT-3.5,华盛顿明白了一件事:模型架构和训练方法已经无法封锁,能封锁的只有硅。代码可以绕过防火墙,权重可以在暗网上传播,论文可以在arXiv上自由下载。但一张H100是物理实体,必须经过海关,必须接受出口许可审查。在数字世界和物理世界的交界处,地缘政治找到了干预的支点。自2023年以来,开放权重的大语言模型已日益成为人工智能领域的重要组成部分,有助于更广泛地参与人工智能开发,并提高模型评估的透明度。

这就触及了产业重组的核心逻辑。在2023年之前,大模型产业的竞争壁垒建立在三个层面:算法创新、数据积累和算力规模。Transformer架构、RLHF对齐技术、指令微调方法——这些算法突破一度被视为护城河。但开源运动在2023年将算法层迅速民主化。

数据层的优势也在被侵蚀:虽然高质量专有数据仍然稀缺,但Common Crawl、The Pile等开源数据集已经足以训练出性能不俗的基础模型。当算法和数据都不再是坚固的壁垒,算力就成为最后的、也是最坚固的护城河。

算力作为护城河有三个特征,每一个都比算法层面的优势更难以复制。第一,它是物理的。你不能像复制代码一样复制一张H100。每一张GPU都经过台积电的先进制程制造、CoWoS封装、海力士或美光的HBM显存集成。整个供应链的产能是有限的,受制于晶圆厂的洁净室面积、封装线的吞吐速率、高带宽内存的良品率。

第二,它是资本密集的。一张H100在2023年的市场价约为3万到4万美元,一个千卡集群的硬件成本就接近4000万美元,还不算数据中心、电力和冷却的费用。这个级别的资本开支,只有科技巨头和获得巨额融资的初创公司才能承担。第三,它的分配正在被地缘政治重新定义。

谁能买到H100、能买多少、能买到什么规格,不再只是商业谈判的结果,而是政府许可的结果。一张出口许可证的分量,在2023年超过了一份商业合同的约束力。

这三个特征共同导致了一个后果:大模型产业的竞争,从智力密集转向了资本和资源密集。这不是说算法创新不再重要——恰恰相反,在算力受限的情况下,算法效率变得更加关键。但算法效率的提升是渐进的,而算力规模的扩张可以是指数级的。当你的竞争对手用一万张H100训练模型,而你只有一千张A800时,你的算法效率需要高出十倍才能弥补差距。这个数学关系不依赖任何假设,它是硬约束。

2023年的资本市场迅速理解了这一点。AI初创公司的融资规模急剧膨胀,但资金的用途发生了结构性的变化。2021年的AI融资,钱主要用于招聘研究科学家和工程师。2023年的AI融资,钱主要用于购买GPU。

Inflection AI在2023年6月融资13亿美元,其CEO穆斯塔法·苏莱曼明确表示,大部分资金将用于建设一个包含2.2万张H100的训练集群。Anthropic从Google和Spark Capital融资数亿美元后,第一件事就是扩大计算基础设施。Character.AI、Cohere、Adept等公司都在做同样的事情。融资买卡从一句调侃变成了真实的商业逻辑,而这个逻辑的残酷性在于:它把AI创业的门槛从智力门槛变成了资本门槛。这个逻辑也重塑了云服务市场的格局。传统上,AWS、Azure和Google Cloud是独立于芯片供应商的中立平台。但在2023年,英伟达自己推出了DGX Cloud服务,直接向企业客户提供基于H100的AI训练和推理算力。微软Azure成为英伟达最大的单一客户,采购的H100数量超过任何其他公司,但这些GPU很大一部分是转租给OpenAI使用的。

CoreWeave,一家原本默默无闻的以太坊挖矿公司,在2023年转型为GPU云服务商,凭借其早期囤积的H100配额成为AI初创公司的热门选择,估值从2022年的20亿美元飙升至2023年底的70亿美元。算力本身变成了云服务中最稀缺的商品,谁能拿到英伟达的GPU配额,谁就能在市场上获得定价权。这不是软件服务业的逻辑,这是采掘业的逻辑——谁控制了矿脉,谁就控制了产业链。

英伟达在这场重组中处于什么位置?它从一家芯片供应商变成了整个AI产业的中枢。2023年,英伟达的数据中心业务收入超过了其传统的游戏业务,成为公司最大的收入来源。毛利率从2022年的65%左右攀升至2023年第三季度的74%。这个利润率水平通常只出现在拥有强大网络效应的软件公司身上,而不是硬件制造商。

但英伟达的护城河确实具有网络效应的特征:CUDA生态锁定了开发者,开发者又锁定了采购决策者,采购量的增加又让英伟达有更多资金投入下一代芯片研发,进一步拉大技术差距。

这是一个自我强化的循环,每一次迭代都在加宽护城河。黄仁勋在2023年GTC大会的主题演讲中反复使用一个词:AI工厂。他说,数据中心不再是存储和处理信息的仓库,而是生产智能的工厂。在这个工厂里,GPU是机器,数据是原料,模型是产品。这个比喻精确地描述了正在发生的产业重组:大模型的生产正在从实验室的手工作坊模式,转向工厂化的规模生产模式。在手工作坊里,工匠的手艺决定产品质量。在工厂里,生产线的规模和效率决定产出。当模型架构趋于透明、训练方法成为公共知识时,竞争优势便从独门配方转向了生产线的规模和效率。但AI工厂的比喻也隐藏着一个危险的假设:算力投入和智能产出之间存在线性的正比关系。这个假设在2023年仍然成立——更大的模型、更多的训练数据、更长的训练时间确实带来了更好的性能。但Scaling Law的边际收益递减问题已经在学术讨论中被反复提及。如果投入十倍的算力只能换来10%的性能提升,那么算力军备竞赛的经济账就需要重新计算。

更重要的是,算力可以买来模型规模,但买不来可靠性。幻觉问题、事实准确性、逻辑一致性——这些困扰大模型的核心缺陷,并不会因为多堆一万张GPU就自动解决。这是智力引擎的内在矛盾:它的规模可以无限扩张,但它的可靠性并不随规模同步提升。2023年11月,OpenAI的董事会风波短暂地打断了算力军备竞赛的叙事。萨姆·奥尔特曼被解职又复职的戏剧性过程,暴露了AI治理的结构性矛盾。但资本市场几乎没有受到实质影响。英伟达的股价在11月继续上涨,数据中心业务的订单排到了2024年下半年。原因很简单:无论OpenAI由谁领导,无论闭源模型和开源模型的竞争结果如何,无论大模型的商业应用能否兑现预期,训练和部署这些模型都需要GPU。英伟达是这场淘金热里卖铲子的人,而且是唯一能卖高质量铲子的人。到2023年底,大模型产业的重组已经呈现出清晰的层级结构。第一层是英伟达,掌握着物理算力的供给阀门。

台积电的CoWoS先进封装产能是H100生产的瓶颈,这个瓶颈要到2024年才能显著缓解。也就是说,即便需求无限,供给也是有限的。这种供不应求的状态,将英伟达推向了科技行业罕见的地位:它不是垄断者,却拥有比垄断者更强的话语权。垄断者控制的是市场,而英伟达控制的是生产资料。第二层是微软、Google、Meta、亚马逊等云巨头,掌握着算力的分发渠道和资本。第三层是OpenAI、Anthropic等闭源模型公司,以及Meta、Mistral等开源模型发布者,掌握着模型能力和品牌。第四层是成千上万家应用层初创公司,它们不训练基础模型,而是在开源模型或闭源API的基础上构建产品。每一层的权力分配,都取决于对算力的获取能力。这个格局中最大的变量是中国市场。BIS的出口管制将中国AI产业推上了一条不同的发展路径。由于无法获得大规模H100集群,中国的AI公司被迫在算法效率上寻求突破。

模型压缩、量化技术、混合精度训练、更高效的注意力机制——这些在西方AI界被算力充裕所延缓的研究方向,在中国成为生存必需。英伟达的处境同样复杂。中国市场贡献了其数据中心业务约五分之一的收入,完全放弃不可想象。但遵守美国政府的出口管制是法律义务,不存在灰色地带。A800和H800是走钢丝的产物,在合规的前提下尽可能满足中国客户的需求。但2023年10月的新规则表明,华盛顿的管制意愿只会加强不会放松。英伟达宣布将为中国市场开发新的合规芯片,代号据称为HGX H20,基于H100架构但大幅削减了互连带宽和部分计算能力。但中国客户对降级版芯片的兴趣正在减弱。当A800和H800的互连带宽已经受限,进一步降级的H20还能提供多少实用价值?更重要的是,美国的出口管制政策随时可能再次收紧,投资于英伟达的合规芯片意味着将基础设施建立在不确定的政策基础上。

华为的昇腾系列AI芯片、寒武纪的思元系列以及其他国产替代方案,虽然在性能和生态上仍有差距,但至少不受出口管制的威胁。英伟达2023年Q2财报的第27页还有一个容易被忽略的细节:公司预计下一季度的数据中心收入将继续增长,但增速将取决于供应链产能的改善情况。这句措辞谨慎的表述背后是一个硬约束:全球AI产业的算力饥渴,在短期内不会得到满足。台积电的CoWoS产能扩张需要时间,HBM显存的供应受制于海力士和三星的产能规划,整个先进封装产业链都在满负荷运转。供不应求的状态将英伟达推向了科技行业罕见的地位:它不是垄断者,却拥有比垄断者更强的话语权。因为垄断者控制的是市场,而英伟达控制的是生产资料本身。当分析师们在2023年夏天的财报电话会议上追问中国市场的风险时,黄仁勋给出了一个典型的回答:AI的计算需求正在以指数级增长,机会远远大于任何单一市场的波动。这句话在当时听起来像是安抚投资者的套话。

但把它放在大模型产业重组的语境下理解,它揭示了一个冷酷的事实:在智力引擎的下一个阶段,算力不是工具,而是权力本身。而掌握算力阀门的人,正在重新定义整个产业的规则。开源运动在2023年成功地将模型架构和训练方法民主化,打破了闭源巨头的认知套利。但这场胜利的代价是,竞争迅速下沉到了最原始、最重资产的物理层面。当代码和权重可以自由流动时,无法自由流动的只有硅。地缘政治介入之后,硅的流向不再由市场决定,而由出口许可证决定。大模型的历史,从论文和代码开始,正在以硅和电结束。而在这个新的阶段,产业的权力结构已经被重新铸造——铸造成一座由GPU集群构成的金字塔,塔尖掌握着算力的阀门,塔基承受着算力的饥渴。这座金字塔的稳定性,取决于一个尚未被检验的前提:算力投入确实能持续换来智能的提升。如果这个前提在某一天动摇,整座金字塔的结构都将面临重新评估。