论断：在大模型竞赛的算力瓶颈被充分讨论后

把时钟拨回到2021年11月。一份声明出现在《华尔街日报》评论版上。它的署名阵容足以让任何编辑部的内部备忘录显得像是一份日常公文：亨利·基辛格，时年九十八岁的前国务卿；埃里克·施密特，谷歌前首席执行官；丹尼尔·胡滕洛赫尔，麻省理工学院计算机科学与人工智能学院院长。

三人横跨政界、商界和学界的身份组合，使得这份文件从刊出那一刻起，就注定不会被当作普通的评论文章来对待。

声明的核心诉求简洁而具体：呼吁美国政府成立一个专门委员会来监管人工智能。但在诉求背后，三人构建的论证框架触及了一个当时尚未被广泛讨论的问题。

他们写道，人工智能系统正在以超出监管框架演进速度的方式，获取对人类知识体系的结构性访问权。这句话没有使用任何技术术语，没有提及“训练数据”或“语料库”，但它准确地指向了那个即将引爆的炸药桶——当机器能够以人类无法企及的规模和速度消化文明积累的文本、图像和代码时，谁来界定这种消化行为的合法边界？

彼时GPT-3已发布一年多，但其影响力仍被限制在学术界和少数科技公司的实验室内。ChatGPT还要再过整整一年才会出现。普通人如果听说过大型语言模型，多半也只是将其理解为一种能生成连贯文本的新奇工具。

基辛格、施密特和胡滕洛赫尔的声明，在当时的舆论场中更像是某种超前部署的政策倡导，而非对迫在眉睫的危机的回应。然而，如果把这份声明放在更长的历史弧线上观察，它标记了一个关键转折点的精确坐标。三人所触及的，正是大模型产业在经历了算力竞赛的狂热扩张之后，即将迎面撞上的那堵墙。这堵墙的名字叫数据。

把时间拨回2009年。在那一年，一项在当时看来平淡无奇的学术共识悄然形成：在大多数语言处理任务中，统计语言模型已经优于符号语言模型。造成这一转折的根本原因被写进了几乎所有相关论文的引言部分——统计模型能够有效地消化大型数据集。“大型”这个词在2009年的语境下，指的是从互联网上爬取的数十亿单词级别的语料库。

研究者们发现，与其费力地手工编写语言规则，不如让算法在海量文本中自行发现模式。这个洞察的直接产物，便是贯穿整个2010年代的一项默认信条：数据越多，模型越强。这一信条在Transformer架构诞生后获得了近乎神圣的地位。

2017年的那篇《Attention Is All You Need》论文，其真正的革命性不仅在于提出了自注意力机制，更在于它证明了一件事：只要提供足够多的数据，一个足够大的Transformer模型可以自行涌现出令人惊叹的语言能力。从GPT到GPT-2，从BERT到T5，每一次模型能力的跃迁背后，都站着规模呈指数级增长的训练数据集。Common Crawl、维基百科、书籍语料库、新闻档案、Reddit帖子、GitHub代码库——互联网上一切可公开访问的文本，都被视为等待开采的富矿。到了2022年，这种开采已经达到了工业级规模。

当OpenAI训练GPT-4时，没有人确切知道他们用了哪些数据——这在当时被视为正常的商业机密——但整个行业的默认假设是明确的：互联网是一座无限矿藏，数据是一种免费资源。模型公司需要花钱购买的是GPU集群和电力，而不是那些构成模型智能基础的文本本身。

这个假设在2023年被系统地击碎了。击碎它的第一记重锤来自法律领域。2023年12月27日，《纽约时报》在纽约南区联邦地区法院对OpenAI及其主要投资方微软提起诉讼。起诉书的核心指控直指大模型产业的命门：OpenAI未经授权，大规模复制和使用《纽约时报》受版权保护的作品来训练其GPT系列模型。

这份长达六十九页的法律文件并非泛泛而谈的抗议，而是一次精心准备的证据展示。起诉书附录中逐段列出了ChatGPT输出内容与《纽约时报》原文的高度相似段落，其中包括2012年一篇关于纽约唐人街移民工人的深度调查报道，以及2019年一篇获得普利策奖的关于纽约出租车司机贷款危机的系列报道。

这些附录的杀伤力不在于证明ChatGPT在“抄袭”——从技术角度看，语言模型生成与原文高度相似的段落，恰恰说明模型在训练过程中对这些文本进行了深度编码，而非简单的逐字复制。真正的杀伤力在于，它将一个技术共同体内部心照不宣的操作，暴露在了版权法的聚光灯下。多年来，AI研究者一直将“训练数据”视为一个抽象的技术概念，一个可以无限量供应且无需追问来源的原材料池。

《纽约时报》的诉讼迫使整个行业面对一个尖锐的问题：当训练数据中的每一个单词、每一个句子、每一个段落都来自某人受版权保护的智力劳动成果时，“免费”这个前提还能成立吗？这个问题迅速蔓延。

在《纽约时报》起诉后的几周内，一系列类似的法律行动相继展开。新闻集团旗下的《华尔街日报》和《纽约邮报》开始与OpenAI进行授权谈判，但谈判桌上的气氛与通常的商业合作截然不同。

新闻集团首席执行官罗伯特·汤姆森在一份内部备忘录中明确表态，将AI公司对出版商内容的大规模抓取和再利用定性为对知识产权的系统性侵犯。他选择的措辞——“系统性侵犯”——将OpenAI等公司的行为定位为商业模式层面的根本性冲突，而非偶发的技术过失。

一群包括约翰·格里沙姆、乔治·R·R·马丁和乔纳森·弗兰岑在内的知名小说作家，通过作家协会对OpenAI提起了集体诉讼。诉状中引用的一段ChatGPT输出内容，生成了马丁《冰与火之歌》系列中琼恩·雪诺和丹妮莉丝·坦格利安对话的仿写段落，其风格之接近、细节之精准，足以让任何熟悉原著的读者感到不安。作家们的法律诉求与《纽约时报》如出一辙：要求法院认定，在受版权保护的作品上训练AI模型本身即构成侵权，而不仅仅是模型输出侵权内容时才需要承担责任。这一定性之争的利害关系，怎么强调都不过分。

如果法院最终支持原告方的主张——即训练行为本身需要获得授权——那么大模型产业将面临一个全新的成本结构：每一份用于训练的数据，都需要像音乐流媒体平台支付版税一样，向内容创作者支付费用。考虑到GPT-4级别的模型通常需要在数万亿个token的数据上训练，这笔费用的规模将足以从根本上改变整个行业的经济模型。

这正是基辛格、施密特和胡滕洛赫尔在2021年试图预警的那种结构性冲突。他们当时写道，AI的进步必须遵循人权原则和民主理念，以维持公众对这项技术的信心与信赖。2023年的版权诉讼潮将这一抽象原则转化成了具体的金钱和权力博弈：内容创作者要求对自身智力劳动成果的控制权和收益权，而模型公司则试图在法律灰色地带中捍卫其既有的数据获取模式。

然而，法律战场只是数据之争的一个维度。几乎在同一时间，另一条战线在更隐蔽但同样致命的地方展开。

2023年4月，Reddit联合创始人兼首席执行官史蒂夫·赫夫曼宣布了一项引发开发者社区剧烈反弹的决定：Reddit将对其API实施新的定价政策，大幅提高第三方应用和研究人员访问Reddit数据的成本。这项政策的直接导火索是Reddit意识到，其平台上积累的十八年用户生成内容——数以十亿计的帖子、评论和对话——正在被AI公司免费用于训练大型语言模型，而这些公司从Reddit数据中提取的价值，没有一分钱回流到平台或其用户身上。赫夫曼在接受媒体采访时说了一句话，其直白程度在科技公司高管的公开表态中相当罕见。他明确指出，Reddit的数据语料库具有极高的价值，公司不需要把所有这些价值免费提供给世界上一些最大的公司。

这句话标志着一个根本性的立场转变。在此之前，Reddit的API一直以开放和免费著称，催生了大量第三方客户端和研究项目。但大模型产业的崛起改变了这个等式。

Reddit的用户生成内容——那些关于个人经历、专业建议、技术讨论和日常闲聊的帖子——构成了训练对话式AI模型最理想的原材料之一。这些数据真实、多样、充满人类交流的细微特征，远比精心编辑的新闻文章更能教会模型如何像人一样对话。

新的API定价政策于2023年7月1日正式生效。具体条款显示，每五千万次API请求的费用为12,000美元。对于需要大规模抓取数据来训练模型的公司而言，这意味着数百万美元级别的年度成本。

更重要的是，Reddit并非唯一采取行动的平台。2023年5月，程序员问答社区Stack Overflow宣布了类似的API定价调整，其首席执行官普拉桑特·钱德拉塞卡在一篇博客文章中明确表示，公司将对利用Stack Overflow数据训练大型语言模型的行为收取费用。

这两家平台的决策共同标志着一个时代的终结：互联网上最大规模的真实人类对话数据集，从此不再是免费的公共资源。数据围墙的建立，迫使模型公司面对一个残酷的算术问题。

在算力瓶颈逐渐缓解——得益于英伟达不断推出更高效的GPU，以及各大云服务商竞相扩建AI基础设施——之后，数据获取成本正在成为新的制约因素。一个GPT-4级别的模型，其训练数据集的构建成本可能高达数千万甚至上亿美元，而这还不包括持续更新数据所需的费用。更糟糕的是，随着模型规模继续扩大，对高质量数据的需求呈非线性增长。简单地爬取更多网页已经无法满足需求，因为互联网上公开可用的高质量文本总量是有限的。

研究机构Epoch AI在2023年的一项分析中提出了一个令人警醒的预测：按照当前的趋势，到2026年左右，可公开获取的高质量文本数据将被消耗殆尽。这个预测建立在对互联网文本总量的估算和对模型训练数据需求增长曲线的分析之上。

它揭示了一个产业正在逼近的物理极限：数据不是无限的。当所有可公开访问的维基百科页面、所有已出版的书籍、所有新闻档案、所有公开的学术论文都已经被用于训练之后，模型能力的进一步提升将从何而来？

这个问题将产业竞争的压力从“算得快”引向了“用什么来算”。答案之一，是付费购买。2023年下半年，OpenAI开始与一系列内容出版商签署授权协议。2023年7月，美联社成为首批与OpenAI达成正式协议的主要新闻机构之一。根据协议条款，OpenAI将获得美联社自1985年以来的部分文本档案用于模型训练，而美联社则获得一笔未公开的授权费用，以及使用OpenAI技术优化其内部新闻生产流程的机会。

随后，德国的阿克塞尔·施普林格集团——欧洲最大的出版集团之一，旗下拥有《图片报》《世界报》和“政客”新闻网——在2023年12月与OpenAI达成了更为全面的合作协议。这笔交易的价值据行业分析师估计在数千万欧元量级，其条款包括允许OpenAI使用施普林格旗下媒体的内容训练模型，同时施普林格将获得基于AI生成内容的收入分成。这些交易的共同特征是：它们将训练数据从一种免费的外部资源，转变为一类需要谈判、付费和合同管理的商业投入。

对于OpenAI而言，这意味着其成本结构正在经历一次根本性的重塑。在ChatGPT引爆全球市场之前，OpenAI的主要成本集中在算力和人才上。现在，数据采购正在成为第三大支出类别，而且其增长速度可能超过前两者。

对于内容出版商而言，这则是一次等待了二十多年的权力反转。在经历了互联网平台对其内容的免费聚合和广告收入的持续蚕食之后，AI模型的训练需求为他们提供了一个重新确立内容价值的机会。

但付费授权模式只能解决部分问题。世界上绝大多数文本内容并不属于大型出版集团，而是分散在数以亿计的个人博客、社交媒体帖子和论坛讨论中。即便模型公司愿意付费，也不存在一个可以一次性购买这些分散权利的机制。更重要的是，许多类型的训练数据——医疗对话、法律咨询记录、私人通信——出于隐私保护的原因，根本不应被用于模型训练，无论付费与否。

正是在这个困境中，一个技术上的权宜之计开始获得前所未有的关注：合成数据。

合成数据的核心思想简洁而大胆：如果真实世界的高质量数据正在变得稀缺、昂贵或法律风险过高，那么为什么不使用大型语言模型自己生成的数据来训练下一代模型？这就像一个引擎开始吞噬自己排出的尾气，试图从中提取出可再次燃烧的燃料。从技术角度看，这一想法并非天方夜谭。2022年和2023年间，包括Google、OpenAI和Meta在内的多家机构的研究人员发表了关于使用合成数据进行模型训练的论文。Google Research的一篇技术报告详细评估了使用PaLM模型生成训练数据来微调较小模型的可行性，其关键图表显示，在某些特定任务上，使用合成数据训练的模型性能可以达到使用真实数据训练的模型的90%以上。

这个90%的数字既是希望，也是警告。希望在于，合成数据确实可以在一定程度上缓解数据饥渴。警告则在于那缺失的10%——如果每一代模型都依赖上一代模型生成的数据进行训练，那么每一代都会引入新的偏差和错误。

经过足够多的迭代之后，模型将开始近亲繁殖，其输出质量将不可逆转地退化。研究人员将这种现象称为“模型崩溃”，其早期迹象已经在一些实验中被观察到：当模型反复在自身生成的数据上训练时，其输出会逐渐丧失多样性，趋于重复常见的模式，并放大训练数据中原本微小的统计偏差。

2023年8月，研究公司SemiAnalysis的分析师迪伦·帕特尔和丹尼尔·尼什尔发表了一篇引发广泛讨论的博文。他们宣称Google即将发布的Gemini模型将吞噬世界并超越GPT-4。这篇博文的标题和内容充满了硅谷式的夸张修辞，但其背后的技术判断却指向了一个严肃的问题：Google在合成数据技术上的积累——源自其DeepMind团队多年的强化学习研究——可能为其提供了一条绕过数据版权雷区的路径。如果Gemini能够通过合成数据自我改进，那么Google就不需要像OpenAI那样与出版商逐一谈判授权协议。

这篇博文在X平台上引发了OpenAI首席执行官萨姆·阿尔特曼的公开嘲讽。阿尔特曼的回复简短而尖锐，质疑了SemiAnalysis分析的可靠性。商业巨头、OpenAI的联合创始人埃隆·马斯克也参与讨论，并追问数字是否有误。

这场公开交锋折射出的，是产业内部对合成数据路线的深刻分歧。OpenAI押注的是通过商业谈判和法律合规来确保真实数据的持续供应，而Google——至少根据外部分析师的判断——则在探索一条技术迂回路线，试图用AI生成的数据来喂养下一代AI。

两种策略各有风险。OpenAI的授权模式面临的是成本失控的前景。如果每一个主要出版商都要求数千万美元的年度授权费，那么训练下一代GPT的成本将飙升至难以承受的水平。而且，授权协议并不能解决所有法律问题。2023年12月《纽约时报》的诉讼清楚地表明，即便OpenAI愿意付费，某些内容方也可能选择诉诸法律而非谈判，因为他们寻求的不仅是金钱补偿，还有对AI使用其内容方式的根本性限制。

Google的合成数据路线则面临技术可行性和伦理风险的双重挑战。模型崩溃的威胁意味着，合成数据不能完全替代真实数据，只能作为补充。更棘手的是，合成数据可能在不经意间放大社会中已有的偏见和错误信息。如果一个模型在真实数据中学习到某些群体在特定职业中被提及的频率较低，那么它在生成合成数据时可能会进一步降低这些群体的代表性，从而形成一个自我强化的偏见循环。当这个循环被用于训练下一代模型时，其社会后果将远超技术层面的性能退化。

2023年晚些时候，全球人工智能伙伴关系——一个于2020年6月启动的多国合作框架——发布了一份关于AI训练数据治理的报告。报告指出，人工智能的发展必须符合人权和民主价值观，以确保公众对该技术的信心和信任。这句话与基辛格、施密特和胡滕洛赫尔两年前的声明遥相呼应，但2023年的语境已经截然不同。两年前，这还是一种前瞻性的原则倡导；现在，它变成了一个紧迫的产业治理问题。

报告进一步指出，训练数据的来源、质量和合法性，应当成为AI系统评估和认证的核心指标。这一判断如果转化为监管要求，将对大模型产业产生深远影响。它将迫使模型公司公开其训练数据的构成——这在当前被视为核心商业机密——并接受第三方对其数据供应链的审计。对于依赖免费互联网模式起家的模型公司而言，这种透明度要求无异于对其商业模式的根本性颠覆。

数据供应链的透明化，意味着每一份训练数据都需要有清晰的来源记录和授权证明。这不仅是技术和法律上的挑战，也是组织架构上的挑战。模型公司需要建立可追溯系统，只不过他们追溯的不是农产品或零部件，而是数十亿个token的文本片段。这正是数据之争将模型公司从技术研发者推向生态规则制定者的核心机制。当数据不再是免费的公共资源，而是需要谈判、付费和合规管理的稀缺商品时，模型公司被迫建立一套全新的制度能力。

他们需要法务团队来处理版权诉讼和授权谈判，需要数据采购部门来评估和获取高质量数据集，需要合规团队来确保数据使用符合日益复杂的国际监管要求，还需要技术团队来开发和维护合成数据生成系统。这些制度能力的建设成本极高，而且具有显著的规模效应。一家拥有充足资金和强大法务团队的大型模型公司，可以承受与数十家出版商同时进行授权谈判的成本，可以建立复杂的数据溯源系统，可以雇佣顶尖的研究人员攻克合成数据的质量瓶颈。但一家资金有限的初创公司或开源项目，则可能被这些成本挡在门外。

数据围墙的建立，由此产生了意想不到的后果：它可能成为大模型产业走向寡头垄断的加速器。

2023年，OpenAI的领导者发布了关于超级智能治理的建议，他们认为超级智能可能在不到十年内出现。这份建议书主要关注的是超级智能带来的存在性风险，但其发布时机——恰逢数据版权诉讼的高峰期——赋予了它另一层含义。

当OpenAI谈论未来AI系统的治理时，它同时在当前的法庭和谈判桌上为其数据获取模式争取合法性。这种双重话语策略——以未来的宏大风险论证来为当下的商业实践辩护——成为大模型产业在2023年最显著的公关特征之一。

回到数据本身，一个往往被宏大叙事掩盖的细节值得注意。当《纽约时报》的律师在起诉书中逐段比对ChatGPT的输出与原文的相似性时，他们实际上在做一件技术社区长期以来回避的事情：将训练数据从抽象的语料库还原为具体的、由特定作者在特定时间创作的文本。这种还原具有方法论上的颠覆性。它提醒所有人，构成大模型智能基础的并不是某种中性的语言，而是数以亿计的人类作者在特定历史语境下生产的知识和表达。每一个训练数据点背后，都站着一位作者、一家出版机构、一个拥有版权和道德权利的知识生产者。这个认知一旦确立，大模型产业的合法性叙事就必须被重写。

不能再简单地将模型的学习过程描述为从互联网上吸收知识，而必须说明模型从谁那里、以什么条件、在什么法律框架下学习了哪些内容。这种透明度的提升，正是基辛格、施密特和胡滕洛赫尔在2021年呼吁建立公众信心和信任的前提条件。

2024年初，数据之争的轮廓已经清晰可辨。大模型产业的竞争焦点，从模型架构的创新，转向了数据供应链的构建。谁能以合规、可持续且成本可控的方式获取高质量训练数据，谁就能在下一阶段的竞争中掌握主动权。这个转折的意义不亚于2017年Transformer架构的提出，因为它重新定义了智力引擎的燃料来源和运行规则。在这个新的竞争格局中，OpenAI凭借其先发优势和雄厚的资金储备，正在构建一个由商业授权、法律辩护和技术替代组成的复合型数据战略。Google则依靠其搜索引擎时代积累的数据资源——尽管这些数据的使用同样面临法律风险——以及在合成数据技术上的深厚积累，试图走出一条不同的路径。

Meta通过开源LLaMA模型，间接推动开源社区探索使用公开可用数据和合成数据训练模型的方法，将数据获取成本分散到整个生态系统中。微软则利用其企业客户关系和云服务基础设施，试图在企业级市场中建立一个相对受控的数据使用环境。每一家主要参与者的策略选择，都反映着其对数据问题本质的不同理解。OpenAI将数据视为一种需要付费获取的商业投入，Google试图通过技术手段降低对受版权保护数据的依赖，Meta押注开源生态的集体智慧，微软则在企业市场的围墙内寻找避风港。这些策略的优劣，将在未来数年内通过市场份额、法律判决和模型性能的此消彼长来揭晓。

深夜，在OpenAI旧金山总部的一间会议室里，法务团队刚刚结束了与一家欧洲出版集团代表的长达四个小时的视频谈判。屏幕上还停留在最后一份条款草案的修订标记上。走廊另一端的开放式办公区，几名工程师正在监控一批合成数据生成任务的运行状态。

服务器日志显示，模型正在以每秒数千个token的速度生成用于训练下一代模型的对话样本。这些对话看起来与人类书写的内容几乎无法区分，但它们的源头却是一个已经吞噬了数万亿人类词汇的神经网络。屏幕上的数字持续滚动，记录着这场没有终点的燃料补给。引擎开始吞噬自己的尾气，而它的创造者们仍在争论，这究竟是通往可持续飞行的唯一路径，还是一种缓慢的窒息。