论断：GPT系列的进化史

时间拨回到2018年6月。Alec Radford把咖啡杯放在桌上，屏幕上的损失曲线已经平稳了六个小时。这是旧金山教会区OpenAI办公室的深夜。他面前的模型刚刚在BookCorpus上完成了预训练——1.17亿参数，12层Transformer解码器，训练目标只有一个：给定一段文本，预测下一个词。没有双向编码，没有掩码语言模型，没有句子对分类任务。就是单向的、自回归的、逐词预测。Radford把这个模型接上简单的线性分类层，在自然语言推理数据集上跑了一圈。结果不算惊艳，但足以说明问题：一个只学过“预测下一个词”的Transformer解码器，其内部表征可以直接迁移到文本蕴含判断、语义相似度计算、文本分类等任务上，而且不需要针对每个任务重新设计架构。他把结果整理成论文《Improving Language Understanding by Generative Pre-Training》，6月11日提交到arXiv。

论文的核心论断简洁到几乎平淡：通过生成式预训练学到的语言表征，可以通过微调迁移到各种下游任务。这个论断的技术基础是Transformer解码器的因果注意力机制——每个位置的输出只依赖于上文，不需要像BERT那样通过随机掩码强行引入双向性。

彼时，这个论断几乎没有引起什么波澜。四个月后，Google的BERT论文发布，以双向编码架构在11项基准测试上全面刷新纪录。GPT-1的1.17亿参数、单向生成路线、相对平庸的基准成绩，在BERT的光芒下显得黯淡。

OpenAI当时仍是一家以“确保通用人工智能造福全人类”为使命的非营利研究机构，GPT-1只是其众多研究方向中的一个探索。

但Radford在实验日志中记录了一个被大多数人忽略的观察：当GPT-1的参数量从几千万扩展到1.17亿时，下游任务性能的提升是平滑的、可预测的。这不是线性关系——是对数线性关系。

如果继续扩大规模，这条曲线会延伸到哪里？这个问题在2018年秋天听起来像是空想。

整个自然语言处理社区正沉浸在BERT带来的微调范式中：预训练一个双向表征模型，然后针对每个具体任务精心调优。这个范式高效、可控、在学术基准上所向披靡。相比之下，OpenAI坚持的单向生成路线显得粗糙而缺乏竞争力。

但在OpenAI内部，一个隐秘的信念正在形成。Ilya Sutskever——OpenAI的联合创始人兼首席科学家——在2018年底的一次内部讨论中对Radford说：也许规模本身就是一种算法。也许我们不需要设计更精巧的架构，只需要更大的模型、更多的数据、更强的算力。

这个信念的第一次大规模验证发生在2019年2月。OpenAI发布了GPT-2。参数量从1.17亿直接跃升到15亿——12.8倍的扩张。

训练数据集从BookCorpus的7000本书扩展到WebText，一个从Reddit出站链接中爬取的800万网页数据集。模型架构几乎没有变化：仍然是Transformer解码器堆叠，仍然是自回归语言建模目标。

唯一的区别是规模——48层、1600维隐藏状态、25个注意力头、更大的批次、更长的训练。然后，一个让研究团队震惊的现象出现了。当他们在15亿参数模型上测试时，发现GPT-2不仅仅在语言建模困惑度上取得了改进。模型开始展现出一种全新的能力：在没有接受任何针对性训练的情况下，它可以直接执行从未见过的任务。给它一段英文文本，后面跟“French:”，它输出合理的法语翻译——尽管它从未被明确训练过翻译。给它一个段落，后面跟“TL;DR:”，它生成像模像样的摘要。给它一个故事开头，它能接续出连贯的、有时令人不安的叙事。

这就是零样本迁移。模型通过在海量网页上“阅读”学到的知识，形成了一种通用的语言理解能力，可以通过简单的提示词被激活，完全不需要下游任务的标注数据。

OpenAI的领导层立即意识到这个发现的爆炸性意义。但也正是这个发现，让他们做出了一个在当时引发巨大争议的决定：不发布完整的GPT-2模型。

2019年2月14日，OpenAI发布博客文章《Better Language Models and Their Implications》，宣布了GPT-2的技术成果，但同时声明只会发布一个1.24亿参数的缩小版。完整的15亿参数模型暂不公开。理由是：担心该模型被滥用于生成大规模虚假新闻、冒充他人、或在社交媒体上自动化生产欺骗性内容。这个决定在人工智能研究社区引发激烈争论。批评者指责OpenAI危言耸听，以“安全”为名行公关炒作之实。一些人指出，15亿参数的语言模型远未达到真正威胁信息生态的程度。更重要的是，这一决定违背了OpenAI自2015年成立以来一直标榜的“开放”精神——公司的名字里就带着“Open”。但在OpenAI内部，这场争论有着完全不同的维度。

2019年3月，OpenAI的政策总监Jack Clark在内部备忘录中写下了他的判断：GPT-2揭示了一个此前只在理论中存在的前景——语言模型的能力并非来自精巧的任务设计，而是来自规模。这意味着谁控制了最大规模的算力和数据，谁就控制了最强大的语言能力。这不是学术问题，这是战略问题。

Clark的备忘录在内部传阅时引发了激烈讨论。一部分研究者坚持认为，OpenAI作为非营利组织，应该继续践行开放研究的承诺，将GPT-2完整发布，让整个社区共同探索其能力和风险。另一部分人——包括Sutskever和总裁Greg Brockman——则认为，GPT-2揭示的趋势意味着人工智能的能力正在进入一个需要审慎管理的新阶段。如果规模确实是关键，那么未来的模型将远比GPT-2更强大，现在建立负责任发布的先例至关重要。

这场争论最终以折中方案收场：分阶段发布完整模型。2019年5月，发布3.45亿参数的中等版本。8月，发布7.62亿参数的大版本。

11月5日，完整的15亿参数GPT-2模型向公众发布。但在这九个月的延迟中，OpenAI内部已经发生了不可逆转的变化。

2019年3月11日，OpenAI宣布成立一家新的“有限盈利”实体——OpenAI LP。这个新实体的投资者回报被限制在其投资额的100倍，超出部分回流到非营利机构。Sam Altman在这一天正式出任CEO。

在宣布这一结构调整的博客文章中，OpenAI坦率地承认：要构建大规模人工智能系统，需要的资本规模已经远远超出了非营利机构能够动员的范围。这篇文章没有明说但业内人都能读懂的信息是：GPT-2的经验让OpenAI确信，通往更强大语言模型的道路是明确的——更大的模型、更多的数据、更强的算力。而这条道路需要资本。

海量的资本。2019年7月，微软向OpenAI投资10亿美元。根据协议，微软成为OpenAI的独家云计算提供商，OpenAI则同意与微软合作开发新的Azure AI超级计算技术。

更重要的是，微软获得了将OpenAI技术商业化的优先权。这笔交易在硅谷引发了复杂的反应。对于那些一直关注OpenAI的人来说，这是一个明确的信号：这家曾经宣称要推进数字智能造福全人类的非营利研究机构，正在转变为一家以算力为护城河的商业公司。它的使命没有变——至少纸面上没有——但实现使命的方式已经彻底改变了。

在Google位于山景城的园区里，GPT-2的发布和OpenAI的结构调整引起了另一种性质的关注。Jeff Dean——Google AI的负责人——在2019年春季的一次内部技术评审会上，让团队详细分析了GPT-2的能力和局限。

分析的结论是冷静的：GPT-2的零样本能力确实令人印象深刻，但在大多数基准测试上，它仍然不如经过微调的BERT-large。Google的团队认为，双向编码架构在理解任务上具有天然优势，单向生成模型更适合文本续写等生成任务。两者各有擅长，不存在谁取代谁的问题。但这个分析忽略了一个关键趋势。

Google内部另一份技术备忘录——由一名未参与BERT项目的工程师在2019年4月撰写——指出了GPT-2论文中一个被低估的发现：模型在多个任务上的零样本性能与模型规模之间存在对数线性关系。换句话说，随着参数量的指数增长，零样本能力在平滑提升。如果这个趋势持续，当模型规模达到某个临界点时，零样本性能将超过需要微调的BERT。

这份备忘录在Google的研究管理层中传阅，但没有引发实质性的战略调整。Google拥有世界上最强大的自然语言处理研究团队，BERT已经成为学术界的标杆，T5——一个统一使用文本到文本框架的模型——正在开发中。Google的路线图是清晰的：继续推进双向编码和编码器-解码器架构，通过更好的预训练任务和微调策略来提升性能。

但在OpenAI，那份被Google忽略的备忘录成为了新的战略基石。2019年夏天，在微软投资到账后，OpenAI开始规划GPT-3。这一次，规模跳跃的幅度不再是12倍，而是超过100倍。

目标参数量：1750亿。训练数据集：Common Crawl的过滤版本、WebText2、Books1、Books2以及英文维基百科——总计约570GB的文本。训练算力需求：数千块V100 GPU连续运行数月。

这个计划的预算高达数百万美元。在2018年，这样的投入对于一家研究机构来说是不可想象的。但在2019年下半年，有了微软的10亿美元支持，它变成了一个可以执行的工程任务。

Dario Amodei——当时OpenAI的研究副总裁——负责领导GPT-3的训练工作。他在一次内部会议上对团队阐述了核心假设：如果规模法则成立，那么GPT-3将不仅仅是一个更好的语言模型，它将是一种全新的技术范式。它不需要微调，不需要针对特定任务设计架构。只需要告诉它你想要什么，它就会去做。

这个假设的激进程度怎么强调都不过分。在2019年，自然语言处理的主流范式仍然是预训练加微调。这个范式要求为每个任务准备标注数据，调整模型架构，进行多轮训练。

它有效，但效率低下——每遇到一个新任务，都需要重复这个流程。GPT-3的目标是彻底消灭微调。取而代之的是上下文学习：在提示词中提供几个示例，模型就能理解任务要求并直接生成答案。不需要梯度更新，不需要调整参数，不需要标注数据。只需要改变输入文本的格式。

如果这个范式成立，它将从根本上改变人工智能的经济学。微调需要专业知识和计算资源，但提示词工程只需要语言能力。这意味着，一个拥有GPT-3访问权限的人，可以通过简单的文本指令调用强大的语言能力，而不需要任何机器学习背景。

2020年初，当GPT-3的训练在微软的Azure集群上启动时，OpenAI已经不再是一个纯粹的研究机构。它在2019年引入的有限盈利结构开始显现其真正的意义。

公司开始组建产品团队，探索GPT-3的商业化路径。一个早期的想法是提供API访问：开发者可以通过API调用GPT-3，按使用量付费，而无需自己部署模型。这个想法来自Sam Altman。

他在2020年2月的一次战略会议上提出了一个比喻：智能即电力。GPT-3的能力是一种通用资源，不告诉发电厂该用电力做什么，只是提供接入。这个比喻成为了OpenAI商业化战略的核心叙事。但它也掩盖了一个关键问题：如果智能真的像电力一样成为通用资源，那么控制这种资源的人将拥有巨大的权力。GPT-3的能力边界、使用限制、定价模式——这些都将由OpenAI决定。2020年5月28日，OpenAI发布了GPT-3的论文《Language Models are Few-Shot Learners》。论文有31位作者。核心发现是：1750亿参数的GPT-3在大量任务上展现出了强大的少样本和零样本能力。在TriviaQA问答任务上，GPT-3的零样本性能达到了64.3%，超过当时的微调最优水平。在SuperGLUE基准上，少样本GPT-3接近微调BERT-large的水平。

在语言翻译、代码生成、新闻文章生成等任务上，GPT-3生成的文本在人类评估中常常难以与人类写作区分。

但论文也诚实地记录了GPT-3的失败。在自然语言推理任务上，GPT-3的性能几乎处于随机水平——它无法进行可靠的逻辑推理。在涉及物理常识的任务上，模型经常给出荒谬的答案。在长文本生成中，GPT-3会出现前后矛盾、重复循环、事实错误等问题。更有甚者，模型会从训练数据中学到并放大社会偏见——种族、性别、宗教等方面的刻板印象在其输出中普遍存在。

论文中有一张图，后来成为了整个领域的经典：横轴是模型参数量，纵轴是任务性能，一条平滑上升的曲线穿过GPT-1、GPT-2和GPT-3的数据点。这条曲线就是规模法则的可视化——它在说，这些模型的性能差异，主要不是来自架构创新或训练技巧，而是来自规模。

这张图在人工智能社区引发了激烈的争论。一些人将其视为技术进步的清晰路线图：只要继续扩大规模，能力就会继续提升。

另一些人则警告说，这条曲线可能很快就会进入收益递减区间——或者更糟，规模扩张可能会放大模型已有的缺陷，使其更加不可控和不可解释。

在Google，GPT-3的发布引发了新一轮的内部评估。Google Brain团队的一名研究员在内部邮件中写道：GPT-3证明了规模法则正在成为这个领域的核心驱动力，必须在算力规模上做出回应，否则将在下一代模型的能力上落后。

但Google面临一个组织困境。公司内部有多个自然语言处理团队——Google Brain、Google Research、DeepMind——各自有不同的技术路线和优先级。BERT的成功让Google在双向编码架构上投入了大量资源，而GPT系列的单向生成路线在公司内部缺乏强有力的支持者。更重要的是，Google的商业模式依赖于搜索广告，而搜索的核心是理解用户查询的意图——这是一个理解任务，而非生成任务。

GPT-3展示的生成能力虽然令人印象深刻，但它如何转化为搜索业务的改进，并不明确。2020年6月，OpenAI开始向选定的开发者提供GPT-3 API的测试版访问。第一批用户包括初创公司、独立开发者和大型企业的实验团队。

他们很快发现，GPT-3的能力远超预期。有人用它生成营销文案，有人用它编写简单的代码，有人用它创建问答系统。一个用户要求生成一个带删除按钮的待办事项列表React组件，GPT-3输出了可用的JavaScript代码。另一个用户要求用莎士比亚风格写一段关于人工智能的独白，GPT-3给出了令人惊叹的仿作。这些演示在Twitter上病毒式传播，引发了新一轮的人工智能热潮。

但同时也暴露了GPT-3的一个核心问题：它的输出质量极不稳定。同一个提示词，有时会得到令人拍案叫绝的回答，有时会得到完全无意义的胡言乱语。用户们很快学会了一个技巧：多次尝试同一个提示词，从中挑选最好的结果。

这意味着GPT-3的能力并非可靠的，而是概率性的——它在统计上倾向于生成合理的文本，但没有任何保证。这种不确定性成为了GPT-3商业化的核心挑战。如果模型的输出不可靠，企业如何将其集成到产品中？如果模型可能在关键任务上出错，责任由谁承担？如果模型放大偏见或生成有害内容，如何防范？

OpenAI对这些问题的回应是分层的。在技术层面，开发了内容过滤器和安全分类器，试图拦截明显有害的输出。在商业层面，API使用协议中加入了严格的限制条款，禁止将GPT-3用于生成欺骗性内容、自动化社交媒体操纵、或涉及高风险决策的应用。在叙事层面，强调GPT-3是一个工具而非智能体——它的输出需要人类审查和判断。

但这些措施都建立在一个不稳定的基础之上：OpenAI同时是GPT-3的开发者、部署者和规则制定者。它决定谁能访问这项技术、以什么条件访问、能用来做什么。这种集中的控制权，与OpenAI最初宣称的使命之间，存在着一种深刻的张力。

2020年9月，微软从OpenAI获得了GPT-3的独家许可权。这意味着，虽然OpenAI通过API向公众提供GPT-3访问，但底层模型的完整使用权属于微软。微软开始将GPT-3集成到其产品中——首先是Power Apps，一个低代码开发平台，用户可以用自然语言描述需求，GPT-3自动生成相应的公式和代码。

这笔交易在人工智能社区引发了新一轮的批评。电子前哨基金会在2020年10月发表声明，警告将如此强大的语言模型集中在少数几家科技巨头手中，将对信息生态系统的健康构成长期威胁。AI Now研究所的一份报告指出，GPT-3的训练成本估计在1200万美元以上，这意味着只有极少数机构有能力训练类似规模的模型。报告特别指出，大型语言模型中的“大型”本质上是一个模糊的概念，因为没有明确的阈值来定义“大型”所需的参数数量。但有一点是明确的：进入门槛正在以指数级速度上升，这正在将公共研究机构和小型公司排除在基础模型开发之外。

这个观察切中了问题的要害。2018年的GPT-1有1.17亿参数，一个博士生用一块GPU就能训练。2019年的GPT-2有15亿参数，需要一个中型研究团队的算力预算。2020年的GPT-3有1750亿参数，训练成本已经达到中小型公司全年研发预算的级别。如果规模法则继续成立，下一代模型的训练成本将达到数亿美元——只有科技巨头和获得它们支持的机构才能参与这场游戏。

OpenAI对此的回应是一个巧妙的反转。Sam Altman在2020年12月的一次采访中说：如果不这样做，就只有Google和少数几家中国公司有能力开发这些技术。通过创建一个有竞争力的商业实体，可以确保这种能力不集中在任何单一机构手中。这个逻辑并非没有道理，但它依赖于一个关键的假设：OpenAI的商业化不会复制它所批评的行为。这个假设能否成立，取决于OpenAI在公司治理、透明度、责任机制等方面的具体实践——而这些实践，在2020年底仍然处于形成阶段。

2020年11月，OpenAI的API从测试版转为正式版，开始向付费用户开放。定价模式基于使用量：每1000个token收费几美分到十几美分不等，取决于模型版本。对于许多开发者来说，这个价格低得令人惊讶——用GPT-3生成一篇博客文章的成本可能不到一美分。但对于OpenAI来说，这是一个精心设计的定价策略：通过低价吸引大量用户，积累使用数据和反馈，同时建立网络效应——越多开发者基于GPT-3构建应用，切换到其他模型的成本就越高。

这个策略开始见效。到2020年底，已有超过300个应用程序在使用GPT-3 API，覆盖了从写作辅助、代码生成到客户服务的广泛领域。一家名为Viable的初创公司使用GPT-3分析客户反馈，自动识别主题和情绪。一家叫Fable Studio的公司用它生成互动式故事。独立开发者们创建了GPT-3驱动的电子邮件助手、学习工具、游戏角色。

但这些应用也暴露了GPT-3的一个根本局限：它擅长生成流畅的文本，但不擅长保持事实的准确性。模型经常会“幻觉”——生成看似合理但完全虚构的信息。这种不可靠性使得GPT-3在需要准确性的应用场景中——如医疗咨询、法律建议、金融分析——几乎不可用。

OpenAI的研究团队对这个问题的态度是复杂的。一些人认为，随着模型规模的进一步扩大，事实准确性会自然改善——规模法则会解决这个问题。另一些人则认为，这暴露了单纯依赖统计模式的语言模型的根本局限：模型学到的不是对世界的真实理解，而是文本中的统计规律。它可以模仿知识，但不真正拥有知识。

这场内部争论在2020年底的OpenAI技术评审会上达到了高潮。一位研究员提出了尖锐的问题：如果GPT-4的参数达到万亿级别，但仍然是同样的架构、同样的训练目标，有什么理由相信它会从根本上解决幻觉问题？规模能弥补架构的缺陷吗？这个问题没有得到明确的回答。

但它指向了一个更深层的张力：OpenAI对规模法则的信仰，正在从一种研究假设演变为一种商业战略。如果规模确实是答案，那么OpenAI需要做的就是持续扩大算力投入，而它的竞争对手——那些拥有更多资本和基础设施的科技巨头——最终会追上并可能超越它。如果规模不是全部答案，那么OpenAI需要在架构和算法上寻找新的突破——而这需要一种不同于规模化工程的研究文化。

2020年12月，Google内部的一个团队完成了对GPT-3的全面技术评估。评估报告的结论是双重的。一方面，GPT-3证明了规模法则的有效性，Google必须在这一维度上保持竞争力。另一方面，GPT-3的架构——纯解码器的自回归模型——在理解任务上的固有局限，意味着双向编码或编码器-解码器架构仍有其不可替代的价值。这份报告促成了一个决定：Google将同时推进两条路线。一条是继续发展BERT系列的双向编码模型，专注于理解任务。

另一条是启动一个代号为LaMDA的项目，开发专门针对对话优化的生成模型。这个双轨策略试图在保持Google在理解任务上优势的同时，在生成能力上与OpenAI竞争。但双轨策略也意味着资源的分散。当OpenAI将所有赌注压在规模法则和生成模型上时，Google需要在多个方向上同时投资。这在短期内是安全的做法——不会因为赌注单一而全盘皆输——但在长期，它可能导致在任何一个方向上都难以达到超越性的规模。

2021年1月，OpenAI发布了DALL·E——一个基于GPT-3架构的文本到图像生成模型。虽然图像生成不在本章的范围内，但DALL·E的发布揭示了一个重要的趋势：GPT系列的架构和规模法则，正在从语言扩展到其他模态。这暗示了GPT-3不仅仅是一个语言模型，而是一个通用生成架构的实例——这个架构可以通过足够的规模和数据，学会生成任何类型的序列，无论是文本、图像还是代码。

这个趋势进一步强化了OpenAI的战略信念：规模是一个通用的解决方案。无论面对什么领域，只要投入足够多的参数、数据和算力，模型就能学会相应的生成能力。这种信念正在将技术竞争简化为一场粗暴的资源投入竞赛——谁拥有更大的集群、更多的数据、更强的资本支持，谁就能定义下一个十年的技术前沿。

2021年2月，OpenAI的估值达到了约150亿美元。这个数字在2018年GPT-1发布时是不可想象的。一家以“开放”和“非营利”起家的研究机构，在三年内变成了一家价值数百亿美元的准垄断企业。它的核心竞争力不是任何独特的算法或架构——GPT系列的架构是公开的，Transformer论文是任何人都可以阅读的——而是将规模法则从研究假设锻造为产业共识的能力，以及动员实现这一法则所需的海量资源的能力。但这种能力也带来了新的脆弱性。

OpenAI的护城河不是技术秘密，而是规模壁垒——训练GPT-3级别的模型需要数千万美元的算力投入，这使得大多数潜在竞争者无法进入。但这个壁垒并非不可逾越。Google、微软、Meta和少数几家中国公司拥有足够的资源来训练类似甚至更大规模的模型。如果它们决定全力投入，OpenAI的先发优势能维持多久？

更重要的是，规模法则本身可能正在接近其边界。GPT-3的1750亿参数已经让训练过程变得极其复杂——需要跨数千块GPU进行分布式训练，处理频繁的硬件故障，优化内存使用和通信开销。将参数规模再扩大一个数量级，需要的不仅是更多的资金，还需要解决一系列工程挑战。而且，即使这些挑战被克服，模型性能的提升是否仍然是可预测的、平滑的？还是会在某个临界点后进入收益递减？这些问题在2021年初的OpenAI内部被反复讨论，但没有确定的答案。

公司的战略——继续扩大规模，同时通过API商业化回收成本——建立在一个赌注之上：规模法则在可预见的未来仍然有效，而OpenAI能够在竞争对手追上之前，建立起足够强大的商业生态和品牌认知。2021年3月，Alec Radford——GPT系列的原始架构师——在一次内部技术分享会上，被问及对GPT系列未来发展的看法。他的回答简短而克制：我们证明了规模可以带来意想不到的能力，但也看到了这种方法的局限。真正的突破可能还需要理解这些模型内部到底发生了什么——而现在对此几乎一无所知。

窗外，旧金山的晨雾正在散去，露出了海湾对面正在建设中的新数据中心。那些建筑里将部署更多的GPU，训练更大的模型，生成更流畅的文本。但Radford提出的问题——理解模型内部到底发生了什么——仍然悬在空中。规模法则已经被锻造为产业共识，1750亿参数的GPT-3正在通过API向数千名开发者提供智能即电力的服务，一家非营利研究机构已经转变为以算力为护城河的商业公司。

但在这条平滑上升的规模曲线上，幻觉、偏见和不可靠性如影随形，而没有人能解释清楚，当模型生成一段以假乱真的文本时，它的内部究竟在进行怎样的计算。这个认知的黑箱，将成为整个产业在接下来几年中必须面对的具体后果。