论断：GPT-3的发布是大模型历史上最具冲击力

GPT-3的论文在2020年5月28日深夜抵达了arXiv的服务器。那篇题为《语言模型是少样本学习者》的手稿长达七十二页，作者栏里列着三十一个人的名字。按学术界的惯例，这种规模的合著者名单通常意味着大规模的协作、大规模的实验，以及——所有人翻到第七页时都意识到了——大规模的参数。

一千七百五十亿。这个数字被放在论文摘要的第三句话里，像一个故意不铺设任何前提的事实陈述。它不是结论，它是起点。作者们心里清楚，单单这个数字本身就足以改变读者接下来的阅读方式。OpenAI在发论文这件事上已经积累了足够的经验。

两年前，GPT-2的论文是以一种刻意营造的紧张感发布的——研究团队在博客文章中声明，出于对恶意滥用的担忧，完整的模型权重不会立即公开发布。那一次引爆的舆论反应几乎各占一半。恐慌的一方相信，一个能写出连贯段落的语言模型如果落入坏人之手，将彻底摧毁互联网的信息生态。

嘲讽的一方则指出，所谓的危险叙事不过是精心设计的宣传策略，一家初创公司试图用制造稀缺感和神秘感的方式，在巨头林立的AI领域里争抢稀缺的注意力。这一次没有恐慌条款。没有扣留模型的声明。没有“出于安全考虑暂不发布”的措辞。

论文里写得很清楚：GPT-3有八个不同的尺寸版本，从一亿两千五百万参数的小型模型，到那个一千七百五十亿参数的全尺寸版本。最大的版本被简洁地命名为“GPT-3 175B”。关于它的架构，论文用了一个让整个NLP研究界陷入沉默的句式——GPT-3使用了与GPT-2相同的模型和架构，包括相同的修改初始化、预归一化和可逆分词化方案，区别仅仅在于层数、嵌入维度和注意头的数量被成倍地放大了。然后，作者们将几乎全部篇幅投入到描述一个问题：当你把同一个架构放到足够大的时候，会发生什么。

这个问题的提法本身标志着一种范式的转移。在整个2019年，NLP领域的主导叙事是架构创新。

BERT展示了双向编码器的力量，T5证明了文本到文本统一范式的可行性，XLNet在排列语言模型上找到了一个折中点，RoBERTa则告诉大家BERT还没有被充分训练够。所有这些工作的核心假设是相同的：要获得更好的性能，你需要设计更好的模型。更精巧的注意力机制，更合理的预训练目标，更高效的位置编码方案。进步的方向是向上的，向着更聪明、更优雅的方向前进。

OpenAI的研究团队——以汤姆·布朗为首，论文的第一作者——选择了一个截然不同的方向。他们不打算让模型变得更聪明。他们打算让它变得更大。

这是彻头彻尾的暴力美学。不是用精巧的设计来换取性能提升，而是用算力、用参数、用数据，硬生生地把性能从模型中碾压出来。

这个决策的源头可以追溯到2019年初。当时，OpenAI内部围绕着一个叫“规模法则”的东西形成了共识。贾里德·卡普兰和他的合作者们发表了一篇论文，题目直白到近乎傲慢：《神经语言模型的规模法则》。

那篇文章用大量实验数据论证了一个看似简单的关系：语言模型的性能——以交叉熵损失来衡量——随着模型参数量、训练数据量和计算量的增加，按照幂律关系稳定提升。这个关系跨越了多个数量级，稳定得令人不安。更重要的是，卡普兰的团队发现，给定一个固定的计算预算，最优策略是将大部分资源投入到扩大模型规模上，而不是增加训练数据或延长训练时间。换句话说，如果你有一笔固定的钱要花在训练上，你应该把钱砸在让模型变胖上，而不是让它读更多的书或者训练更久。

这个结论在今天的语境下听起来像是行业常识，但在2019年，它是一枚改变了所有人心智地图的炸弹。它不仅告诉你更大的模型更好，而且用数学证明了更好这件事是稳定的、可预测的、不会在你砸进去更多GPU小时之后突然消失的。这意味着，语言模型的性能瓶颈，至少在可预见的未来，不是架构，不是算法，不是研究人员的创造力。

瓶颈是算力。谁拥有更多的GPU，谁就能造出更好的模型。这是一个将智力竞赛简化为资源竞赛的公式。

对于Google这样的公司来说，这个结论是一把双刃剑。它意味着它们拥有的最大优势——几乎无限的算力资源——将在未来的竞争中发挥决定性作用。但同时也意味着，任何拥有足够算力的人都可以参与这场游戏。

而对于OpenAI来说，它是一条出路。这家公司从2015年成立以来，始终背负着一个原初的焦虑：它不是一家大公司。它没有Google那样的广告收入做后盾，没有微软那样的企业级分销渠道，没有Facebook那样的数十亿用户数据。如果AI竞赛的胜负手是数据规模或商业模式，OpenAI没有任何赢面。

但如果胜负手是算力，而且算力的回报是幂律可预测的，那么局面就变了。你不需要赢得一切。你只需要在别人之前，把模型推到足够大。你的先发优势将因为规模法则的数学性质而被放大——后来者即使拥有同样多的算力，也需要时间才能赶上，而你的模型已经在为用户提供服务，收集数据，建立品牌，锁定客户。

2020年初，OpenAI做出了那个后来被反复分析的决策：训练一个比GPT-2大一百倍的模型。GPT-2有十五亿参数。一百倍，就是一千五百亿。最终的GPT-3停在了一千七百五十亿，比那个数字多出了两百五十亿。这个差额本身已经比当时绝大多数竞争对手的整个模型还要大。

一百个transformer解码器层，每层有九十六个注意力头，嵌入维度高达一万两千二百八十八。这些数字的堆叠本身没有任何美感可言。它们唯一的逻辑就是更多、更大、更强。

训练在微软提供的一台超级计算机上执行。这台机器是微软在2019年宣布与OpenAI达成十亿美元投资协议后，专门为这件事建造的。公开记录显示，它由超过二十八万五千个AMD CPU核心和一万块英伟达V100 GPU组成，这些硬件被集成到一个单一的高带宽、低延迟InfiniBand网络中，形成一个统一的系统。在当时，它位列全球超级计算机排行榜第五名。这台机器的存在是严格保密的。

直到GPT-3发布之后，微软才在官方博客中公开承认了它的建造和用途。在2020年上半年的几个月里，它沉默地运转着，消耗着数千个家庭用电量的电力，一遍又一遍地执行同一个任务：阅读互联网上能找到的几乎所有英语文本，然后预测下一个词。

不是理解，不是推理，不是在知识图谱上建立联系。就是预测下一个词。这个任务简单到可以让任何一个学过拼音的人在三秒钟内理解，却花费了一座超级城市的供电量来执行。

四十五个TB的文本数据喂进了这台机器。这个数字意味着什么？在印刷时代，一个普通美国市立图书馆的藏书量大约在一到两万册。一本三百页的书，转换成文本文件大约需要零点五个MB。四十五个TB，相当于九千万册图书。

当然，GPT-3并没有真的读那么多书。它的语料库是一个精心调配的混合体。从Common Crawl抓取的大规模网页文本经过严格的过滤和去重——去掉那些垃圾信息、重复内容和低质量页面——然后与高质量的书籍数据集混合，再加上英文维基百科的全部内容。

这个配方本身就是一种对数据质量的工程理解：单单把互联网的废料倾泻进模型没有用，噪音会淹没信号。你需要用精选的高质量语料来提升整体训练的清晰度，就像在浑浊的河流中注入清澈的山泉。

但在2020年春天，几乎没有人在乎这些细节。OpenAI的研究团队正在观察一个令他们自己都感到不安的现象。当模型参数跨过某个门槛之后——大约是百亿参数量级——模型开始展现出一些论文里被小心翼翼描述为“涌现”的能力。

它不需要任何微调。它不需要任何针对特定任务的训练。它只需要在输入的文本里看到几个示例——两个、三个、有时候甚至只需要一个——然后就能完成全新的任务。

这种能力被研究团队命名为“上下文学习”。这个名字的选择本身就透露着审慎。它不是“学习”，不是“理解”，不是“泛化”。它只是“上下文学习”——模型在前向传播的数十亿次矩阵乘法过程中，利用输入的上下文信息，临时调整自己的行为模式，以致看起来像是学会了新任务。

至于这究竟是真正的学习，还是一种极其精巧的统计模拟，论文没有给出结论。它只是用七十几页的篇幅，密密麻麻地展示了这种能力的各种表现形式。

论文的第三页到第四十页提供了一份测试结果的清单。GPT-3在四十二个基准任务上的表现被逐一列出。

翻译任务——给它看两个英文句子加它们的法文翻译，再给它第三个英文句子，它直接输出法文译文。问答任务——给它几段包含答案的上下文和相应的问答对，再给它一段新的上下文，它能生成合理的答案。摘要任务——给它一些文章摘要示例，再给它一篇新文章，它能写出大致准确的摘要。

完形填空、常识推理、阅读理解、数学运算、代码生成。每一项测试旁边都标着分数，以及和当时最先进模型的对比。有些分数令人印象深刻：在几个阅读理解数据集上，GPT-3在没有经过任何微调的情况下，接近甚至超越了经过专门微调的专用模型。

有些分数则暴露了它的致命弱点：在一项叫“算术”的测试中，GPT-3只能准确计算个位数的加法和减法，两位数以上的运算错误率飙升到不可接受的水平。论文诚实地记录了这些失败。没有粉饰，没有淡化。这种透明度是GPT-3论文最被低估的品质之一——它把一头猛兽的力量和弱点同时展示在世人面前。

但在这些数字之外，真正让学术界产生强烈震动的是论文中的定性描述。作者们写道，GPT-3能够按照指令生成基本的计算机代码，能够写出简短的新闻文章并在人类评审中通过相当一部分的图灵测试场景，能够在对话中维持相对一致的个性设定。

他们特别提到了一个时刻：当被要求生成一篇关于某个虚构故事的新闻稿时，GPT-3不仅完成了任务，还在结尾凭空编造了完整的虚构社交媒体讨论，引用了一些不存在的用户评论。这段文字读起来像是真正的互联网讨论——那种带着情绪、错别字和站队表态的讨论——而不是机器试图模仿人类的生硬产物。这就是T5留下的那个问题的答案。

T5试图用统一的文本到文本框架来驯服NLP任务的碎片化。它的方案在形式上是优雅的，在工程上是高效的，但它回避了一个根本性的困境：当模型输出一段文本时，它是在“知道”某件事的基础上给出答案，还是在“假装知道”？T5的框架无法回答这个问题。它的统一范式恰恰掩盖了“知道”与“假装知道”之间的认知鸿沟——因为在这个框架下，所有输出都是文本，没有一种内在机制来区分哪些文本是对事实的忠实反映，哪些文本是对形式的逼真模拟。

GPT-3给出了一个极其粗暴的答案。它说：不用区分。只要模型足够大，足够复杂，它自然会学会在正确的上下文中给出看起来像是正确的答案。至于那究竟是知道还是假装知道，判断权交给用户。

如果一段生成的文本在人类看来足够准确、足够有用，那么两者之间的区别就不重要了。这是彻头彻尾的实用主义。它放弃了T5所代表的那种追求架构一致性和理论清晰性的工程美学，选择了一条更接近经验直觉的道路：把模型的规模推到极致，然后把判断真假的责任推给使用者。

这种实用主义在GPT-3论文的商业部分表现得更为露骨。论文的最后几页讨论了模型的风险和局限——可能被用于生成虚假信息、垃圾邮件和钓鱼内容，可能在输出的文本中嵌入训练数据里吸收的偏见和刻板印象，可能在特定提示下产生冒犯性的内容。

但紧接着这些警告的，是一个实质性的宣言：OpenAI将不会公开发布GPT-3 175B的模型权重。相反，它将以API的形式向经过筛选的开发者提供访问权限。

这个决定是在论文提交前的最后几个月里做出的。公开报道和后来的采访显示，它的主要推动者包括OpenAI的时任首席执行官山姆·奥尔特曼和首席科学家伊利亚·苏茨克维尔。

从安全角度来说，这个决定有充足的论据支撑。一个能够生成高质量伪造文本的模型如果真的开源，确实可能被大规模滥用。安全考量是真实的。但它只是整个决策的一层外衣。

真正的驱动力藏在商业逻辑的更深处：API不是一种妥协。它是一种战略。一种被精心设计用来将技术突破转化为持续商业优势的战略。

如果OpenAI像Google发布BERT那样把GPT-3的权重和代码全部开源，模型的控制权就会立刻从它们手中流失。任何人都可以下载、修改、部署它。OpenAI除了原作者的学术声誉之外，几乎无法从中获得任何商业回报。API模式则完全不同。首先，它把模型变成了一个服务，而不是一个产品。用户不拥有模型。用户只拥有访问模型的权限——一个文本输入框和一个文本输出框。API背后的基础设施——那些价值数亿美元的GPU集群——仍然牢牢掌握在OpenAI和它的合作伙伴微软手中。任何人想要使用GPT-3的能力，都必须经过OpenAI的服务器，按照调用的词元数量付费。这意味着，OpenAI在出售智力。不是一次性出售，而是持续出售。其次，API把OpenAI从一个研究机构变成了一家服务提供商。它不再需要自己找到GPT-3的“杀手级应用”。它只需要提供一个接口，让成千上万的开发者去试验、去发现。

每一个通过API传入的提示词，每一个通过API返回的生成结果，都变成了OpenAI可以分析的数据。哪些用例最受欢迎？哪些提示词格式最有效？模型在哪些场景下表现好，在哪些场景下失败？这些信息会自动汇聚到OpenAI的服务器上。它不需要自己挖金矿。它只需要卖铲子，然后观察金矿在哪里被找到。而且，每一个在它的平台上找到金矿的开发者，都会因为高昂的迁移成本而被锁定在这个平台上——他们的应用是围绕GPT-3的特定行为模式构建的，一旦切换到其他模型，整个提示工程体系都可能失效。这个商业逻辑的精妙之处在于，它几乎将开源社区的进攻路线全部封死。如果一个竞争者想要复制GPT-3，它至少需要两样东西：一台微软Azure那样的超级计算机，和一套完整的API运营基础设施。前者需要数亿美元的资本支出，后者需要一整套商业体系——计费系统、使用监控、安全审计、客户支持。这不是一个聪明的博士生在实验室里用几块GPU就能做到的事情。

在BERT时代，一个学生可以在下载模型的预训练权重后，在几个小时之内在自己的任务上微调出接近最优的结果。BERT生态是一个扁平化的、去中心化的生态，权力分布在每一个下载了模型权重的研究者手中。GPT-3的API模式终结了这种扁平化。在GPT-3时代，你要么成为API的付费用户，乖乖地按词元数付钱给OpenAI，要么自己训练一个巨大的模型——而这恰恰是几乎没有人能负担得起的。权力重新集中了。Google的研究人员是最早意识到这个威胁的人群之一。他们花了两三年时间，投入了大量资源和声誉，打造了BERT和T5，建立了庞大的开源生态，让全球的NLP研究者都习惯了从Google的模型出发开始他们的工作。谷歌大脑和DeepMind的研究者们在顶会上展示他们的成果时，可以自豪地指出，有数千篇论文基于他们的开源模型进行了后续研究。这是一种帝国式的统治模式——通过开源来建立标准，通过标准来主导研究方向。

现在，OpenAI用一篇论文加一个API，就绕过了整座开源帝国。你不需要下载GPT-3。你甚至看不到它的权重。你只能通过互联网向它发出一条HTTP请求，然后接收它的回复。在这个过程中，模型在哪里运行，它的参数是什么样的，它是如何更新迭代的，统统不透明。这种不透明性激怒了许多研究者。2020年夏天，GPT-3的论文开始在学术圈内引发越来越尖锐的批评声。批评的核心指向几个方向。第一个是模型本身的行为缺陷。尽管GPT-3在许多任务上表现惊人，但它的输出同时充斥着一个无法忽视的问题：事实错误。模型在生成关于历史事件、科学事实和人物传记的文本时，会频繁地、自信地编造日期、地点和事件。它会虚构学术论文的引用——作者、标题、期刊、年份，看起来全都像那么回事，但每一个引用都是不存在的。它会给出自相矛盾的回答，同一个问题换一种提问方式就会得到截然不同的答案。

埃米莉·本德，华盛顿大学的计算语言学教授，在那年夏天的几场在线研讨会上反复强调一个核心论点：GPT-3不是一个“知识模型”，它是一个“形式模型”。它学会了语言的形式结构——句法、修辞、文体、论证的节奏——但它没有学会语言所指向的那个客观世界。她给这类模型起了一个后来被广泛引用的名字：随机鹦鹉。不是因为它不聪明，而是因为它的聪明和鹦鹉的聪明属于同一种类型——惊人的模仿能力，与零指涉能力之间的断裂。这个名字的传播力极强。它精准地捕捉住了那种直觉性的不安。当你阅读GPT-3生成的文本时，你会感觉到一种奇异的错位。语法是对的。词汇搭配经常是精妙的、甚至在某些时刻比人类写作者更富有创造力。段落的结构清晰。论证的节奏有板有眼。但越读下去，一种隐隐的不对劲就越积累。你不知道哪一句话是对事实的陈述，哪一句话是模型从语言概率中编造出来的仿品。这种不确定感使得GPT-3的生成物既令人印象深刻，又令人不安。

它的输出不是假的——假意味着存在一个可以被核验的真相，而它偏离了真相。它的输出也不是真的——真意味着它准确地反映了事实。它处在一个真假概念本身就不适用的灰色地带里。它生成的是文本，仅仅只是文本，文本和世界之间的关系不是它关心的事情。批评的第二个方向指向了API模式本身带来的研究透明度问题。当OpenAI宣布GPT-3将仅通过API提供时，它实际上切断了独立研究者进行外部审计的大部分途径。你无法检查模型的训练数据中有没有系统性的种族偏见——尽管论文提供了一些基本的人口统计分析，但这远远不够。你无法在模型的内部表征中寻找它进行歧视性输出的机制。你无法测量模型的哪一层在学习什么类型的信息。你只能通过外部测试——给它不同的提示词，观察它的输出——来尝试推断它的内部运作方式。在社会科学界和AI伦理研究界，这种做法激起了强烈反对。

多个研究小组发表声明指出，OpenAI正在将AI研究从一个基于公开同行评审、可复现、可检验的科学过程，转变为一个基于信任的商业黑箱。你信任OpenAI做了正确的事情。你信任它过滤了有害数据。你信任它测试了各种安全边界。但你无法自己验证这些信任是否合理。更尖锐的批评指向了成本和经济壁垒问题。GPT-3的训练成本从未被公开披露，但外部估算将其定在数千万美元量级。这个数字对于一家初创公司来说意味着巨大的资本压力。要收回这笔投入，API必须找到足够多的付费用户。而这意味着，那些最有可能从GPT-3中受益的公共领域应用场景——教育辅助、医疗信息、公共信息服务、学术研究——将不得不向一家私人公司支付持续增长的使用费，而不是像使用开源模型那样，一次性下载后无限自由部署。

批评者警告说，这将加剧AI领域的技术不平等：最强大的语言能力将集中在少数能够负担API费用的商业实体手中，而公共机构、非营利组织和资源匮乏地区的研究者将被排除在这场技术革命之外，或者被迫成为商业平台的被动消费者。但这些批评声在2020年夏天遇到了一个尴尬的现实：API的等待名单正在以惊人的速度增长。开发者们，尤其是那些在创业公司的开发者们，对学术界的争论表现出了明显的冷淡。他们在等待名单上注册，用简洁、务实、带着创业特有的乐观语调描述他们想要用GPT-3构建的产品：自动化的客户邮件回复系统，营销文案生成器，代码辅助工具，角色扮演聊天机器人，在线教育的个性化辅导界面，游戏剧情的实时生成引擎。这份等待名单本身就是一份文件，一份预言书，预演了未来两年内互联网上即将如雨后春笋般涌现的AI应用种类。每一个申请条目都代表一个潜在的商业用例，都代表一个将GPT-3的原始能力转化为具体产品价值的尝试。这些开发者不是在等待学术界达成共识。

他们已经在行动了。微软在这整个过程中扮演了一个微妙而关键的角色。2019年那笔十亿美元的投资为微软换来的，不只是一个商业合作伙伴的身份，也是一个排他性的基础设施供应商地位。GPT-3运行在微软的Azure云服务上。它消耗的算力由微软专门为此建造的超级计算机提供。这意味着，GPT-3的API调用量每增加一次，微软的云收入就增加一笔。但这笔收入只是蛋糕上的糖霜。真正的战利品是战略性的：从2014年萨提亚·纳德拉接任CEO以来，微软一直在寻找能够在云服务和AI两个战场上同时对抗Google和亚马逊的武器。GPT-3恰好就是那种武器。它不像Google的BERT和T5那样开源，因此Google无法直接复制它的商业壁垒。它比亚马逊的AI服务更令人印象深刻，因此在争夺开发者心智和市场关注度的竞赛中具有更大的吸引力。这种战略布局的痕迹可以在2020年夏天微软的一系列对外公告中找到。

微软宣布将GPT-3集成到其Power Apps低代码平台中，让用户可以用自然语言描述他们想要的应用功能，然后让GPT-3自动生成相应的代码。这个用例在技术层面上并不复杂——它本质上是一个从自然语言到代码的翻译任务——但它的象征意义极强。微软在向市场宣告：GPT-3不是实验室里的玩具，不是一篇需要被反复审读的学术论文。它是可以集成到核心企业产品中的工业级组件。它不是未来。它是正在发货的产品。2020年底发生的一系列事件证实了这个判断。一个叫Debuild的初创公司发布了一段演示视频。视频里，一个开发者在一个简单的网页界面上键入了一段自然语言描述——一个列出待办事项并将其存储到数据库中的简单网页应用。几秒钟后，GPT-3生成了完整的HTML、CSS和JavaScript代码。代码能运行。它确实创建了一个带输入框、按钮和数据库存储功能的待办事项列表。

这段视频在Twitter上获得了数百万次观看，在开发者社区里引发了一波激烈的、带着恐慌色彩的讨论。同一个月，OthersideAI发布了一款GPT-3驱动的邮件写作工具，用户只需输入几个关键词，系统就能自动生成完整的商务邮件——措辞得体、格式规范、连称呼和落款都分毫不差。CaliberMind，一家营销分析公司，开始使用GPT-3来自动生成营销文案的A/B测试变体，让人类文案从枯燥的重复劳动中解放出来。Fable Studio，一家交互式故事初创公司，将GPT-3整合进了它们的角色扮演引擎，创造出了一个能与用户进行开放式、非脚本化对话的虚拟角色。每一个这样的应用案例都在强化同一个模式：GPT-3不是一个独立的工具。它是一个嵌入在更大系统里的核心组件。它的价值并不预先存在于模型中，而是在特定使用场景中被揭示出来的。这完全取决于使用者的创造力——你能写出什么样的提示词，决定了你能从中压榨出什么样的能力。

一个平庸的提示词只能得到平庸的输出。一个精心设计的提示词，在某些时刻，能让你误以为自己面前坐着一个真正的专家。这种新型的人机交互方式催生了一门全新的、半正规化的手艺。人们开始叫它“提示工程”。提示工程的核心工作是发现那些能够稳定触发GPT-3特定能力的文本模式。开发者们通过反复的实验发现，同一个任务，不同的提示词格式会导致天壤之别的结果。让模型在回答之前先“逐步思考”或“写出推理过程”，往往能让它在算术和逻辑推理任务上表现得更好。以“你是一个专家”或“你是一位在某某领域拥有二十年经验的专业人士”开头的对话，通常能获得更精准、更符合专业标准的回答。在提示中给出几个完整的示例——即少样本提示——远比零样本提示得到的结果更可靠、更符合预期。这些发现不是通过理论推导得出的。它们是通过反复试错，通过大量开发者们在论坛、博客和社交媒体上分享经验、比较笔记而积累下来的。

它们构成了某种民间配方体系——不成文，不系统，没有理论框架，但它们在特定场景下有效。这个体系的出现暴露了GPT-3的一个核心悖论。它的能力令人目眩地强大——它能写诗，能写代码，能做翻译，能模拟对话，能在几十种任务上展现出让研究者们惊叹的表现。

但它同时极度不听话。它不会主动去做你想要的事。它甚至不“知道”你想要什么。它只是在给定的上下文条件下，去预测下一个最可能出现的词。这是它被训练时唯一的任务。它没有意图，没有目标函数，没有对用户需求的理解。

要让它为你工作，你必须学会它的语言——不是英语，不是中文，不是任何一种人类语言，而是提示词的语言。这种语言没有语法书。没有语言学家能系统地教授它。它只能通过经验积累，通过一次次的尝试和失败来习得。

每一个想要驾驭GPT-3的人，都不得不成为这门新语言的无偿学习者——以及无薪教师，因为你的每一次成功或失败，都在为OpenAI的服务器提供关于如何更好地服务（或者收费）的数据。

这种不可预测性让GPT-3的早期用户陷入了一种矛盾的体验。他们被模型偶尔展现的惊艳输出所震撼——那种感觉像是瞥见了某种超越当前技术水平的智能。但他们同时被模型频繁的失误所折磨。

商业应用对可靠性有刚性要求。一个能编写代码的模型是强大的，但如果它生成的代码里有百分之十的概率包含隐秘的漏洞——在商业代码中，这个概率是不可接受的——就没有企业敢把它用在生产环境中。一个能生成营销文案的模型是有价值的，但如果它有百分之五的概率会写出冒犯性的、违反品牌准则的或者法律上有问题的内容，它就构成了潜在的品牌风险和诉讼风险。

GPT-3的规模赋予了它前代模型难以企及的流畅度和多才多艺，但它没有解决，甚至在某些方面可能加剧了大型语言模型最根本的信任危机。它更大了，更流畅了，更令人惊叹了——但它并没有变得更可靠。

到2020年末，这个问题已经清晰地浮现在所有相关方面前。OpenAI的API等待名单变成了一个长达数万人的队列。

每一个加入这个队列的开发者都怀抱着相同的期待：GPT-3是强大的，它必须也是可控的。但这个等式并不自动成立。规模带来了涌现能力，但没有带来自我校准的机制。规模使得模型更难被审计，更难被理解，更难被预测。

提示工程充其量只能算是一种权宜之计。它用人类的适应能力来弥补模型的不稳定。它用经验法则代替了可靠的控制机制。它把负担从机器的肩膀上卸下来，放在了人的肩膀上。这就是范式税的第一次显现。

GPT-3确立了一种新的主导范式——以API形式提供的、通过提示词进行交互的、不透明的巨型模型。这个范式用前所未有的流畅度和通用性征服了市场。但它从一开始就征收着一笔隐性成本：对可解释性的放弃，对可控性的延迟支付，对模型内部运作机制的理解被搁置了，取而代之的是一种黑箱式的、通过外部实验来揣摩模型行为的经验主义方法。

整个产业被推入了一场关于提示词设计的竞逐中，而关于如何让模型本身变得更可靠、更透明的基础研究，在资源和注意力的分配上被边缘化了。

这不是任何人的阴谋。这是范式本身的经济学结果——当巨型模型展现出如此惊人的商业潜力时，所有人的本能反应是先去开采它，而不是先去理解它。

OpenAI的研究团队在内部比任何人都更早地意识到这个问题的严重性。他们在论文里已经坦率地记录了GPT-3在偏见、虚假信息生成和事实准确性方面的缺陷。他们用了几页的篇幅详细讨论这些问题，列出了模型的失败案例，承认目前没有简单的技术手段可以彻底解决它们。

但他们同样清楚，解决这些问题的方法还在实验室里孕育。指令微调是可能的——通过对模型进行额外的、有针对性的训练，让它学会更好地遵循人类指令。通过人类反馈来引导模型行为的强化学习方法——即后来被称为RLHF的技术——正在OpenAI的实验室里进行早期探索，初步结果表明，它能够在一定程度上使模型的输出更符合人类的偏好。

但在2020年6月，这两项技术都还没有成熟到能够作为产品的核心组件。它们仍然处于研究阶段，需要更多的实验、更多的迭代、更多的时间来打磨。

所以GPT-3是以一种不完美的状态被推向了世界的。它的论文是迄今为止对大型语言模型能力最全面、最诚实的记录之一。它的API是AI产业史上最大胆、最有远见的商业实验之一。

它的出现终结了BERT时代那种以开源预训练权重和下游微调为标准的、去中心化的产业范式。它用一个单一的、不透明的、通过API访问的巨型模型，取代了一个由多样化开源模型构成的、每个研究者都可以自由参与和改进的生态系统。

它创造了一个全新的产业界面，这个界面的规则由提示工程来临时定义，但这个定义本身仍然是不稳定的、半成型的、随时可能因为模型的一次静默更新而失效。API等待名单上那些开发者们，在提交申请时并不知道他们将面对的是怎样一种技术关系。他们只看到了GPT-3令人惊叹的生成能力，看到了那些在演示视频里自动生成的优雅代码和流畅的营销文案。

他们还不知道，要真正使用这头野兽，他们每个人都不得不成为这门晦涩语言的学习者和教师，通过无数次的试错来摸索它的语法，然后在它不可预测地偏离预期时，重新调整他们的技术方案。GPT-3把大型语言模型的原始能力推到了一个前所未有的高度，却把可靠性的问题原封不动地留在原地。这头野兽已经被释放出来了。它的力量是真实的。它的不可控性同样是真实的。接下来整个产业必须面对的问题，不再是如何造出更大的模型，而是如何学会驯服它。而这个问题的答案，在2020年的冬天，还远远没有出现。