幻觉的代价：当准确成为最后的壁垒

纽约南区联邦法院的电子档案系统中，编号1:23-cv-05141的案卷在2023年6月22日被正式录入。这份文件的全称是《马克·沃尔特斯诉OpenAI公司诽谤案起诉状》，共23页，附有6组证据材料。

原告律师约翰·门罗在起诉状的第7页第3段插入了一段ChatGPT的完整对话记录——那是记者弗雷德·里尔在2023年5月初使用该模型查询一起枪支权利诉讼时，模型自动生成的回复。在这段回复中，ChatGPT以不容置疑的法律文书口吻写道，沃尔特斯“被指控从华盛顿州第二修正案基金会挪用资金”，并附有一个格式完全符合美国联邦案件编号规则的案号。

门罗律师在第8页的脚注中特别注明：经核查，该案号不存在，所指控的罪名不存在，所指控的行为亦从未发生。这份文件在提交后的48小时内被法律科技媒体Law360获取并全文刊载。

它之所以引发震动，不是因为索赔金额——沃尔特斯要求赔偿名誉损失和惩罚性赔偿，总额不过七位数——而是因为它将大语言模型最顽固的缺陷钉在了法律的天平上。幻觉，这个从2022年起逐渐进入技术讨论核心的术语，不再仅仅是研究人员在论文中分析的现象。它变成了一个可以被呈堂证供的指控对象，一份可以量化为法律风险的商业负债。

当门罗律师在起诉状中逐字逐句引用那段充满自信却完全虚构的回复时，整个产业都被迫面对一个尖锐的问题：一个无法保证不说谎的技术，究竟能在商业世界中走多远？这个问题在2023年之前就已经存在，但其紧迫性随着大模型从实验室的展示品变为企业级应用的候选工具而发生了质变。

早在GPT-3时期，研究人员就发现模型会生成与事实不符的文本——把历史人物的生卒年份搞错，把某本书的作者张冠李戴，把一个城市的地理位置凭空挪移数百公里。当时，这种现象更多地被视作一个有趣的技术瑕疵。牛津大学人类未来研究所的研究人员指出，类似GPT-3的大型语言模型可生成语法正确的文本，却也可能从其海量训练材料中继承谬误，甚至有意对人类撒谎。这些模型使用数百万本书籍和大量互联网文本作为训练材料，这些材料可供它们学习写作技巧，却也包含有常见的谬误、不准确的医疗建议和阴谋论。于是由这些材料训练而来的人工智能系统也可能模仿类似的错误言论。

在学术论文中，它被称为“幻觉”，一个带着些许宽容意味的术语，仿佛模型只是在半梦半醒之间偶尔呓语。

但当微软在2023年2月将基于GPT-4的聊天功能整合进Bing搜索引擎时，当谷歌在同月宣布将Bard嵌入其搜索帝国时，当律师事务所开始测试AI助手起草法律文书时，当医院尝试用大模型辅助诊断时，幻觉就不再是瑕疵，而是威胁。

这种威胁的本质，是大语言模型核心技术范式向整个产业征收的最沉重的“范式税”。所谓范式税，指的是这样一种现象：当一项技术在特定架构上取得突破性成功后，该架构的固有局限就会成为整个产业生态必须持续支付的隐性成本。对于大模型而言，这项核心技术范式是自回归生成——模型根据前文一个词一个词地预测下一个词。这种机制赋予了模型惊人的流畅性和创造性，但也从根本上决定了它不“知道”什么是事实。模型没有真伪的概念，只有概率。

当它被要求回答一个问题时，它不会去核查事实，而是根据训练数据中类似文本的统计模式，生成一段在语言上最可能连贯的回复。这种机制在创意写作、头脑风暴、代码生成等领域是强大的引擎，但在法律、金融、医疗等需要事实准确性的领域，它就是一个内置的缺陷。

2023年全年，驯服幻觉成为了一场定义大模型商业化边界的攻坚战。这场战争没有单一的主战场，而是在多条技术路径上同时展开，每一家参战的公司和机构都在用自己的方式试图在模型的创造性和可靠性之间找到那个脆弱的平衡点。

在东海岸的纽约，一家名为Perplexity AI的创业公司在2023年初开始引起科技投资圈的关注。它的产品界面简洁得近乎朴素——一个搜索框，用户输入问题，系统返回答案。但与ChatGPT不同的是，Perplexity的每一个回答都附带着引用来源。用户可以看到答案中的每一句话是从哪个网页、哪篇文章中提取的，并可以一键点击验证。

这个功能背后的技术架构被称为检索增强生成，其核心思想是颠覆大模型回答问题的方式：不是让模型依赖它训练时“记住”的知识，而是让模型在回答问题时先去外部知识库中检索相关信息，然后基于检索到的资料生成答案。这一思路的巧妙之处在于，它承认了模型本身不可靠，但通过将事实来源外置来绕过幻觉问题。模型不再需要记住沃尔特斯是否被指控过任何罪行，它只需要在接到问题后，从可靠的数据库中检索相关信息，然后像一个阅读了资料的人一样回答问题。如果资料中没有相关信息，它就应当承认不知道，而不是编造。

Perplexity的CEO阿拉文德·斯里尼瓦斯在2023年多次公开阐述这一理念的核心逻辑：他们不是在构建一个什么都知道的模型，而是在构建一个知道去哪里查找信息的系统。RAG架构在2023年迅速成为企业级大模型应用的标准配置。微软在2023年3月发布的New Bing就内置了类似机制，它将GPT-4的推理能力与Bing搜索引擎的实时索引相结合。

当用户提出问题时，Bing会先进行搜索，然后将搜索结果作为上下文提供给GPT-4，模型再基于这些上下文生成答案。这解释了为什么New Bing的回复往往比ChatGPT更“接地气”：它不是凭空生成答案，而是在阅读了当前互联网上存在的网页后作答。

但这种架构并非没有代价。最直接的代价是速度。一个纯粹依靠自身参数生成答案的模型，其响应时间可以控制在几百毫秒内。但一旦引入检索步骤，系统需要先执行搜索、等待结果、筛选相关内容、将内容编码为模型可理解的格式，然后再进行生成。这个过程将响应时间拉长到了数秒。在消费者搜索场景中，几秒钟的延迟或许可以接受，但在高频交易、实时客服等场景中，这种延迟是致命的。

更隐蔽的代价在于，RAG架构抑制了模型的创造力。当一个模型被严格限定在检索到的资料范围内作答时，它就不太可能产生跨领域的联想或创新的见解。

这对于法律和金融应用而言可能是优点——你不需要你的法律AI发挥“创造力”——但对于需要模型进行创新性推理的场景，这种约束就变成了桎梏。

这是一个根本性的产业张力：大模型的价值在于其创造性和泛化能力，而商业应用则要求绝对的事实准确性和可预测性。每一次为消除幻觉而施加的约束和验证，都抑制了模型的灵活性。

在西海岸的旧金山，OpenAI则选择了另一条路径。2023年5月31日，OpenAI在其官网上发布了一篇技术博客，标题是《提升数学问题求解中的推理能力》。这篇博客介绍了一种名为“过程监督”的方法，其核心思想是对模型推理过程中的每一步进行奖励，而不仅仅对最终答案进行奖励。传统的训练方法——被称为“结果监督”——只关心模型得出的答案是否正确。如果一道数学题的正确答案是42，而模型给出的答案也是42，那么无论模型在中间步骤中进行了多么荒谬的推导，它都会得到正向奖励。这种训练方式鼓励了幻觉：模型学会了“蒙对答案”比“正确推理”更重要。

过程监督则不同。研究人员会为每一道数学题的每一个解题步骤标注正确与否，模型只有每一步都推理正确，才能获得奖励。OpenAI的研究表明，这种方法显著提升了模型在数学推理任务中的可靠性，更重要的是，它使得模型的推理过程变得可审计。人类可以检查模型的每一步推理是否合理，而不是只能被动地接受一个无法验证的答案。

过程监督的提出，反映了OpenAI对幻觉问题的深层理解：幻觉不仅仅是事实错误，也是推理失败。当模型编造沃尔特斯的贪污故事时，它并不是在故意撒谎——它是在执行一个它被训练来执行的任务：生成连贯的文本。问题在于，它没有被训练成区分基于证据的推理和基于概率的文本拼接。过程监督试图弥补这一缺陷，让模型学会前者。

但过程监督的成本是高昂的。标注一个数学问题的每一步推理是否正确，远比标注最终答案是否正确要耗时得多。OpenAI在博客中披露的数据显示，他们为这项研究雇佣了大量的人工标注员，每个人都需要具备足够的数学能力来判断推理步骤的正确性。

这种人力成本意味着，将过程监督推广到数学之外的领域——比如法律推理或医疗诊断——将面临巨大的挑战。你需要在每一个专业领域都找到足够多的专家来标注数据，而这些专家的时间本身就是稀缺资源。

在纽约的另一端，曼哈顿中城的律师事务所里，另一种应对幻觉的策略正在悄然成型。2023年初，一家名为Harvey AI的创业公司开始向顶级律所提供基于GPT-4的法律AI助手。Harvey的创始人是前律师温斯顿·温伯格和加布里埃尔·佩雷拉，他们深知法律行业对准确性的苛刻要求。一份法律文书中一个错误的案件引用，可能导致整个诉讼策略的崩溃。

因此，Harvey没有试图让模型“记住”所有法律知识，而是将模型与专业的法律数据库——包括Westlaw和LexisNexis——进行了深度整合。当律师要求Harvey起草一份法律备忘录时，模型会从这些数据库中检索相关的判例和法条，并在生成的文本中精确引用。每一个引用都可以被追溯到原始来源，律师可以在数据库中验证。

这种策略是RAG架构在垂直领域的极致应用。它承认通用大模型不可能、也不应该被信任来记住所有法律知识，但通过将模型与权威数据源绑定，它创造了一个受约束的创造力空间：模型可以在法律论证的结构和表达上发挥创造性，但在事实和引用上必须严格遵循数据库。Harvey在2023年获得了包括OpenAI初创基金在内的多轮投资，其估值迅速攀升，这本身就说明市场对这种约束型AI的需求有多么迫切。

在金融领域，彭博社在2023年3月发布了BloombergGPT，这是一个专门针对金融领域训练的大模型。彭博社的策略与Harvey不同，它没有依赖外部数据库的实时检索，而是利用了彭博终端数十年来积累的海量金融数据来训练模型。其赌注在于，如果一个模型是在高度可靠、经过清洗的金融数据上训练的，那么它产生幻觉的概率就会显著降低。

BloombergGPT的发布论文显示，该模型在金融领域的多项任务上优于同等规模的通用模型，但彭博社也坦承，即使在专门训练后，模型仍会在某些情况下生成不准确的信息。幻觉问题没有被根除，只是被抑制了。

这三条路径——RAG架构、过程监督、垂直领域专用模型——在2023年构成了围剿幻觉的三条主线。它们之间并非互斥，许多企业在实际部署中会将它们组合使用。例如，一个金融AI应用可能同时使用RAG来检索实时市场数据，使用过程监督来确保推理的每一步都符合合规要求，并使用在金融数据上微调过的模型作为基础。但这种组合也意味着复杂性的叠加和成本的倍增。每一次为消除幻觉而施加的约束和验证，都增加了系统的延迟，推高了部署和维护的成本。

2023年2月20日，上海。复旦大学自然语言处理实验室的邱锡鹏教授团队将他们的对话式大模型MOSS发布至公开平台，邀请公众参与内测。这个模型的命名灵感来自科幻电影《流浪地球2》中的人工智能MOSS，MOSS研发项目也得到了上海人工智能实验室的有力支持，并将通过开源方式和业界社区分享。MOSS发布后不久，蜂拥而至的访问量导致服务器过载，团队不得不暂停内测。

但在那短暂的公开窗口期里，用户们发现了MOSS的一个显著特征：它在面对不确定的问题时，会表现得比许多西方同类产品更为谨慎。邱锡鹏教授在事后接受采访时表示：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”他同时强调团队在训练过程中特别注重让模型学会承认“我不知道”，而不是编造答案。

这种设计选择反映了中国AI研究界对幻觉问题的独特关切。在西方，关于幻觉的讨论往往聚焦于个人隐私、名誉损害和商业风险；在中国，研究者们更强调模型输出与社会信任之间的关系。

全球人工智能伙伴关系在2020年6月启动时就指出，人工智能的发展必须符合人权和民主价值观，以确保公众对该技术的信心和信任。而当亨利·基辛格、埃里克·施密特和丹尼尔·胡滕洛赫尔在2021年11月发表联合声明，呼吁成立政府委员会监管人工智能时，他们担心的正是这种信任的崩塌。根据斯坦福大学的人工智能指数，在127个被调查国家中，每年通过的人工智能相关法律数量从2016年的1项跃升至2022年仅一年就达到37项。

回到2023年的美国，沃尔特斯诉OpenAI案在整个夏季缓慢推进。OpenAI的律师在7月提交了驳回动议，其核心论点颇具技术色彩：ChatGPT的输出是基于概率的文本生成，而非事实陈述，因此不构成诽谤。这一论点在法律界引发了激烈争论。如果法院接受这一逻辑，那将意味着AI公司可以为其模型的任何输出免责——因为从技术上讲，模型确实只是在生成概率上合理的文本。但如果法院拒绝这一逻辑，那将意味着AI公司需要对模型的输出承担与传统媒体类似的严格责任，这可能彻底改变大模型商业化的法律基础。

这场诉讼在2023年没有得出最终判决，但它所揭示的张力贯穿了全年。每一家将大模型推向市场的公司，都在法律灰色地带中小心翼翼地前行。

而当亨利·基辛格、埃里克·施密特和丹尼尔·胡滕洛赫尔在2021年11月发表联合声明，呼吁成立政府委员会监管人工智能时，他们担心的正是这种信任的崩塌。回到2023年的美国，沃尔特斯诉OpenAI案在整个夏季缓慢推进。OpenAI的律师在7月提交了驳回动议，其核心论点颇具技术色彩：ChatGPT的输出是基于概率的文本生成，而非事实陈述，因此不构成诽谤。这一论点在法律界引发了激烈争论。如果法院接受这一逻辑，那将意味着AI公司可以为其模型的任何输出免责——因为从技术上讲，模型确实只是在生成概率上合理的文本。但如果法院拒绝这一逻辑，那将意味着AI公司需要对模型的输出承担与传统媒体类似的严格责任，这可能彻底改变大模型商业化的法律基础。这场诉讼在2023年没有得出最终判决，但它所揭示的张力贯穿了全年。每一家将大模型推向市场的公司，都在法律灰色地带中小心翼翼地前行。

微软在New Bing的产品界面中加入了免责声明，提醒用户AI生成的内容可能存在错误。谷歌在Bard的输入框下方用灰色小字写着Bard可能显示不准确或冒犯性的信息，这不代表谷歌的观点。这些免责声明是诚实的——它们承认了幻觉的存在——但也是一种法律上的自我保护。到2023年秋季，一个清晰的产业分工图景开始浮现。通用大模型——GPT-4、Claude、Gemini——被重新定位为“推理引擎”，负责理解自然语言、生成创意、进行规划和推理。而一系列外挂的系统——检索增强生成的知识库、代码解释器、验证模型、专用数据库——构成了确保其输出可靠性的“事实层”。这个两层架构在2023年11月的OpenAI开发者大会上得到了最明确的体现。在那次大会上，OpenAI发布了GPTs和Assistants API，允许开发者将自定义的知识库、工具和指令与GPT-4模型结合。

Sam Altman在演示中展示了一个可以访问特定公司知识库的GPT，它在回答问题时会在界面上显示检索状态提示。这个看似微小的UI细节，实际上标志着一个时代的开始：大模型不再被期望独自提供真相，而是被期望知道去哪里查找真相。这种分工是对幻觉问题的一种务实妥协。它没有根除幻觉——即使在RAG架构下，模型仍可能在归纳检索内容时出错，或者在知识库没有相关信息时继续编造。但它将风险隔离了。一个错误的法律引用可以被追溯到数据库中的原始文档，一个错误的金融数据可以被实时市场数据纠正。这个“事实层”的构建，直接决定了大型语言模型能否从“有趣但不可靠的伙伴”进化为“商业世界可依赖的基础设施”。但这场围剿战的代价是深远的。每一个参与其中的公司都发现，为了将幻觉率从5%降到1%，他们付出的工程努力和资本投入，几乎相当于将幻觉率从50%降到5%时的数倍。这是一个典型的边际收益递减曲线。而且，即使幻觉率降到了1%，在高风险领域仍不可接受。

一个每回答一百个问题就犯一次严重错误的医生，会被吊销执照；一个每起草一百份合同就插入一条虚构条款的律师，会被客户起诉。大模型要进入这些领域，需要的不是低幻觉率，而是零幻觉——而自回归生成的范式，可能永远无法达到这个目标。2023年12月，沃尔特斯诉OpenAI案仍在审理中。那份在6月提交的诉讼状，此时已经不再是一个孤立的事件。在它之后，又有数起类似的诉讼被提起，涉及从虚假的商业信息到虚构的历史事件。这些诉讼的共同点是，它们都将矛头指向了同一个核心问题：当一台机器可以生成无限逼真、无限流畅、但可能完全虚构的文本时，谁来为这些文本的真实性负责？是制造机器的公司，是部署机器的企业，是使用机器的个人，还是——正如OpenAI的律师所暗示的——没有人，因为这只是一串概率计算的结果？这个问题在2023年没有被回答。但它像一根刺一样扎进了大模型产业的肌体里。

在沃尔特斯案卷的第14页，门罗律师附上了一组关键证据——一份由乔治城大学法学院科技法律诊所出具的技术分析报告。这份报告的核心发现令人不安：当研究人员用同一组法律事实查询词反复测试ChatGPT时，模型在100次试验中有17次生成了包含虚构案号的回复。更关键的是，这17次幻觉并非随机分布——它们高度集中在那些查询词本身信息量不足、需要模型“填补空白”的场景中。报告的作者用了一个精准的比喻：模型的行为模式不像一个偶尔犯错的资料员，而像一个被要求必须给出答案、在无据可查时就开始编造的证人。这个比喻在2023年夏季的法律科技圈内被反复引用，因为它揭示了一个比幻觉本身更深层的问题：大模型的核心训练目标——永远生成连贯、完整、确定的回复——与其在事实核查场景中的应用需求之间，存在着根本性的冲突。

门罗律师在诉状中抓住了这一点。他在第15页写道，OpenAI将ChatGPT宣传为“能够提供准确信息的可靠工具”，但明知其底层技术机制无法保证信息的真实性。这一指控触及了问题的本质：不是技术有没有缺陷，而是技术的营销承诺与其实际能力之间是否存在不可接受的差距。这个差距，在法律上有一个专门的术语——虚假陈述。2023年7月，这起诉讼引发的震荡开始向产业深处传导。在硅谷沙丘路，红杉资本的合伙人帕特·格雷迪在一次内部投资评审会上，要求所有被投的AI公司回答三个问题：你们的模型幻觉率是多少？你们如何向客户披露这个数字？如果客户因为幻觉遭受损失，你们的合同条款是否明确了责任归属？这三个问题迅速在风投圈内传播开来，成为2023年下半年AI投资尽职调查的标准模板。格雷迪后来在接受《信息》杂志采访时说了一句被广泛引用的话：“在2023年之前，我们问AI公司的问题是‘你们的模型能做到什么’；现在，我们问的是‘你们的模型做不到什么，以及当它做不到时会发生什么’。”

这种从能力展示到风险管理的视角转换，标志着大模型产业从技术乐观主义向商业现实主义的痛苦转型。在纽约，Harvey AI的创始人温伯格和佩雷拉比大多数同行更早意识到了这一转型的必然性。他们在2023年春季的一次产品迭代中，引入了一个后来被证明是决定性的功能：当Harvey无法在数据库中检索到足够的信息来回答某个法律问题时，它不会尝试生成一个“最可能的答案”，而是直接返回一个标准化的回复模板——“基于现有数据库，无法就该问题提供可靠的法律意见。建议咨询相关领域的执业律师。”这个功能在技术上并不复杂，本质上只是设置了一个置信度阈值。但它在法律行业引发的反响远超预期。多家顶级律所在试用后给出的反馈高度一致：正是这个“拒绝回答”的能力，让他们觉得Harvey比ChatGPT更值得信任。一个知道何时沉默的AI，比一个永远滔滔不绝的AI，更适合进入需要承担责任的职业场景。

这个看似简单的洞察，在2023年秋季引发了一场关于AI产品设计哲学的深层讨论。在旧金山，OpenAI的产品团队在开发GPT-4的企业版功能时，面临着一个两难选择：是优先提升模型的流畅性和全面性，还是优先增强模型的克制性和可审计性？前者是用户可以直接感受到的“智能”，后者是用户只有在出错时才会意识到的“可靠性”。在消费者市场，流畅性几乎总是胜过克制性——用户更喜欢一个能给出答案的AI，即使那个答案有时是错误的，也好过一个总是说“我不知道”的AI。但在企业市场，这个偏好发生了逆转。企业客户——尤其是法律、金融、医疗领域的客户——对“我不知道”的容忍度远高于对“我编造”的容忍度。

每当一家公司在发布会上展示其模型的新功能时，每当一个企业客户签署了一份大模型服务的合同书时，沃尔特斯起诉状中那段被ChatGPT编造出来的贪污细节，就会像一个幽灵一样浮现。幻觉不是大模型的一个bug，它是大模型核心运作机制的必然副产品。要完全消除它，可能需要改变模型的根本架构——而这，将是比任何单次训练运行都要昂贵得多的代价。在复旦大学，邱锡鹏教授的团队在MOSS首次发布受挫后，继续改进他们的模型。他们在2023年晚些时候发布了新版本，在可控性和事实准确性上有了提升。当被问及对幻觉问题的看法时，邱锡鹏说了一句后来被广泛引用的话：“我们教会了模型说话，但我们还没有教会它什么时候应该保持沉默。”这句话在概括了整个2023年的困境。大模型产业在教模型说话方面取得了惊人的成就，但在教模型保持沉默——在面对不确定时不编造、在缺乏信息时承认无知——方面，才刚刚开始。这场战争远未结束。

2023年留下的不是一个被解决的问题，而是一个被更清晰定义的问题。产业界在围剿幻觉的过程中，逐渐摸清了这个敌人的边界：它不是技术上的一个漏洞，而是当前技术范式的一个固有属性。只要模型还是通过自回归生成来工作的，幻觉就会以某种形式存在。所谓的范式税，就是整个产业为选择了这条技术路径而必须持续支付的代价。这个代价在2023年第一次被大规模地量化——通过诉讼、通过合同条款、通过产品设计、通过那些被悄悄写入用户协议里的免责声明。而这些量化的数字，最终会流向一个更根本的问题：如果算力投入的边际收益递减，如果解决幻觉的成本呈指数级增长，如果关键商业场景对准确性的要求永远无法被当前范式满足，那么建立在GPU集群之上的产业金字塔，其地基究竟有多坚固？2023年末，这个问题仍未得到回答，但沃尔特斯案卷宗第23页上那个被ChatGPT凭空编造出来的联邦案件编号，已经像一行无法删除的错误代码，刻进了整个产业的资产负债表。