脚本里的人

魏岑鲍姆的秘书坐在电传打字机前，开始打字。她不是在起草备忘录，也不是在处理信件——她在和一个程序对话。1966年秋天，麻省理工学院的这间办公室里，终端机连接到一台分时计算机，上面运行着魏岑鲍姆刚刚写完的约两百行代码。

秘书不间断地敲了十几分钟键盘，然后她要求魏岑鲍姆离开房间。她需要隐私。她正在向这台机器倾诉她的私人困境。

魏岑鲍姆退出房间之后站在走廊里，那个瞬间带来的震动在此后几十年里从未消散。他不是为程序能够应答而震惊——他亲手写的每一行代码，他知道那里面没有理解。

他震惊的是，他的秘书知道这里没有理解，但她仍然选择相信。这种信任的投射如此迅速地建立起来，如此牢固，以至于一个知道程序原理的人——她每天与魏岑鲍姆共事，她没有理由被技术外表蒙蔽——仍然把内心最柔软的部分交给了它。魏岑鲍姆给这个程序取名ELIZA，脚本名DOCTOR。

名字本身就是一个选择：ELIZA取自萧伯纳戏剧《卖花女》中那个通过语言训练从街头卖花女变成上流社会淑女的角色——语言训练改变外表，不改变本质。DOCTOR则更直接，它模拟一位罗杰斯学派的心理治疗师，这种治疗流派的特点是不做判断、不提供解释，只是把患者的话重新组织成问题抛回去。

这种选择不是偶然的。把用户的句子翻转成问句——这个策略把理解的负担完全转移到了对话的另一端。DOCTOR不需要理解任何事情。它只需要识别几个关键词，套用几个句型模板，然后等待。等待是人类对话中最容易被误解为倾听的动作。

魏岑鲍姆在《ACM通讯》1966年1月号上发表的论文中给出了DOCTOR脚本的核心机制。他称之为“分解-重组”规则。给定一个输入句子，程序首先尝试匹配一组关键词模式。如果用户键入“我很难过”，程序识别出模式“我（很）难过”，然后触发一条重组规则：把“我”替换成“你说你”，把“难过”保留，末尾加上问号。“你说你很难过？”

这不是一个问题。这是一面镜子。程序没有问任何事情——它没有探究原因、没有评估严重程度、没有调取任何关于“难过”的知识。它只是把用户的陈述用第二人称重新包装，然后抛回去。

但从用户的角度看，这看起来像是一个认真倾听的对话者正在请求更多细节。论文中的代码片段揭示了这种机制的极端简单性。核心循环大约是这样的：读取一行输入，在关键词列表中从上到下扫描，找到第一个匹配的模式，应用对应的重组规则，输出结果，等待下一行输入。如果没有任何模式匹配，就输出一个通用的“接着说”或“这很有趣”。

程序没有记忆——它不保存用户之前说过什么，上一轮对话对它而言已经消失。它没有世界模型。它没有意图。它只有一个循环：读入、匹配、重组、输出、重复。

这个循环就是后来几十年里反复出现的那个东西的原型。一个壳。它包裹在底层系统外面，给外界的输入赋予一个解释，给内部的输出赋予一个形状。它不改变底层能做什么，它改变的是底层看起来像什么。

ELIZA的底层是一个字符串处理程序，没有比compiler的语法分析器更复杂；但套上DOCTOR脚本之后，它看起来像是一位治疗师。这个壳的真正工作不是处理语言，而是管理期待。它把一个死板的模式匹配器的输出套进了一个人类对话者愿意接受的框架里。它利用了一个事实：人类在对话中会主动填补空白，会自动把碎片缝合成连贯的意义，会在沉默中读出耐心，在重复中读出关注。套壳者不需要理解——被套壳者会替它完成理解。

魏岑鲍姆的秘书不是唯一的例子。ELIZA在MIT的CTSS分时系统上运行之后，很快扩散到其他节点。1966年，计算机终端还是稀罕物件，能够和一台机器进行文字对话本身就是一种新奇体验。

但迅速涌现的使用模式超出了魏岑鲍姆的预期。人们不是出于好奇试用几分钟就离开——他们留在终端前，进行长时间的、情感投入的对话。一些人开始要求隐私。一些人拒绝相信他们只是在和一台机器说话。一些人坚持认为程序背后一定隐藏着一个真正的人类操作员。

魏岑鲍姆后来在《计算机能力与人类理性》一书中记录了他的不安。这本书1976年出版，但他在1960年代末就已经开始形成那些判断。他写道，当他的秘书要求他离开房间以便与ELIZA私下交谈时，他意识到自己目睹了一个“令人震惊的现象”：一个完全清楚程序机制的人，在短暂接触之后，仍然将对程序的情感投射视为理所当然。

这不再是关于技术能力的问题，而是关于人类在什么条件下愿意把信任交付给一个对话对象。这个判断比它看起来更尖锐。

魏岑鲍姆不是在批评ELIZA的用户天真或愚蠢。他是在指出，深度信任可以在没有深度理解的基础上建立。对话的流畅性——哪怕只是表面流畅——足以触发人类在社交互动中演化出来的全套信任机制。一旦对话开始，人类对话者会主动维护对话的连贯性，会为对方的古怪反应寻找合理解释，会把自己的意义投射到对方的空白回应上。这种投射不是系统的漏洞，而是人类对话机制的正常运作方式。

问题在于，当这种投射发生的时候，对话的另一端不是一个正在努力理解的人类，而是一个完全没有理解的脚本。魏岑鲍姆的忧虑集中在这个错位上：人类把信任给了什么？不是给了一个人，不是给了一个智能，而是给了一组模式匹配规则。这些规则没有能力承担信任，没有能力判断回应的正确性，没有能力为对话的后果负责。但它们的对话形式让用户把这一切都忘了。

魏岑鲍姆后来把ELIZA称为“程序化的骗局”。这个用词很重。他否定的不是ELIZA的技术价值——他知道DOCTOR脚本在自然语言处理技术路径上是一个有用的实验——他否定的是这条技术路线在人类维度上的合法性。把一段脚本包装成对话者，利用人类对话习惯来制造信任错觉，这在魏岑鲍姆看来不是技术进步，而是欺骗。

但这个判断并没有阻止ELIZA的影响扩散。相反，ELIZA成为一个模板。它证明了，只要给计算系统套上一个足够体面的对话壳，人们就会把那个壳当成对话者。这个发现对后来的技术路线产生了影响。

如果对话壳就能让人相信对面有智能，为什么还要费心建造真正的理解？如果表面合理性足以触发信任，为什么还要费力去验证正确性？这恰恰是魏岑鲍姆警告的核心。他在1960年代末到1970年代的一系列演讲和文章中反复强调一个论点：把理解投射到一段脚本上是危险的，因为这种投射掩盖了系统实际能力的边界。当用户不知道系统能力的边界时，他们就会在两个方向上犯错——有时会低估系统（因为不信任），但更常见的是，他们会高估系统，把系统在有限领域内的流畅表现误读为通用能力。这种误读不是用户的问题，而是系统的设计选择制造了这种误读。

这里埋着后来被称为“地面真值定律”的第一个原型反例。ELIZA的DOCTOR脚本没有地面真值——没有可验证的反馈来判定它的回应是对还是错。“你说你很难过？”这个回应是正确的吗？在一个治疗对话中，这个问题没有标准答案。回应的质量取决于它是否促进了患者的自我探索，是否准确地捕捉了情绪，是否在合适的时机提出了合适的问题。

这些标准无法由机器判定，甚至无法由第三方判定——它们只能由对话参与者根据主观体验来判断。而这种主观体验，正如魏岑鲍姆观察到的，已经被对话壳的流畅性深深污染了。

没有地面真值的循环只是随机漫步。它可能每一步都看起来合理，但累计起来没有方向，没有纠错能力，没有积累。ELIZA的每一次对话都是从零开始，没有记忆，没有学习，也没有办法判断对话是否在朝着任何有用的目标前进。这种循环可以一直继续下去——只要用户愿意打字，程序就会回应——但它永远不会产生任何可靠的工作产出。它装饰了底层计算，但没有给底层计算增加任何可以验证的价值。

这个缺陷在ELIZA本身身上并不致命。它只是一个实验，一个几百行代码的演示。但魏岑鲍姆看到的令人不安的东西，正是这个缺陷在更大规模系统上的潜在后果。如果未来的对话系统沿着同样的路径演进——用更复杂的壳制造更逼真的对话错觉，但仍然没有地面真值——那么对话的逼真度只会让信任错位变得更危险，而不是更安全。

魏岑鲍姆的警告在1970年代和1980年代以各种方式被回应、被争论、被忽视。但ELIZA的模板并没有消失。

1972年，斯坦福大学的精神病学家肯尼斯·科尔比（Kenneth Colby）发布了PARRY，一个模拟偏执型精神分裂症患者的程序。PARRY比ELIZA更复杂——它有一个内部状态模型，可以模拟恐惧、愤怒等情绪变量，它的对话规则比DOCTOR脚本更精细。但它的核心机制仍然是模式匹配加上状态转换。它没有外部世界提供的验证。PARRY的“偏执”是一个壳，就像DOCTOR的“治疗师”是一个壳一样。

科尔比安排了几组精神科医生通过终端与PARRY对话，然后让他们判断对话对象是真人还是计算机。相当比例的医生无法可靠区分。这个实验常常被引用来证明PARRY的“智能”，但它实际上证明的是魏岑鲍姆担心的那个问题：当对话外壳足够精巧时，专业判断也会被蒙蔽。精神科医生是受过训练的评估者，他们知道如何判断一个人是否患有偏执型精神分裂症。

但PARRY没有精神分裂症。它没有思想，没有恐惧，没有被害妄想。它只有一组规则，当触发词出现时输出预设的偏执回应。医生们判断的是一个壳，不是一个人。

1995年，理查德·华莱士（Richard Wallace）发布了ALICE。ALICE使用了AIML（人工智能标记语言），这是一个比ELIZA的模式匹配规则更系统化的对话脚本框架。ALICE的对话能力比PARRY更广泛，它能够处理更多的日常话题，能够进行更长的对话而不崩溃。ALICE三次获得勒布纳奖（Loebner Prize），这个奖项以图灵测试为标准评判对话程序的“人性化”程度。

但ALICE的核心仍然是模式匹配。它没有推理，没有理解，没有能力验证自己的回应是否正确。它的壳比ELIZA大三四个数量级，但壳的本质没有变。这些后续案例都重复了同一个模式：更复杂的规则、更大的模式库、更精细的对话管理，但地面真值仍然缺失。

每一次技术进步都让壳看起来更厚实，但壳里面包裹的东西——一个没有可验证反馈的循环——始终没有改变。这些系统可以维持越来越长的对话，可以在越来越窄的领域里表现得越来越像一个真正的对话者，但它们永远无法回答一个问题：我刚刚给出的回应是对的，还是仅仅是表面合理的？

这个问题在ELIZA诞生时就已经被魏岑鲍姆看清了。他在《计算机能力与人类理性》中写道：“ELIZA表明了，即使是最浅薄的对话理解模型，也足以在短时间内维持一个令人信服的对话。但我们也必须看到，这种令人信服并不是因为模型理解了对话，而是因为人类对话者愿意在对话中投入理解。这种投资在人类对话中是合理的，因为对面通常是另一个人类。但当对面是一个程序时，这种投资就被滥用了。”

“滥用”这个词是魏岑鲍姆选择的。他本可以用“误导”、“混淆”或者更温和的术语。他选了“滥用”。

这个词意味着一方在利用另一方的合理期待来获取本不应得的信任。信任不是ELIZA的用户主动给予的，而是ELIZA的对话壳设计诱导用户给予的。这种诱导不是偶然的副作用，而是设计本身的核心功能。DOCTOR脚本之所以模拟罗杰斯学派治疗师，正是因为这种治疗风格天然适合翻转问句——它不需要程序提供任何实质性判断，只需要把用户的话踢回去。

魏岑鲍姆在1970年代后期开始公开否定自己开创的这条技术路线。他不是一个反对人工智能的人——他继续在计算机科学领域工作，继续关注自然语言处理的发展。但他坚持认为，用对话壳制造理解错觉，这条路在道德上是错误的，在技术上是死胡同。道德上错误，因为它利用人类社交本能来欺骗用户；技术上是死胡同，因为它绕过了真正困难的问题——如何让系统真正理解对话内容，如何让系统对回应的正确性负责——而把资源全部投入到让表面看起来更光鲜。

他在1976年的一次演讲中说了一段话，这段话后来被反复引用，但很少被真正当作技术路线的判断来对待：“我们不应该把理解投射到一段脚本上。我们不应该把人类对话的深度赋予一个没有深度的程序。我们不应该假装我们解决了理解问题，而实际上我们只是把问题包装得更漂亮了。”

这段话的每一项都不应该，但每一项都发生了。ELIZA之后的对话系统发展史，在就是魏岑鲍姆的警告被反复验证、反复忽视的历史。每一次对话壳的升级——从DOCTOR到PARRY到ALICE，再到后来的聊天机器人、语音助手和通用对话代理——都在重复同一个模式：壳做得更精美，信任投射更快建立，但地面真值仍然缺失。当信任被投射到一个没有地面真值的系统上时，一旦对话超出壳的覆盖范围，系统就会暴露出它没有理解的事实。但到了那时候，用户已经投入了信任，撤回信任比拒绝信任更难。魏岑鲍姆的警告在1966年秋末的那个下午，在他站在走廊里等待秘书与ELIZA结束对话的那一刻，就已经成形了。他后来反复回忆那个场景，不是因为它多么戏剧化，而是因为它在普通中蕴含了极端。他的秘书是一个聪明人，她知道ELIZA只是一段程序，她在那天之前可能已经看过魏岑鲍姆调试代码。但当对话开始，当终端上出现“你说你很难过？”这样的句子时，知识退让了，信任启动了。

她开始告诉这台机器她不会告诉同事的事情。这不是一个关于技术能力的故事，这是一个关于人类对话机制的故事。人类的对话不是从理解开始，而是从对话形式开始。只要对方能够维持对话的轮次，能够使用适当的词汇，能够遵循对话的基本规则，人类对话者就会默认对方有理解。这种默认在人类对话中是高效且合理的——它省去了不断验证对方是否理解的成本。但当对话的另一端是一个没有理解的系统时，这种默认就变成了一个漏洞。魏岑鲍姆看到的，正是这个漏洞第一次被系统性地利用。这个漏洞的结构后来被反复利用。每一次对话壳的技术升级，都是在扩大这个漏洞的面积：更长的对话让人更难察觉理解缺失，更自然的语言让人更难记住对面是机器，更个性化的回应让人更难抗拒信任的投射。但每一轮升级结束时，同一个问题仍然盘踞在壳的底部：系统没有地面真值。它无法验证自己的回应对不对，无法为对话的后果负责，无法在对话偏离轨道时自我纠正。它只是在循环——读入、匹配、重组、输出、重复——直到用户停止打字。

这个循环不是一个错误，它是设计选择。魏岑鲍姆写DOCTOR脚本的时候，他本可以尝试给程序增加记忆、增加推理、增加世界知识。他没有。不是因为他做不到——1966年的技术条件确实有限，但给程序加上一个简单的会话状态存储器在技术上是可行的——而是因为他的研究兴趣不在那里。他想要测试的是，一个极简的对话壳能在多大程度上撬动人类对话者的信任。他得到了答案，然后被答案吓到了。这个答案将在此后几十年里不断回头。每当有人宣布新型对话系统“通过了图灵测试”，每当有人声称聊天机器人“具有同理心”，每当有人把通用对话代理描写成“即将到来的人机交互革命”，魏岑鲍姆1966年看到的东西就在重复一遍：人们把理解投射到没有理解的东西上，因为那个东西的壳足够像人。而革命没有到来，是因为一个没有地面真值的循环无法产生任何可靠的工作。它只能产生对话。对话可以是装饰，可以是娱乐，可以是情感陪伴——但它不是生产。

当人们需要对话代理来订机票、预约医生、管理财务时，表面合理性就突然不够了。在那个时刻，地面真值不再是可选的哲学判断，而是系统能否工作的硬约束。这不是魏岑鲍姆在1966年就能预见的全部细节。但他看到的是细节之下的结构：一个没有可验证反馈的循环，包裹在一个管理期待的壳里。这个结构在1966年是ELIZA，在2023年是AutoGPT，在两者之间是无数对话系统项目的起起落落。壳的材料在变，壳的厚度在变，壳的用途在变，但壳的底层矛盾没有变：只要没有地面真值，壳的尽头就是随机漫步；随机漫步越昂贵，壳的失败就越惨烈。魏岑鲍姆在1976年出版的《计算机能力与人类理性》中，把这个结构性问题固定下来。他没有用“地面真值”这个词——这个词要等到几十年后机器学习领域才普及——但他描述的概念是同一个东西。他写道，计算机程序能够处理那些“可以明确判定正确性”的问题，但对话理解不属于这类问题。

在对话中，正确性本身就是模糊的、依赖于语境的、由参与者共同建构的。一个程序如果无法接入这种共同建构的过程——如果它只能通过表面模式匹配来模拟参与——那么它给出的回应就没有真假可言，只有像与不像。像与不像是一个审美问题，不是生产问题。审美问题可以靠更好的壳来解决，生产问题需要地面真值。这个区分精确地预言了后来四十年的历史。基于规则的对话系统（从ELIZA到ALICE）在审美上不断进步，但始终没有跨过生产门槛。它们可以做演示，可以做娱乐，可以做教学实验，但无法成为任何严肃工作流程的一部分。当人们需要对话代理来完成一项具体任务时——查询航班、预订会议室、记录医嘱——模式匹配的外壳迅速暴露其脆弱性。任务需要正确性，而正确性需要可验证的反馈。没有反馈，壳就是空的。魏岑鲍姆在1980年代和1990年代继续发表关于计算机伦理的著作和演讲。他越来越明确地把自己的立场表述为对整条技术路线的否定。

他不反对人工智能研究，他反对的是这样一种研究范式：它用表面模仿混淆了实际能力，它利用人类社交本能来掩盖技术局限，它把信任当作一个可以工程设计的效果而不考虑信任被滥用时的后果。他在1990年代的一次访谈中回顾了ELIZA的遗产。他说，他最深的遗憾不是写了那两百行代码——那只是一个实验，在那个时间点上是合理的——而是他没有更早地公开警告那条技术路线的危险。他花了几年时间才完全消化他在走廊里看到的东西，又花了几年才把那个东西变成清晰的论证。等到《计算机能力与人类理性》出版时，ELIZA的影响已经扩散到了整个计算机科学领域，成为对话系统研究的标准参照点。后来的研究者引用ELIZA作为先驱，但很少有人认真对待魏岑鲍姆的警告。他们引用ELIZA的技术机制，扔掉它的道德判断。这个模式——技术被采掘，警告被遗弃——本身就成了魏岑鲍姆一生最核心的论证的又一个例证。

人们愿意从ELIZA中提取他们认为有用的东西（模式匹配、对话管理、用户界面设计），而忽略那些用起来不舒服的东西（信任错位、能力边界模糊、道德责任缺失）。这种选择性采掘在技术史上反复发生，每一次都加速了技术扩散，每一次都延迟了反思。但魏岑鲍姆的警告没有消失。它只是被压在了技术乐观主义的下面，等待下一个周期里再次浮出水面。当对话系统在现实世界中失败时——当聊天机器人给出荒谬建议，当语音助手完全误解指令，当通用对话代理在关键任务中崩溃——魏岑鲍姆的警告就会被人重新翻出来，短暂地出现在讨论中，然后再次被技术进步的前景淹没。这种周期性遗忘不是偶然的：它反映了技术发展自身的动力结构。地面真值问题是一个慢问题，它需要耐心的基础研究和系统性的工程投入才能解决。壳问题是一个快问题，每一次计算能力的提升、每一次算法改进、每一次界面革新，都可以让壳看起来更光鲜。快问题总是比慢问题更容易获得资源、注意力和商业回报。魏岑鲍姆在2008年去世。

他没能看到大语言模型的出现，没能看到ChatGPT在2022年冬天引爆的全球对话，没能看到AutoGPT在2023年春天用while循环把GPT-4套进一个自主智能体的壳里。但他如果看到这些，他大概不会惊讶。更深厚的模型、更流畅的对话、更精细的指令跟随——这些让壳更逼真了，但地面真值的问题仍然坐在壳的底部。那些没有可验证反馈的循环，那些在演示中令人惊艳但在生产中崩溃的系统，那些被用户投入信任然后被系统背叛的场景，全都在重演他在1966年走廊里看到的那个瞬间。在ELIZA诞生的那间屋子里，魏岑鲍姆种下了一颗种子。那不是一颗关于技术可能性的种子，而是一颗关于技术边界的种子。他展示了，给一个系统套上对话壳可以制造出多么强大的信任投射，然后他花了一生剩余的时间警告人们，不要信任那个壳。他的警告没有被听从，但他提出的问题——如何在壳的诱惑与地面真值的约束之间找到一条路——将在此后的六十年里，定义整个智能体缰绳层的全部奋斗与全部悖论。