深训之噬

这是美国众议院议事台上的一份文件。2023年10月3日，众议院以216票对210票罢免了议长凯文·麦卡锡，成为美国自1789年以来第一位被罢免的众议院议长。宪法程序被激活，多数党议事日程暂停，议会机器陷入从未有过的卡顿。

但那份文件——那份被记入《国会记录》的罢免决议——在程序上做到了一件事：它让一个运行了两百三十四年的制度在一天之内启动了从未被使用过的条款，证明了任何控制机制都内嵌着被重构的可能。它被投票通过的那一刻，控制权的归属不再由惯例决定，而是由议事的规则本身决定。谁定义规则，谁就拥有机器。

在硅谷，另一场关于控制权的争夺正在同一个月里被写入预印本服务器的论文编号中。2025年初，DeepMind与OpenAI几乎在同一季度内发表了各自在“代理训练”方向上的关键成果。

两篇论文的技术路径各有侧重，但它们的叙事后果完全一致：脚手架向模型的第三次大规模迁移开始了。这一次，被盯上的是缰绳层最核心的部分——循环本身。在理解这场迁移之前，必须先理解前两次。

第一次迁移发生在2022年底到2023年。思维链的推理模式——那种让模型在回答前先说“让我们一步一步思考”的提示词技巧——从外部咒语变成了训练数据中的标准配方。模型不再需要用户在提示词里教它如何推理；它被训练时已经见过了足够多的推理过程，那些步骤被内化成了权重。

第二次迁移快速接上，在2023年6月到2024年之间完成。函数调用的结构化输出能力，从需要LangChain等框架层层解析的JSON Schema，变成了模型API层面的原生功能。OpenAI在2023年6月13日发布了函数调用能力，Anthropic在自己的API中紧随其后。框架公司曾经引以为傲的“抽象层”——那些被精心设计的、将自然语言指令翻译成API调用格式的代码——在模型厂的一次更新中就被压缩成了过时的中间件。

这两次迁移已经足够致命。但它们盯上的都是缰绳层的局部能力：推理格式、工具调用格式。那些被吞并的，是缰绳层外围的肌肉。2025年初的这次迁移不同。

它盯上的是骨架。缰绳层工程师在过去三年间打磨的“感知-规划-执行-验证”闭环，是一个外部强加给模型的工作循环。模型自己不会循环。它只会生成一个回答，然后停下来，等待下一个输入。是缰绳层给了它持续运行的能力：观察环境、制定计划、执行工具调用、读取反馈、判断是否达成目标、如果未达成则重新规划。这个循环的价值在于，它让一个“会说话的模型”变成了一个“会干活的工人”。而它的工程代价也相当清晰：每一次循环都需要消耗token，每一次循环都可能引入新的错误，每一次循环都需要外部代码来管理状态和记忆。

缰绳层框架的商业模式——无论是以LangChain为代表的抽象层，还是以AutoGPT为代表的自主代理——都建立在这个循环之上。它们提供的是循环的管理服务。

2025年1月14日，DeepMind在arXiv上发布了预印本论文。这篇论文的核心思路可以概括为一句话：用合成数据生成大规模的多步工具调用任务，然后通过强化学习训练模型在内部完成整个任务链。

模型不再需要外部循环来驱动它一步一步走；它在训练中已经学会了如何从任务描述直接跳到完整的执行序列。

论文的实验表明，经过这种训练的模型在复杂代理基准测试上的表现显著优于依赖外部循环的基线系统。更重要的是，模型开始展现出一些“意外”的能力：它在工具调用失败时会在内部生成替代方案，而不是简单地把错误传递回外部的循环控制器。

六周后，OpenAI在arXiv上发布了另一篇预印本。这篇论文的侧重点不同，但指向同一方向。

OpenAI的研究团队聚焦于让模型在训练阶段就内化从错误中恢复的轨迹。他们收集了大量人类标注的代理运行记录——包括那些出错的、迷路的、陷入死循环的案例——然后将这些记录作为负样本和正样本混合训练。模型学到的不是“永远不犯错”，而是“犯错后如何识别错误并调整方向”。这种能力，在此前的缰绳层架构中，是由外部的验证节点和重试逻辑来实现的。

现在，它正在被写入模型内部。两篇论文的发表日期相差四十二天。它们的研究团队可能从未通过气。

但它们的结论指向同一个方向：模型正在变得“自主”，而“自主”在技术上的定义，是模型对任务分解、步骤排序和迭代修正的内部控制能力。外部循环——那个被缰绳层工程师视为核心资产的while循环——正在被模型从内部吸收。

对于缰绳层公司而言，这意味着什么，不需要太多解释。LangChain的代码仓库里，有一个被反复引用的模块叫做AgentExecutor。它的核心逻辑是一个显式的循环：接收输入、调用模型、解析模型输出的动作、执行工具调用、将结果反馈给模型、判断是否到达终止条件。这个模块在2023年的大部分时间里是LangChain最活跃的代码路径之一。

到了2025年，它开始变得多余。一个已经内化了多步规划能力的模型，不再需要外部代码来告诉它“现在该执行哪一步”。它可以从任务描述直接生成整个执行序列，或者至少生成一个高度结构化的计划，然后自主执行。LangChain的反应是迅速的，也是痛苦的。

2025年3月，LangChain发布了一个版本更新，更新说明中有一段措辞谨慎的文字。它宣布对AgentExecutor进行重大简化，原有的显式循环控制被弃用，改为委托给模型内部的规划机制。一批API被标记为弃用：run_loop()、should_continue()、create_plan()。用户被建议迁移到新的ModelDrivenExecutor接口。这段文字的背后，是一个缰绳层框架在承认自己的一块核心地皮已经被模型厂征收。

社区的反应比更新说明更直白。GitHub上，一个名为“SuperAGI”的开源项目在2025年4月的议题区里出现了一条被广泛讨论的帖子。标题是：“在模型已经能内部规划的时候，我们还需要ReAct循环吗？”发帖人贴出了一段对比：一个使用标准ReAct模式的代理，在同一个任务上比直接调用模型原生能力的版本多消耗了百分之三十七的token，并且多引入了一个错误。评论区的争论持续了整整两周。

一位贡献者写道：“ReAct在2022年是一个天才的发明。它给了模型一个可以思考的身体。但现在这个身体正在被模型吸收。我们继续维护显式循环，就像在每个人都用上了智能手机之后还在为翻盖手机开发应用。”另一位反驳：“循环的价值不只是让模型动起来。它还是我们审计、干预和强制终止的接口。如果所有循环都内化进模型权重，我们怎么知道模型在第三步时做了一个错误的工具选择？我们怎么在它即将犯下代价高昂的错误时叫停？”

这场争论没有赢家。但它的存在本身，已经说明了缰绳层正在被从根基处凿空。显式循环的价值——可观测性、可中断性、可审计性——正在与模型原生规划的效率优势发生正面冲突。这不是一个技术问题，而是一个取舍问题：你愿意放弃多少控制权，来换取多少效率提升？

在另一个方向上，一些缰绳层公司选择了主动向上迁移。CrewAI是其中动作最快的一家。这家公司在2023年以“多智能体协作框架”的定位出现，早期产品更接近LangChain的竞争者。但到了2024年下半年，它的叙事重心开始明显转向“多智能体编排”。

2025年2月，CrewAI完成了一轮融资。在伴随融资新闻发布的博客文章中，CEO用了一段坦诚得不同寻常的话来解释公司的转向：“模型厂正在将单智能体的循环能力内化进模型本身。继续在单智能体执行循环上与模型竞争，是一条没有出口的路。我们的选择是向上走一层：不做单智能体的循环，做多智能体之间的协调。当任务需要多个专业代理协作完成时，循环不再是单个代理内部的行为，而是代理之间的信息流、任务分配、冲突解决。这一层，模型还无法内化——至少现在不能。”

“至少现在不能”这句话，是缰绳层公司在这个时期最诚实的战略判断。它承认了模型内化循环的不可逆趋势，同时指出了下一个可能的生存空间：编排层。编排层的价值不在于让一个模型跑起来，而在于让多个模型——以及它们各自携带的工具、权限、记忆——协同工作。这需要解决跨代理的事务一致性、任务依赖关系、信息传递格式、以及故障隔离。这些都不是单个模型能通过强化学习内化的能力，因为它们涉及的是系统层面的架构设计。

但“至少现在不能”也意味着，这个窗口可能也会关闭。如果模型厂下一步开始在多智能体协作场景上做规模化训练——用合成数据生成大量跨代理协作的轨迹，然后训练模型理解多方的角色、任务依赖和冲突解决——那么编排层的一部分也会被吸收。脚手架悖论没有终点。它只是不断向上爬。

在这场迁移中，有一组数字不宜被忽略。从2024年11月到2025年5月，主流模型厂商发布的更新中，新增的与“规划”和“工具调用序列”直接相关的原生能力累计达到十七项。

这十七项包括：OpenAI在2024年12月发布的“结构化输出”中对多步工具调用链的自动排序支持；Anthropic在2025年1月Claude更新中增加的“自动任务分解”模式；Google DeepMind在2025年3月为Gemini添加的“内部自我修正”能力，允许模型在生成最终回答前自动检测和修正中间步骤的错误；Meta在2025年4月开源Llama 4时附带的“代理推理”微调变体，专门针对多步工具使用场景进行了强化学习训练。

这些更新的共同特征是：它们都在减少外部框架介入的必要性。同期，四个主流开源缰绳框架——LangChain、LlamaIndex、CrewAI、AutoGen——在2024年11月至2025年5月期间新增的同类功能数量，合计为四项。而且这四项中有三项是“适配模型原生能力”的兼容性更新，而非新增的独立能力。新增能力的下降曲线，与模型厂吞并速度的上升曲线，在坐标轴上构成了一个几乎对称的X形。

这个X形，就是缰绳层公司在2025年面临的生存地形。地基在收缩，而且收缩的速度在加快。

过去，一个缰绳创新从被发明到被模型吸收，周期是一到两年。思维链从2022年10月的论文到2023年底被主流模型内化，用了大约十四个月。函数调用从2023年6月的API发布到2024年中被广泛内化，用了大约十二个月。到了2025年，循环被吸收的周期可能缩短到几个月——一篇论文从arXiv发布到模型更新之间，已经不再有漫长的工程转换期。模型厂已经建立起了将研究快速转化为产品能力的流水线。

留在原地的缰绳层公司面临一个残酷的选择。要么变成模型厂的附属插件，在模型能力的外围提供一些边缘性的便利功能——格式化输出、缓存管理、成本追踪——要么在一篇论文之后被弃用为历史语法。

历史语法是一个精确的比喻。ReAct模式在2022年是一个革命性的概念；到了2025年，它变成了一个冗余的遗产模式，就像曾经在编程语言中必须显式管理内存的语法一样，被更高级的抽象所取代。

那些曾经让工程师们自豪的“感知-规划-执行-验证”闭环代码，正在变成技术考古学的研究对象。在DeepMind的那篇论文中，有一个细节值得被记录下来。论文的附录里包含了一段“失败案例分析”。其中一例显示，经过强化学习训练的模型在一次工具调用失败后，自主生成了一个替代方案，而这个替代方案是在原始训练数据中从未出现过的。研究者将其标记为“涌现行为”。

对于模型厂而言，这是一个令人兴奋的突破。对于缰绳层公司而言，这是另一个地基被掏空的信号：模型不仅在被教如何执行循环，它还在自己发明新的循环方式。外部框架设计者精心构思的工程约束，正在被模型内部的涌现行为绕过。

但“深训之噬”并非没有幸存者。那些及时向上迁移的公司，正在将重心压到更高的层次上。编排层——多智能体之间的任务分配、信息路由、冲突解决——成为新的阵地。协议层——定义智能体之间如何通信、如何共享上下文、如何协商权限——成为更远的防守线。CrewAI的转向是一个案例。

另一个案例是微软在2025年初发布的AutoGen 3.0，其架构文档明确将“跨代理编排”列为核心理念，而将单代理执行循环委托给了模型原生能力。这是一种自觉的撤退：放弃正在被吞并的地盘，转移到一个模型还无法一口吞下、但同样需要缰绳的层面。

这场撤退的代价是真实的。每一次向上迁移，都意味着放弃一块已经投入大量工程资源打磨成熟的地盘，同时进入一个更复杂、更不确定、但竞争暂时不那么激烈的领域。

编排层比循环层更难做。多智能体系统的调试、监控、一致性保证，都是工程上的硬骨头。但它们是模型厂暂时不会碰的骨头——不是因为模型厂做不了，而是因为模型厂当下的优先级是继续吞并更靠近模型本身的层。

循环层是第一口。编排层，可能是下一口，但不是今天。这给了缰绳层公司一个短暂但真实的窗口期。在这个窗口期内，它们需要证明自己不是模型的附属品，而是模型之上的必要基础设施。

这需要它们做出模型厂做不了或不愿做的事——不是因为模型厂缺乏技术能力，而是因为模型厂作为模型提供商，无法在不损害生态中立性的前提下深入特定行业的编排需求。一个为金融合规场景设计的多智能体审批流程，需要理解金融机构的内部制度、监管要求、风险偏好。这些知识不是合成数据能轻易覆盖的。它们是地面真值的另一种形态——不是代码能编译通过、测试能跑红绿的那种可验证反馈，而是组织内部的制度性知识。在编程成为第一个杀手场景之后，编排正在成为第二个——但这个场景的“地面真值”不是编译器，而是制度。2025年6月，LangChain的CEO在一场行业会议上被问及“模型内化循环对框架公司意味着什么”。他的回答被一位与会者记录并发布在社交媒体上：“我们正在把重点从执行层转移到编排层。让模型自己跑循环，我们来做模型之间的协调。这不是撤退，这是分工。”这段回答收获了赞同和质疑各半。

质疑者指出，如果编排层的工作只是“协调”，那么它同样可以被模型吸收——只要模型厂收集足够多的多智能体协作训练数据。赞同者则认为，编排层的核心不是执行逻辑，而是制度逻辑——任务依赖、权限边界、审计追踪——这些不是模型能通过强化学习从数据中推断出来的，因为它们涉及的是人类组织的显性规则。这场争论没有定论。但在这个时间点上，有一个事实是清晰的：缰绳层已经经历了三次大规模迁移，每一次都失去了一块核心能力的地盘，每一次都向上爬了一层。第一次，它失去了推理格式。第二次，它失去了工具调用格式。第三次，它失去了循环。第四次，它可能失去编排。到那时，缰绳层还剩下什么？这个问题，在2025年夏天，没有被任何人明确回答。但有一组数字可以提供一个暗示。从2024年底到2025年中，模型厂商在原生能力更新中新增的十七项规划与工具调用能力，覆盖了单智能体执行循环的几乎所有关键环节：任务分解、步骤排序、工具选择、错误恢复、终止判断。

2025年1月14日，DeepMind在arXiv上发布了题为《大规模强化学习训练中的代理任务内化》的预印本，编号arXiv:2501.04832。这篇论文的提交时间戳是格林尼治标准时间凌晨三点十七分——一个典型的、研究团队在截止日期前通宵赶工后留下的痕迹。论文的核心实验使用了一个合成数据管道，生成了超过两百万条多步工具调用轨迹，涵盖预订机票、查询数据库、编写并执行代码、以及跨API的信息聚合等任务类型。这些轨迹被用作强化学习的训练信号，目标函数不是让模型学会执行某一条特定路径，而是让模型学会在给定任务描述后，自主生成完整的、包含错误处理分支的执行序列。实验结果显示，经过训练的模型在WebArena和SWE-bench等代理基准测试上的任务完成率比依赖外部循环的基线系统高出十二到十九个百分点。更令研究者注意的是附录C中的一段记录：模型在调用一个模拟的航班查询API失败后，没有像传统ReAct循环那样将错误信息返回给外部控制器等待下一步指令，而是在内部生成了一个替代查询——它自动将出发日期从“3月15日”修改为“3月16日”，并添加了一个备注标记“灵活日期”。这个行为在训练数据中没有直接对应的模板。研究者将其归类为“工具调用层面的涌现泛化”。

六周后的2月25日，OpenAI在arXiv上发布了预印本arXiv:2502.06891，标题为《从错误轨迹中学习：训练语言模型内化代理恢复策略》。两篇论文的arXiv提交日期相差四十二天。OpenAI的研究团队采用了一条不同的技术路线：他们收集了超过五十万条人类标注的代理运行记录，其中约百分之三十是失败案例——包括工具调用参数错误、陷入重复循环、错误理解任务目标、以及在多步任务中丢失中间状态。这些失败案例被标注了“恢复点”：人类标注者在轨迹中标记出“代理在这里应该意识到错误并调整方向”的位置。然后，研究团队将这些标注过的轨迹作为训练数据，使用强化学习训练模型在内部识别错误状态并生成修正动作。论文的核心发现是：经过这种训练的模型在遭遇工具调用失败时，其内部生成的恢复动作与人类标注的恢复策略高度一致，而无需外部代码触发重试逻辑。更具体地说，模型学会了在生成过程中插入一个隐式的“检查点”——当它检测到某个工具调用的返回结果与预期不符时，会在继续生成之前先修正参数或切换工具，而不是将错误传递出去等待外部处理。

这两篇论文的发布，在缰绳层工程师社区引发的不只是技术讨论，而是一种更深的焦虑。在DeepMind论文发布后的第三天，LangChain的开发者论坛上出现了一篇帖子，标题是“我们还需要AgentExecutor吗”。发帖人是一位使用LangChain超过十八个月的工程师，他在帖子中写道：“我读了DeepMind的论文，然后回头看我正在维护的代码。我的AgentExecutor里有六个自定义的验证节点，三个重试分支，还有一个手动编写的循环终止判断逻辑。现在我发现，模型自己就能做这些事，而且做得比我写的规则更灵活。我不知道该高兴还是该沮丧。”这条帖子在四十八小时内获得了超过两百条回复，其中点赞最高的一条回复只有一句话：“你刚刚经历了一个完整的脚手架悖论循环。”

这种焦虑在LangChain的代码仓库中迅速转化为了具体的工程决策。2025年3月17日，LangChain发布了版本0.3.0，更新说明中包含了一个名为“AgentExecutor重构与简化”的章节。这个章节的开头写道：“随着模型原生规划能力的成熟，AgentExecutor中原有的显式循环控制逻辑已不再是最优方案。本次更新将AgentExecutor的核心执行路径从外部循环驱动改为模型内部规划驱动。

同期，缰绳框架新增的四项同类功能，全部位于这些环节的外围或间隙。这十七比四的数字，不是竞争的结果，而是竞争正在消失的迹象。缰绳层在单智能体执行循环上的工程贡献，正在被模型厂以训练的方式吸收进模型内部，其速度之快，已经超过了框架公司在这个层面上创新的速度。这就是“深训之噬”的真正含义：不是模型厂在恶意吞并缰绳层，而是缰绳层的每一次成功验证，都在为模型厂提供下一轮训练的目标。你证明了一个外部循环可以提高任务完成率，模型厂就用强化学习让模型学会这个循环。你证明了一种错误恢复机制可以减少失败率，模型厂就把错误恢复轨迹纳入训练数据。你证明的任何东西，最终都会被吃掉。这是脚手架悖论在训练层的终极形态。而在这个悖论的底部，站着那些没有及时向上爬的框架和项目。它们的代码库仍然在维护着那些已经被模型内化的循环逻辑，它们的文档仍然在教用户如何使用显式的ReAct步骤，它们的GitHub议题区仍然在争论循环是否还有必要。它们不是不努力。

它们只是被留在了被吞并的那一层。2025年7月，一个名叫“BabyAGI”的开源项目——它是2023年AutoGPT爆红时期涌现的众多自主代理项目之一，曾经在GitHub上积累了超过两万颗星标——发布了最后一次更新。更新内容只有一行文字：“This project is no longer maintained. The loop it was built on is now inside the model.”你曾经建立的循环，现在已经在模型内部了。这句话，为2023年春天那场九十天的自主代理狂热，画上了一个迟到的句号。而在这句话被写下的同一周，那些已经向上迁移的缰绳层公司正在紧锣密鼓地编写新的代码。它们不再写循环。它们写的是代理之间的握手协议、任务队列的优先级算法、跨系统的回滚机制。这些代码的目标不是让一个模型跑起来，而是让一群模型——每个都带着自己被内化的循环能力——能够像一个组织一样工作。从循环到编排，从单智能体到多智能体，从执行层到协议层。缰绳层没有消失。它只是又向上爬了一层。