智能体自我蒸馏三轮即退化 选择性蒸馏加特权保留稳住成功率
要点
AI智能体在反复"部署—学习—再部署"的循环中未必越练越强。一项针对迭代自我蒸馏的研究显示，Qwen3-4B 模型在 ALFWorld 分布外测试集上，未训练的 ReAct 基线成功率为 39.6%，而采用主流的 SDPO 方法训练三轮后仅 44.3%，OEL 方法则跌至 38…
AI智能体在反复”部署—学习—再部署”的循环中未必越练越强。一项针对迭代自我蒸馏的研究显示，Qwen3-4B 模型在 ALFWorld 分布外测试集上，未训练的 ReAct 基线成功率为 39.6%，而采用主流的 SDPO 方法训练三轮后仅 44.3%，OEL 方法则跌至 38.5%，比不训练还低。退化不只发生在”裸考”场景：固定任务与参考信息后，模型”有参考答案”条件下的成功率也从第一轮的 61.5% 一路跌到第三轮的 44.8%——即便开卷，它也答不好了。
问题出在自我蒸馏的结构本身。这类方法让同一个模型分饰两角：只能看到普通信息的学生，和能看到完整轨迹、经验摘要等特权信息的老师，学生模仿老师行事。但每一轮训练结束后，更新的学生会变成下一轮的老师，形成师生相承的链条。现有训练目标只约束学生”没有参考信息时如何表现”，全然不管它日后当老师时还能不能用好参考信息。研究者的对策是把”用好特权信息”的能力专门保住：ReSAIL 作为可插拔增强叠加在 SDPO/OEL 之上，一端按特权信息敏感度只挑约 5% 的关键步骤做蒸馏并做轨迹平衡，另一端强制学生”开卷状态”的输出分布贴近冻结的老师。效果上，Qwen3-8B 在 ALFWorld 分布外的三轮成功率，SDPO 加 ReSAIL 达 75.3% 而原始方法为 49.2%，OEL 加 ReSAIL 为 78.4% 对 41.4%；成本方面，选择性蒸馏使反向传播样本量大减，总耗时反而省约 6%，叠加特权保留后升至原方法的 1.23 倍。
这组实验数字背后是一个行业级命题：智能体的”自进化”正在从论文走向生产，而退化的风险也随之从理论走向现实。人民网近期刊发的讨论指出，当 AI 生成内容在缺乏筛选和质量控制的情况下反复进入训练数据，可能导致数据分布退化、罕见样本丢失，进而出现”模型坍缩”，侵蚀的不只是单条内容的真实性，而是内容生产秩序本身。世界互联网大会乌镇峰会的人工智能治理论坛上，中国工程院院士、中关村实验室首席科学家云晓春则从另一侧敲响警钟：大模型正从辅助决策走向通过智能体连接工具、落地现实场景，训练数据中混入少量恶意数据就可能植入后门、诱发风险，安全对齐必须与训练同步前置，而不能等模型上线后再补救。
监管与研究机构的动作印证了这种紧迫性。中央广播电视总台记者的报道显示，中国信通院人工智能研究所副总工程师王蕴韬提醒，随着模型自我进化，相关错误会沉淀下来并持续传播，一次恶意干扰就可以被永久写进系统、一代一代自我放大，还能在多个智能体之间传播；信通院正开展智能体失控、自主网络攻击等系统评测，已联合 30 余家单位开展十余轮评测，针对 22 家企业 121 款产品进行测试。人民论坛网的评论进一步把治理节奏讲明：治理不能等技术成熟再补位，也不能因风险未知就一禁了之，对前沿模型须强化安全评估、红队测试和持续监测。
把论文层面的发现放到这个坐标系里看，其含义更加清晰。自我蒸馏的”教案越传越薄”，本质上是把质量失控压缩到了单个模型的训练循环内，而行业层面的挑战是同一机制在更大尺度上的重演——数据、模型、智能体之间的迭代耦合，每一环都可能放大上一环的偏差。ReSAIL 给出的启示也超出了方法本身：想保住一种能力，就得专门针对那种能力做约束，这个朴素道理对训练管线如此，对治理框架同样成立。当然，这项研究并未关上所有问题——选择比例与保留权重仍靠实验扫描，完全在线场景下的适配尚属开放问题，而真实生产环境中错误沉淀、跨智能体传播的风险，也远非一个训练技巧所能化解。
