改个说法就答错：研究揭示大模型数学推理暗藏伪依赖
要点
一道数学题换个问法、意思和答案都没变，一个大语言模型却可能从答对变成答错——这种看似离谱的现象，被一篇由浙江大学、西湖大学与上海人工智能实验室团队提交的论文系统拆解。研究者把模型对题目"表面措辞"的脆弱依赖称为潜在的虚假依赖，并据此提出一种新的强化学习训练方法 SCAPO，在不…
一道数学题换个问法、意思和答案都没变，一个大语言模型却可能从答对变成答错——这种看似离谱的现象，被一篇由浙江大学、西湖大学与上海人工智能实验室团队提交的论文系统拆解。研究者把模型对题目”表面措辞”的脆弱依赖称为潜在的虚假依赖，并据此提出一种新的强化学习训练方法 SCAPO，在不改动模型架构的前提下显著提升了数学推理准确率与抗干扰能力。
论文的核心起点是当前主流的 RLVR（可验证奖励强化学习）训练范式，尤其是其中最常用的 GRPO 算法。它的逻辑很直接：让模型生成一长串推理过程，只看最终答案对不对，对了就给整段回答同一个正优势、错了就给负优势。问题在于，一旦答案被判对，回答里的每一个词——无论是关键的数学符号，还是”不过””让我再想想”这类过渡词——都拿到了相同的信用。模型无从区分哪些词真正推动了正确解答，哪些只是恰好被采样到、与答案并无因果关系的噪声。
为了量化这种敏感度，研究者设计了”半事实扰动”：在保持题目数学内容与标准答案完全不变的前提下，只改动与解题无关的表面特征。具体做法包括把句子改写成同义表述、在无关单词里故意打错一个字母、给题目加上场景包装，或在末尾附一串无意义的标签。他们用 GPT-5.5 生成这些变体，并严格要求数字、公式、约束与答案一字不改。随后，论文用”概率漂移”指标衡量同一个词在原题与扰动题下被分配概率的差距，取值归一化到 0 到 2 之间。
把 1000 道数学题跑完这套流程后，结果相当扎心：33.4% 的词在扰动后概率上升，42.6% 下降，只有 24% 纹丝不动。更关键的是敏感度在不同类型词上差异巨大——带有”反思”意味的词（如”等一下””再检查一下”）敏感度是平均水平的 2.74 倍，逻辑连接词（如”因此””所以”）为 2.32 倍，而数学符号和数字只有 0.47 和 0.37 倍。换言之，模型内部最不稳的，恰恰是那些组织语言、自我反思的”写作习惯”，真正做计算的部分反而很稳，这说明模型可能把一部分与推理无关的表面规律当成了解题依据。
有意思的是，研究者先在推理阶段做了一次”纯过滤”验证：不更新任何权重，只在某些生成步骤屏蔽掉概率漂移最高的那一批候选词，就让未经训练的 Qwen3-4B-Base 在一项千题诊断集上的准确率从 15.8% 跳到 30.0%，几乎翻倍。这证明”半事实敏感度”不是纸上指标，而是真实可用的信号——模型确实在依赖不该依赖的东西，把这些东西摘掉反而做得更好。
顺着这条线索，论文提出 SCAPO（Semifactual Credit-Augmented Policy Optimization，半事实信用增强策略优化）。它沿用 GRPO 的框架，但额外把”半事实稳定性”引入词元级信用分配：用教师强制把已采样好的回答喂给各扰动版本题目，记录每个词的概率漂移；在同一组回答内做标准化，得到每个词的相对稳定性分数；再把这个分数里偏负的部分（即比组内平均更不稳定的词）叠加到 GRPO 原本的优势值上做负向修正，而对稳定的词不额外加分。论文特别解释，稳定性不等于正确性，一个无论怎么扰动都出现的连接词未必有用，因此奖励机制必须是”只罚不奖”的非对称设计。这个修正只在训练早期窗口启用（4B 模型前 120 步、1.7B 模型前 200 步），之后切回标准 GRPO。
实验在 Qwen3-4B-Base 与 Qwen3-1.7B-Base 上完成，训练数据为约 1.7 万道的竞赛级数学题集 DAPO-Math-17K。在 AIME 2024 至 2026 的综合准确率上，4B 模型从 GRPO 的 22.08% 提升到 27.71%，1.7B 模型从 7.71% 提升到 11.88%；而且 SCAPO 仅用不到 GRPO 一半的训练步数就追平了后者的最终成绩。在覆盖八项数学基准的平均分上，SCAPO 同样居首（4B 为 39.65%、1.7B 为 23.08%，而 GRPO 分别为 34.93% 与 17.86%），并在全部八个基准上至少有一项登顶。
更值得停留的是它的跨领域泛化。研究者用研究生水平的科学问答基准 GPQA-Diamond 测试，SCAPO 在 4B 模型上拿到 42.45%，比 GRPO 的 36.26% 高出 6.19 个百分点。由于训练只涉及数学，这种”学会更稳健的推理习惯而非某类题目的套路”的迁移，暗示去除虚假依赖带来的收益可能比刷新单一榜单更本质。在插入无关信息的 NoOp 版本与专门测输入扰动的 ThinkBench 版本上，SCAPO 也表现最强，与论文最初发现的问题形成闭环。
把视角拉到训练信号设计的层面看，这篇论文的价值不在于又一次刷分，而在于换了一个提问维度：过去改进 RLVR 大多围绕”优势值怎么算更稳、裁剪怎么更合理”，而 SCAPO 追问的是”奖励信号传播到每一个词时，是不是传得太粗”。它借用了因果推断的思路——一个变量若在多种干预下保持稳定，才更可能是真正的原因；若对无关扰动异常敏感，那它更可能只是与结果相关、而非因果。把这套因果思维嫁接到大模型强化学习里，本身具有方法论上的启发性。
当然，这种增益目前仍受限于验证范围。论文只在 1.7B 与 4B 两个相对较小的模型、且只在数学领域做了完整实验；更大规模模型、混合专家架构，以及代码、常识推理等领域能否复现同样的效果，作者并未给出答案。换句话说，这项发现指出了一个清晰可改进的方向，但距离证明它是一条普适的训练原则，还差更多跨规模、跨任务的证据。
