人大清华团队提出TIPS 3200条结果标签训出过程奖励模型
要点
过程奖励模型之所以昂贵，瓶颈不在算力，而在标注：要让它指出解答在哪一步开始出错，就得有人逐步标注每条推理轨迹的每一步对错。这一状况正在被一种只用结果标签的训练方法改变。中国人民大学、清华大学、电子科技大学与上海交通大学四校团队在预印本平台 arXiv 公开了一篇研究如何仅从依赖…
过程奖励模型之所以昂贵，瓶颈不在算力，而在标注：要让它指出解答在哪一步开始出错，就得有人逐步标注每条推理轨迹的每一步对错。这一状况正在被一种只用结果标签的训练方法改变。中国人民大学、清华大学、电子科技大学与上海交通大学四校团队在预印本平台 arXiv 公开了一篇研究如何仅从依赖最终结果的强化学习中诱导出过程监督的论文（编号 arXiv:2609.36641），提出TIPS（Thinking-Induced Process Supervision，思考诱导过程监督）框架：训练时只依据”最终答案对不对”这一个信号，模型却能学会逐步定位推理错误。
方法本身并不复杂，但设计前提值得拆开看。给定一道题和一条待评判的解答，模型先自由生成一段思维链，再输出两类判断——每一步是否在给定前序步骤下有效（二值标签），以及整条轨迹最终对不对（二值标签）。奖励函数只读取后者：预测结果与真实答案一致记1分，否则记0分，过程标签完全不进入奖励计算。训练用GRPO（群组相对策略优化）这一无需critic的PPO变体，同一题目采样一组滚动输出，按组内奖励均值算出相对优势，再把这个优势施加到生成的全部token上，包括思维链和过程标签本身。由此形成一条间接链路：准确判断中间步骤有助于判对最终结果，判对结果拿到更高优势，优势又反过来强化那段”挑错”行为。
论文用信息论给出了这条链路成立的条件。设R为模型推理前的表示、Z为生成的思维链、D为真实结果标签，定理一给出结论互信息下界 I(Z;D|R) ≥ H(D|R) − H_b(P_e)，其中H_b为二元熵；定理二进一步说明 I(Z;Y|R) ≥ I(Z;D|R) − H(D|Y,R)。合并后得到的下界由三项构成：验证难度H(D|R)、结果错误率H_b(P_e)、以及步骤与结果的耦合残余H(D|Y,R)。这意味着方法生效需要三个条件同时成立：结果无法从输入直接推出、结果预测准确率足够高、以及最终结果与步骤对错高度耦合——数学题恰好满足最后一条，一旦中间步骤的有效性已知，答案对错基本确定。论文同时列出方法失效的几种情形：输入层面存在捷径、结果预测准确率上不去、或任务本身结果与过程关联松散。
数据规模是这项工作最突出的部分。数学任务只从公开的SCAN-Pro数据集采样3200条轨迹，智能体任务另构建2905条来自HotPotQA、GAIA、τ-Bench与BFCL的语料，训练在8块80GB显存的A800上完成。
在ProcessBench这一”找出解答中第一个错误步骤”的基准上，TIPS-Qwen3-4B-Thinking-2507拿到85.2的F1分数，超过用蒙特卡洛估计加蒸馏训练的Qwen2.5-Math-PRM-72B（78.3）、GenPRM-32B（77.6），也超过直接以提示方式作答的GPT-5.4-Instruct（79.4）和Claude-4.7-Opus（79.3），但仍低于o1-mini的87.9。同一基座的指令型版本TIPS-Qwen3-4B-Instruct-2507为77.7，而未经训练的Qwen3-4B-Thinking-2507只有60.3、指令型为63.8——同一模型家族在训练前后出现近25分的落差。对照实验同样说明问题不在数据量：两种同样只用结果标签的既有方法AutoPSV与ImplicitPRM，在197K数据下分别只有45.3和41.5，用3.2K数据的TIPS反而高出一大截。
几组消融实验把方法的适用边界划得更清楚。去掉思维链、改为直接输出标签的版本，ProcessBench基础分数只有47.5，过程判断能力几乎零提升（0.7分），而保留思维链的版本提升13.9分——说明承载信号的是那段可被强化的推理过程，而不是标签本身。以Qwen2.5-7B-Instruct为骨干时出现了值得警惕的现象：结果判断准确率快速提升，但过程判断F1先升后降，训练后期回落；相比之下经DeepSeek-R1蒸馏的同基座模型则稳步上升。论文由此提出一条无需过程标注的早停启发式：当结果判断准确率趋于平台、同时生成长度开始下降时停止训练。
另一组实验排除了”只是把解题能力练强了”的解释：只练解题的对照版本在AIME 2026和HMMT 2026上的解题准确率更高（55.8%对53.3%），但ProcessBench上的找错能力只有62.8分，比TIPS的77.7低近15分；参数量大得多的Qwen3-30B-A3B-Thinking-2507解题分数更高，ProcessBench却比4B的TIPS模型低约5分。
智能体任务的收益明显更小。AgentProcessBench上，Qwen3-4B-Thinking-2507的首错定位准确率由43.7%升至49.1%，另两个骨干分别提升2.5和4.5个百分点，其中Qwen3-8B-Thinking在HotPotQA一项上还下降了3.2个点。论文把原因归到结果与过程的耦合更松：智能体失败可能来自漏做动作、证据不足或探索无效，未必对应某个明确的错误步骤。人工复核的部分同样留有边界：两位博士从ProcessBench随机抽取60条轨迹检查，模型正确定位首个错误占78.3%，其中解释也准确的比例为80.9%，两者兼具的占63.3%。
这项工作把过程监督的标注瓶颈推到了一个新的位置：过程判断可以被”诱导”出来，但前提是结果与过程之间确实存在清晰因果。论文自身在局限性与更广影响中写明，方法只覆盖纯文本推理与智能体轨迹，未评估多模态场景；由于过程标签是由结果奖励间接诱导产生的，在结果与局部步骤正确性关联较弱的领域可能失准或不可靠，不应在高风险场景中被当作真值使用。同一脉络上的另一条路径则选择用信息论直接估计每一步对正确答案似然的影响，把计算复杂度从O(N log N)降到O(N)，在数学、Python、SQL与科学问答等多类基准上验证了链式思维选择的可行性。两条路线指向同一处未决问题：当”结果”本身不足以约束”过程”时，过程监督的信号究竟还能从哪里来。
