STOPD方法实现OPD训练无损加速 最高提速2.2倍
要点
康奈尔大学等提出随机截断在线策略蒸馏方法 STOPD,生成前随机选停止位置并补偿采样偏差,不损失准确率下训练提速1.3至2.2倍。实验中代码任务词元减少48%、加速2.2倍,三项准确率与完整生成基线接近。
康奈尔大学、佐治亚理工学院与阿里巴巴的研究团队提出随机截断在线策略蒸馏方法 STOPD,在不损失准确率的前提下将训练速度提升 1.3 至 2.2 倍。相关论文与代码已公开。
在线策略蒸馏(OPD)的做法是先由学生模型生成回答,再由教师模型逐词元提供反馈,使学生针对自己生成的内容接受指导。随着回答变长,生成与逐位置评估的成本不断上升。STOPD 的思路是在生成前随机选定停止位置,让部分回答提前结束,再用分块逆概率加权补偿截断造成的采样偏差,整个过程无需评估回答质量,也无需额外调用模型判断何时停止。
实验以 Qwen3-4B-Instruct-2507 为教师、Qwen3-1.7B-Base 为学生,在数学、代码与指令遵循三类任务上对比。STOPD 在数学任务上将生成词元减少 34%、训练加速 1.8 倍,代码任务减少 48%、加速 2.2 倍,指令遵循任务减少 25%、加速 1.3 倍,三项准确率与完整生成基线接近。将教师模型换成 Qwen3-30B-A3B、学生扩大到 4B 与 8B 后,加速比仍达 1.8 倍和 1.7 倍;改用 SGD 与 Muon 优化器也取得 2.2 倍和 1.9 倍加速。论文同时证明,加权后的梯度总和在期望上与完整生成一致,并给出三种优化器下的单步更新误差界。
在线策略蒸馏近年被用于大模型后训练,通过在学生自身生成的轨迹上引入教师反馈来传递能力,其主要计算开销来自长回答的逐词元生成与评估。
常见问题
STOPD 是什么方法?
STOPD 是康奈尔大学、佐治亚理工学院与阿里巴巴的研究团队提出的随机截断在线策略蒸馏方法,在生成前随机选定停止位置,让部分回答提前结束,再用分块逆概率加权补偿截断造成的采样偏差,相关论文与代码已公开。
STOPD 与传统在线策略蒸馏有何区别?
在线策略蒸馏先由学生模型生成回答、再由教师模型逐词元提供反馈,回答变长后成本不断上升;STOPD 无需评估回答质量,也无需额外调用模型判断何时停止。
STOPD 的加速效果如何?
以 Qwen3-4B-Instruct-2507 为教师、Qwen3-1.7B-Base 为学生的实验中,数学任务生成词元减少34%、训练加速1.8倍,代码任务减少48%、加速2.2倍,指令遵循任务减少25%、加速1.3倍,三项准确率与完整生成基线接近。
STOPD 的理论依据是什么?
论文证明加权后的梯度总和在期望上与完整生成一致,并给出三种优化器下的单步更新误差界。




冀公网安备13068102000496号