LG研究院提出合成自蒸馏 小模型持续后训练获取性能领先6种对比方法
要点
韩国LG AI Research与KAIST AI联合提出合成自蒸馏（Synthetic Self-Distillation）方法，让0.5B至3B级小模型在持续后训练中既获得新能力又不丢掉旧能力。论文2026年10月9日提交至预印本平台，第一作者Woosung Koh来自KA…
韩国LG AI Research与KAIST AI联合提出合成自蒸馏（Synthetic Self-Distillation）方法，让0.5B至3B级小模型在持续后训练中既获得新能力又不丢掉旧能力。论文2026年10月9日提交至预印本平台，第一作者Woosung Koh来自KAIST AI，论文注明其工作完成于在LG AI Research实习期间，通讯作者Moontae Lee任职于该研究院。
问题源自上一年提出的自蒸馏微调（SDFT）：让模型先看着标准答案用自己的话复述一遍，再拿复述版本训练自己，好把训练数据拉回模型自己的表达分布。论文指出，这套做法依赖上下文学习与指令遵循能力，而小模型恰在这两项上最弱，低延迟、端侧部署、草稿模型与验证器等场景要的又正是小模型。工具使用域的实测显示，模型自己改写示范时平均准确率降到60%，思维链有8.2%被丢弃。
作者先做诊断。团队用23个数学训练数据集做后训练，每个规模匹配到约250万completion token，再用GPQA-Diamond、ARC-C、MMLU-Pro、HumanEval、MBPP五个非数学基准的平均跌幅衡量遗忘，结论是后训练造成的分布偏移与遗忘幅度呈线性关系，Spearman相关系数为负0.85。第二组实验把变量收得更紧：同一份约200万completion token的数学语料、同一套提示，只改目标文本——高偏移版保留完整长推理链，中偏移只留最终解答，低偏移是模型自己生成并验证通过的解答；偏移单调下降时，目标域数学表现、目标域保持与跨领域代码保持三项同时单调变好。据此，方法把「复述」外包出去：交给参数更大但同属一个家族的对齐模型（实验用Qwen2.5的7B与14B）改写标准答案，改写离线生成、与标准答案逐条核对，不一致即丢弃，剩下的再用常规监督微调训练学生模型。作者称这既拿到高质量监督，又没破坏学生原有分布，且不需额外调参。
评测覆盖Qwen2.5-Instruct的0.5B、1.5B、3B三个规模，4个获取任务（含四学科混合科学任务、工具使用与医学问答），以及横跨指令遵循、常识、多样知识、代码与数学的14个保持基准，对比SFT、SDFT、DFT、ASFT与离策略、在策略蒸馏。汇总来看，新能力习得上SynthSelf平均56.4%，高于SFT的52.2%、SDFT的44.1%、DFT的39.8%和ASFT的46.1%；旧能力保持41.7至41.8，与最好的基线ASFT的41.8基本持平。几个细节比总表更能说明机制：同家族7B与14B改写出的样本在基础模型下的负对数似然更低，跨家族更强模型的数据准确率更高但偏移更大，同家族方案还省下62.9%至76.9%的数据生成算力；拒绝采样让工具使用任务的训练样本减少17.1%，但相对普通监督微调获取仍提升4.2个百分点。
把这套做法放回端侧AI的现实里，意义才完整。国内公开的产业观察显示，端侧模型正从「能跑」往「能办事」推：《人工智能终端智能化分级》国家标准落地后的首批测评已有产品取得L3级认证；本地模型处理高频、轻量与涉隐私任务、复杂任务脱敏后上云的智能路由，在自动化设备测试场景把完全本地执行的任务拆解成功率做到约80%，配合路由后整体准确率抬到95%以上。持续后训练处理的正是小模型装进设备之后还能不能继续变好的问题。论文并未测量端侧延迟、功耗与内存占用，「装得下」与「能持续学」仍有距离。
争议也在同一处。围绕蒸馏的争论在2026年持续升温，有法律学者撰文主张理性看待，指出英伟达与Meta、微软、戴尔、GitHub及Hugging Face等270余家企业和组织已联名公开信为这项技术正名；产业侧也有企业负责人把使用云端大模型的最大风险说成是企业数据与经验被「蒸馏」。本文用自有家族更大模型生成改写数据，与「从他方模型输出构造数据」的形态不同，但同样依赖「更大的模型替更小的模型改写」这一前提。
论文划出的边界同样清楚：方法需要一个更大的同家族对齐模型，手上没有同系列的大一号版本就无从借用；作者把「把学生模型自己的答案放进上下文、让跨家族模型生成更贴近学生分布的改写」列为尚未验证的方向；医学领域相对离策略与在策略蒸馏没有明显优势，作者解释为对齐模型已掌握训练数据、示范注入的边际价值有限；主实验每个单元只跑了一个随机种子，稳定性尚未充分评估。
三个模型规模、四类获取任务、14项保持基准上的结果说明，小模型持续后训练已从「自己教自己」的设想变成可复现的工程流程。但落到具体产品，还需回答同家族对齐模型从哪里来、拒绝采样在真实噪声数据下还剩多少收益、把持续后训练的小模型装进终端时成本与功耗怎么算——这三点在现有公开材料里都没有答案。
