MIT团队用GPT-6 Astra修改千问小模型0.016%权重，数学测试成绩升至约六倍
要点
一个8亿参数的开源小模型数学成绩不佳，原因不是"不会做题"，而是答题时反复重复同样的推理步骤，直到耗尽输出长度限制。麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究团队给出了一种非常规的解法：不训练、不算梯度，直接让OpenAI的大模型GPT-6 Astra读…
一个8亿参数的开源小模型数学成绩不佳，原因不是”不会做题”，而是答题时反复重复同样的推理步骤，直到耗尽输出长度限制。麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究团队给出了一种非常规的解法：不训练、不算梯度，直接让OpenAI的大模型GPT-6 Astra读取并修改这个模型的权重，把问题修掉。
这项研究于11月2日以博客形式发布，题为《Sparks of Weight-Space Programming》，作者为Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab。研究团队将这套方法命名为”权重空间编程”（Weight-Space Programming），核心思路是让通用大语言模型像程序员阅读代码一样，直接阅读、理解并改写另一个神经网络的权重，而不经过优化器或梯度下降。实验对象是阿里通义千问的开源模型Qwen3.5-0.8B。
诊断先行，是整个实验的关键一环。研究团队给GPT-6 Astra提供了一个可以读写模型权重的Python沙箱环境，允许其使用数学练习题进行有限次数的前向推理，但明确禁止梯度训练，也不允许接触最终评测题目。Astra检查后发现，Qwen3.5-0.8B在最初的96条练习回答中有85条撞上了32768个token的输出上限，典型的”推理循环”症状——这个毛病甚至在该模型的官方模型卡中就曾被提示过。随后，Astra将问题定位到第15层和第19层的多层感知机组件，并从两层各64个输出列对应的权重中减去与重复行为相关的方向分量，总共修改了131072个权重，约占模型全部权重的0.016%。
修改后的成绩变化相当显著。在50次前向推理的预算下，Qwen3.5-0.8B在MATH-500数学基准上的准确率从7.9%升至48.1%，GSM8K从13.8%升至67.1%；原本未被要求优化的IFEval指令遵循测试也从21.0%升至62.3%。答题触及输出上限的比例则从93%降至33.1%。值得一提的是，这个结果对调用预算相当敏感：在前向推理次数限制为10次和25次时，MATH-500成绩分别只有12.3%和14.1%，只有在50次预算下才出现跳升，这意味着方法的实际效果与诊断验证的投入规模密切相关。
同样值得关注的是对照组的”失败”。研究团队把同样的方法用于Gemma 3 270M——一个原本很少陷入推理循环的小模型，结果MATH-500成绩始终无法提升一个百分点以上。研究者由此得出的结论颇为克制：修改权重能够清除遮挡已有能力的障碍，但无法凭空添加模型原本不具备的能力。换句话说，这次实验并非”给小模型灌注新智能”，而是解开捆住它的绳子。
除修复实验外，研究还包括多项能力测试：Astra仅凭17253个权重数值，就在没有游戏画面和名称选项的情况下，正确识别出四个策略网络分别训练自打砖块、乒乓球、吃豆人和过马路四款游戏；它还能在无训练数据、无梯度的条件下从零编写网络权重，生成的游戏策略网络得分远超PPO算法训练1亿步的基线。当然，这项工作尚未经同行评审，也有研究者指出，实验提示词已提前引导Astra排查重复推理问题，其自主性可能被高估。
研究团队已公开完整的实验日志和权重修改记录，并将编辑后的模型发布在开源社区。对在本地部署小模型的开发者而言，这提供了一条训练之外的故障修复思路；而对整个行业来说，当模型开始读取和修改模型，模型安全的审查视野或许也要从单个模型扩展到模型之间的关系。
