未分类

Opus 5.5无需训练直接生成Transformer权重 覆盖13类任务

要点

微软研究院等提出「可解释权重空间编程」iWSP,让大模型用代码把算法写进 Transformer 权重、不用反向传播。13类算法任务、26次运行全部达100%准确率;Opus 5.5 手写网络参数中位数仅166个。

微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队提出一种名为”可解释权重空间编程”(iWSP)的方法。该方法让前沿大语言模型越过传统优化器,依据固定的评测反馈构思计算逻辑,再用代码把算法直接写进Transformer的权重里。相关论文于11月13日发布。

在13类复杂的算法任务、26次独立运行中,用这一方法生成的神经网络在隐藏测试集上全部达到100%的准确率,整个过程没有使用反向传播和梯度下降。在iWSP框架中,模型每一轮只能看到一个验证分数,需调用已有先验知识构思逻辑,编写Python代码显式写出权重数值,再依据分数反馈修改代码,平均迭代约39轮。

实验还呈现出一个与常规认知相反的现象:模型能力越强,手写出的网络越小。在同样把算法题做到全对的模型中,Haiku 5.5手写的网络参数量中位数约为10万个,Sonnet 5.5约为4.16万个,Opus 5.5仅为166个。日志显示,Opus 5.5先写出一个约3400个参数的网络以保证逻辑跑通,在可见集拿到满分后再逐步精简,把参数量压缩到200个左右。

研究团队将iWSP应用到脑科学数据中。在语言功能性磁共振成像实验里,透明的模型帮助研究人员发现了数据集中的一处混杂漏洞;在视觉皮层任务中,该方法的预测效果超过现有可解释模型;在听觉皮层脑电图数据上,它系统性地识别出可预测神经活动的可解释声学特征。

不过,这一方法在自然语言处理任务上存在局限。在情感分类等任务中,人类语言特征高度模糊、充满反讽与多义词,缺乏清晰的计算模块,模型被迫不断增加特征,参数量膨胀到约19万个,准确率仅为72%,其中复述判断任务甚至未超过”全猜最常见答案”的基线。研究人员据此指出,iWSP目前主要擅长重组已知的算法与计算模块,复杂表征的涌现仍离不开海量数据和梯度下降。

常见问题

什么是「可解释权重空间编程」(iWSP)?

iWSP 是微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学团队提出的方法,让前沿大语言模型越过传统优化器,依据固定的评测反馈构思计算逻辑,再用代码把算法直接写进 Transformer 的权重里,相关论文于11月13日发布。

iWSP 的实验结果如何?

在13类复杂的算法任务、26次独立运行中,用这一方法生成的神经网络在隐藏测试集上全部达到100%的准确率,整个过程没有使用反向传播和梯度下降。

为什么 Opus 5.5 手写的网络更小?

实验呈现「模型能力越强,手写出的网络越小」的现象:同样把算法题做到全对的模型中,Haiku 5.5 手写的网络参数量中位数约为10万个,Sonnet 5.5 约为4.16万个,Opus 5.5 仅为166个。

iWSP 有哪些局限?

在情感分类等自然语言处理任务中,人类语言特征高度模糊、充满反讽与多义词,缺乏清晰的计算模块,模型被迫不断增加特征,参数量膨胀到约19万个,准确率仅为72%,其中复述判断任务甚至未超过「全猜最常见答案」的基线。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

邵嘉禾

邵嘉禾,关注大模型、算力与产业应用。

公安联网备案冀公网安备13068102000496号