莫纳什与浙大团队给线性注意力装上按需回查的记忆闸门
要点
澳大利亚莫纳什大学与浙江大学的研究团队10月上旬在arXiv提交论文（编号2610.05842），提出混合线性注意力机制HLA，让线性注意力模型在回答问题时临时决定往回看多远、看多细。在0.8B到9B规模的Qwen3.5模型上，HLA把长文本理解评测LongBench-V2的成…
澳大利亚莫纳什大学与浙江大学的研究团队10月上旬在arXiv提交论文（编号2610.05842），提出混合线性注意力机制HLA，让线性注意力模型在回答问题时临时决定往回看多远、看多细。在0.8B到9B规模的Qwen3.5模型上，HLA把长文本理解评测LongBench-V2的成绩最高拉高5.57个百分点，检索评测RULER最高提升3.97个百分点，训练与推理代码及1.3B对照模型均已开源。
要理解这项工作，得先看它修的对象。主流大模型靠Softmax注意力处理长文本，精确但显存开销随文本长度水涨船高；线性注意力走另一条路，把历史信息实时压进一个固定大小的状态矩阵里，省显存、解码快，代价是早期写入的稀疏关键信息会在一长串状态更新链中被逐步稀释。论文的动机实验显示，在GDN模型里，位于文本开头的关键信息穿过后续更新链后贡献度衰减了94.7%；而GDN这种由MIT与NVIDIA研究者在2024年底发表的论文中提出的线性注意力架构，还有一个更隐蔽的问题——信息一旦写入，未来以多大权重被调用在写入那一刻就已定型，后来的提问无权过问。
HLA的破局点建立在一个数学发现上：GDN的记忆更新本质是仿射变换，无论一个文本块里有多少词，它对记忆状态的全部影响都能无损压缩成一对固定大小的矩阵参数。在此基础上，团队给每个历史文本块配了一个由当前查询实时驱动的门控，门控在完整采用该块的变换和当它不存在之间插值，等于让每一个问题自己决定该唤醒哪些记忆、唤醒多少。为避免模型把门全开、雨露均沾，论文引入有效支持正则化，借用生态学中衡量物种多样性的思路，鼓励模型把检索聚焦在少数真正相关的块上。
两条实验路线相互印证。预训练适配路线上，0.8B规模的Qwen3.5模型接入HLA后，LongBench-V2整体准确率从22.86%升至28.43%，困难子集从22.19%升到28.94%，长文本子集从25.93%跃升至36.11%；从零训练的对照更有说服力——1.3B模型仅用4K上下文、千亿级token训练，在32K长度上测RULER时仍领先原生GDN 4.22个百分点，单条关键信息检索得分从11.2提升到67.4，而原生模型在这个长度已接近失效。可视化分析显示，HLA把注意力重心系统性地往远处推：32K长度下，来自文本后半段的贡献度从6.22%提高到26.44%，加权平均关注距离从2876个token延伸到9591个。
这份能力并非免费。在单张H200上的测试中，HLA的预填充延迟比原生GDN高9.8%到14.9%，生成阶段每个token延迟高13.9%到18.8%，不过相对开销随模型规模增大而收窄，9B时已降到1.139倍。存储方面，团队把文本块大小定为256、池化窗口定为32，此时历史记忆占用约为传统KV缓存的一半，是消融实验找出的精度与效率平衡点。
论文也坦率划出了边界：目前所有验证都在静态文档理解任务上，尚未触及需要持续积累、反复调用的智能体记忆场景。后者没有明确边界，一个长期运行的助手要记住几十轮对话之前的某个细节，是另一个量级的挑战。
回看全篇，真正值得留意的是无损压缩这个地基：一段漫长的序列处理被精确折叠成一对矩阵，是数学等价而非近似。门控选用不强制归一的Sigmoid而非Softmax，则透露出另一个判断——不同历史信息之间不该是你多我少的零和关系，一个问题可以同时依赖好几个遥远的片段。工程选择背后的这些假设，也许比提升的百分点更耐琢磨。
