Prefrontal AI 与苏黎世联邦理工提出隐空间稀疏注意力LSA,注意力层prefill提速22.7倍
要点
伦敦初创公司Prefrontal AI与苏黎世联邦理工学院联合发表论文,提出隐空间稀疏注意力(LSA)。在1000万token下,D-LSA使GLM-5.3-Flash单个注意力层的prefill较其原生稀疏注意力提速22.7倍,较Qwen3.8-27B的全注意力提速72.4倍…
伦敦初创公司Prefrontal AI与苏黎世联邦理工学院联合发表论文,提出隐空间稀疏注意力(LSA)。在1000万token下,D-LSA使GLM-5.3-Flash单个注意力层的prefill较其原生稀疏注意力提速22.7倍,较Qwen3.8-27B的全注意力提速72.4倍,decode阶段分别提速4.6倍和42.5倍,同时在多项任务上保持相近精度。论文《Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention》2026年10月30日提交arXiv,11月3日更新修订版,代码已在GitHub开源。
论文测算,超长上下文下稀疏注意力的开销主要不在「看」而在「找」。以GLM-5.3-Flash的一个全局注意力层在单张H200上做千万token的prefill测算,索引器占总时间的98%;若索引器开销降为零,稀疏注意力prefill还能再快58倍。DeepSeek的DSA、MiniMax稀疏注意力以及各家块稀疏方案为索引器减负,但工作量仍随上下文线性增长,prefill保持二次方。
LSA把key投影到经过学习的低维隐空间,用Ward层次聚类把语义相近的key归入同一桶,每桶保留一个中心向量和位置索引表,查询时query只与桶中心打分,选出相关桶后再展开为具体key。其Tree变体在桶之上继续聚成层次树,query以束搜索逐层下探,只需检查O(log T)个中心向量,索引器prefill从二次方降至O(T log T)。
落地有两条路径。D-LSA面向已训练模型,冻结全部参数、每层只新增两个小投影矩阵把key与query投到64维索引空间,蒸馏仅使用3.52亿token,而DeepSeek DSA仅索引器稠密预热阶段即使用21亿token。N-LSA在预训练时原生使用LSA,仅依赖下一token预测损失,模型参数量不增。
精度方面,团队在MMLU-Pro、GPQA-Diamond、AIME25等任务上测得D-LSA落在基线的95%置信区间内;RULER上,Qwen3.8-27B加D-LSA在千万token以63.9比全注意力的59.9反超。团队另构建PaperTrail基准,把虚构研究线索嵌入真实arXiv论文,10M规模样本含近400至465篇论文,Qwen3.8-27B加D-LSA得29.1分,全注意力为19.8分。
工程侧,团队为H200和B300编写GPU kernel,并将LSA整合进SGLang。千万token下,GLM-5.3-Flash首token时间从约7.5分钟降至约3.4分钟,Qwen3.8-27B从约76分钟降至约8分钟;每层索引显存占用246 MiB,低于GLM原生方案的331 MiB与Qwen风格块稀疏的642 MiB。加速比随上下文增长而扩大,100万token时对GLM-5.3-Flash的prefill加速为3.5倍;按趋势外推,Tree变体在1亿token时预计比基线稀疏注意力快90倍以上。




冀公网安备13068102000496号