高通斯坦福论文用矩阵熵选投机解码层 单层接受词元数4.24超三层默认
要点
投机解码是当下大模型推理提速最常用的一条工程路径：先让一个轻量草稿模型快速生成若干候选词元，再由大模型一次性批量验证，把逐词串行计算压成一次前向传播。EAGLE3这类方法的草稿模型并不独立存在，而是直接"偷看"目标模型内部几层的隐藏状态当作参考信号。问题在于，这几层具体挑哪几层…
投机解码是当下大模型推理提速最常用的一条工程路径：先让一个轻量草稿模型快速生成若干候选词元，再由大模型一次性批量验证，把逐词串行计算压成一次前向传播。EAGLE3这类方法的草稿模型并不独立存在，而是直接”偷看”目标模型内部几层的隐藏状态当作参考信号。问题在于，这几层具体挑哪几层，长期以来靠的是一个写死的经验公式——第2层、中间层、倒数第3层。10月9日提交arXiv的一篇论文第一次系统地问了这个公式凭什么成立，并给出了一个可计算的替代方案。
论文题为《Surfing the Activation Wave》，作者来自高通AI研究与斯坦福大学，被NeurIPS 2026的Axiom、GDDL与PriGM三个workshop接收。它提出的框架叫ELSI——基于熵的层集合迭代。核心思路是把选层从位置启发式改写成一次信息论优化问题：一个36层模型只挑三层就有数千种组合，逐一训练草稿模型去评估在工程上不可行；但如果能先算出每层”信息量”有多丰富、层与层之间”重复度”有多高，选层就变成了一次廉价的搜索。
第一把尺子叫矩阵熵。把某一层所有词元位置的隐藏状态堆成一个矩阵，看它的能量是集中在一两个主方向上还是分散在很多方向上——前者说明这层表达的信息单一，后者说明信息丰富。论文在Qwen3-4B上画出的逐层熵曲线呈波浪形：前6层熵值高且波动大，中间7到28层走低后缓慢回升，最后29到35层又冲上波峰。论文把这种非均匀轮廓称为”激活波”，并指出如果不承认这个节奏，继续用位置公式机械切三刀，很可能恰好切在熵最低的那几层上。
第二把尺子叫中心核对齐（CKA），用来度量两层表示有多相似、取值0到1之间。论文把所有层的两两CKA值画成热力图并计算相邻层之间的转折分数，转折剧烈处即为表示空间的分区边界。两个模型的热力图差别明显：Qwen3-4B的转折点较多，中间还能分出两大块相对独立的区域；Llama-3.1-8B则相反，除首尾层外中间大片层的CKA值都接近1，彼此高度相似、互相可替代。这也顺带解释了默认公式为何在某些模型上仍然管用——如果中间层本来就高度冗余，随便挑哪一层差别都不大。而ELSI-C在ELSI基础上加了一层约束：扩展新层时优先挑选与已选层差异最大的候选，把多样性写进搜索目标。
还有一处容易被忽略的前置工作。同一层的熵值会随输入文本剧烈波动，尤其首尾几层，这意味着一套层集合无法稳定地跨提示复用。论文的解决办法是先把”废话”词元滤掉——模型对某些位置的下一个词把握极高，这类词元的隐藏状态信息量有限，统计时直接剔除，只保留预测熵排名前30%的位置。过滤后，跨提示的熵方差在前段层下降48.4%、中段层下降45.8%、末段层下降35.6%，而整体波形保持不变。
跑分结果则给出了论文最直接的结论。在SpecBench上、以30个草稿树节点和零温度解码计算平均接受词元数，Qwen3-4B上的对照是：EAGLE2单层默认方案4.00，EAGLE3三层默认方案4.20，ELSI单层选第28层4.24，ELSI三层选第5、23、35层4.29，而刻意挑最低熵三层作为负对照的组合只有4.04。也就是说，用熵与CKA挑出的单层方案，比EAGLE3默认的三层方案还高出一线；在节点数与温度的四种组合下，ELSI三层平均领先EAGLE3约1.6%至2.2%。
值得单独点出的是负面结果那一栏。论文明确说明，报告的指标是”被接受的词元数”，并不是墙钟延迟或吞吐量；作者预期更多被接受的词元会提升每秒生成量、减少选中层数会缩小降维开销，但也承认在不由显存带宽瓶颈主导的GPU上这一吞吐收益未必出现，边缘设备测试留待后续。覆盖面上，结果只涉及两个模型和EAGLE3式条件，收益会随模型而变。解读材料把Llama上的表现称为”重要的限定”：ELSI单层比EAGLE2高2.8%至4.9%，但一到三层，平均值只变化0.017个词元，且ELSI三层反而比EAGLE3低1.0%；作者把原因归于Llama的CKA普遍偏高、层之间更可互换，并明确说明这只是他们的解释而非已证实的因果。
这条线索其实接得上更早的工程现实。EAGLE官方仓库的说明里，EAGLE-3的做法正是放弃只用顶层特征，改为融合低、中、高三个深度的语义特征，把多层表示拼起来经全连接层降维后喂给草稿模型，官方给出的加速比是13B模型上相对原生解码5.6倍、相对EAGLE-1的1.8倍，且已被vLLM、SGLang、NVIDIA TensorRT-LLM、NeMo、MLC-LLM、SpecForge、speculators等一批主流推理框架合入。而vLLM官方文档中提取隐藏状态的示例里，需要显式指定要抽取哪些层，配置项正是类似早、中、晚三处的固定编号。也就是说，”抽哪几层”在今天仍是一个由人工设定的配置项。
把这项工作放到推理系统的演进里看，它的意义更接近于一次把默认参数变成可测量对象、并给出可替换方案的努力。论文没有把默认公式判为错误，反而解释清楚了它为何在部分场景有效，并把收益的不稳定性直接写在结论里——在两个模型上一个明显为正、一个接近持平。要真正把选层纳入生产推理栈，还有几件事需要补齐：吞吐收益在非显存带宽瓶颈硬件上的验证、边缘设备的实测、更多模型族与更多草稿模型结构下的重复检验，以及代码的公开——论文发布时相关代码尚未开源，选层流程目前仍停留在论文描述与独立解读的层面。
