未分类

英伟达发布SEED方法 写入记忆使单GPU吞吐最高提升42%

要点

英伟达提出模型服务方法 SEED,从预填充少做深层计算、解码少存循环状态两方面降低混合架构大模型推理成本。GB300 上验证显示,两项同时启用峰值吞吐提升约42%,单请求循环状态占用从113.2MB降至29.2MB。

英伟达研究者提出一种名为 SEED 的模型服务方法,相关论文《Shallow Encoding Emits Deep Memories》已作为预印本发布。该方法针对混合架构大语言模型,从「预填充少做深层计算」与「解码少存循环状态」两个方向降低推理成本。

在预填充阶段,对于 48 层的 Qwen3.8-Flash-Next,SEED 让除最后一个以外的输入 token 只运行前 31 层,再由轻量的记忆写入组件为其余各层生成 KV Cache 和循环状态;生成阶段每个 token 仍走完整网络。在解码阶段,研究者发现循环状态中存在能量占比很高的固定方向,遂将状态拆分为共享的固定方向与每个请求独有的低秩因子分别存储。在该模型上,单请求循环状态占用从 113.2MB 降至压缩后的 29.2MB。

研究团队在 GB300 GPU 与 SGLang 上回放编码智能体会话进行验证。结果显示,PD 分离部署下仅启用浅层预填充峰值吞吐提升约 35%,仅压缩状态提升约 5%,两者同时启用提升约 42%。五种模型、六个检查点的评测显示,新增组件经蒸馏训练、原模型权重保持冻结,多数基准成绩与原模型接近。论文作者均来自英伟达。

常见问题

SEED 方法解决什么问题?

SEED 是英伟达研究者提出的模型服务方法,相关论文《Shallow Encoding Emits Deep Memories》已作为预印本发布,针对混合架构大语言模型,从「预填充少做深层计算」与「解码少存循环状态」两个方向降低推理成本。

预填充阶段 SEED 如何减少计算?

对于48层的 Qwen3.8-Flash-Next,SEED 让除最后一个以外的输入 token 只运行前31层,再由轻量的记忆写入组件为其余各层生成 KV Cache 和循环状态;生成阶段每个 token 仍走完整网络。

循环状态压缩效果如何?

研究者将循环状态拆分为共享的固定方向与每个请求独有的低秩因子分别存储,在该模型上单请求循环状态占用从113.2MB降至压缩后的29.2MB。

SEED 的吞吐提升有多少?

研究团队在 GB300 GPU 与 SGLang 上回放编码智能体会话验证,PD 分离部署下仅启用浅层预填充峰值吞吐提升约35%,仅压缩状态提升约5%,两者同时启用提升约42%。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

顾延之

顾延之,参与大观门户各频道的选题与稿件整理。

公安联网备案冀公网安备13068102000496号