英伟达开源Lyra 2.0 单图生成可探索三维世界 蒸馏模型提速约13倍
要点
英伟达空间智能实验室的生成式三维世界模型Lyra 2.0已完成开源与全量发布。论文《Lyra 2.0: Explorable Generative 3D Worlds》于2026年4月14日提交至arXiv（编号2604.13036），并被SIGGRAPH Asia 2026接…
英伟达空间智能实验室的生成式三维世界模型Lyra 2.0已完成开源与全量发布。论文《Lyra 2.0: Explorable Generative 3D Worlds》于2026年4月14日提交至arXiv（编号2604.13036），并被SIGGRAPH Asia 2026接收；代码、模型权重与推理代码于2026年4月15日在GitHub公开，7月20日进一步释出图形界面与训练代码。英伟达官方社交账号在11月6日再次对外介绍该项目，时间点上对应SIGGRAPH Asia 2026（12月1日至4日，马来西亚吉隆坡）会议前的论文展示安排。
这一框架要解决的是长程生成中的两类退化。论文将其归纳为”空间遗忘”与”时间漂移”：随着视角持续外延，已经生成过的区域会滑出模型的时间上下文，一旦回到旧地，模型倾向于重新编造结构；而自回归生成过程中的细小合成误差会逐帧累积，逐步扭曲场景的外观与几何。
针对前者，Lyra 2.0为每一帧维护三维几何，但只用它做信息路由，而不用于外观合成。缓存中的每条记录包含一张全分辨率深度图、相机参数，以及由深度像素投影到世界坐标得到的降采样点云。当相机到达新位姿，系统把缓存点云投影到目标图像平面，处理遮挡关系，并计算每一历史帧应当保持可见的程度；可见度评分最高的帧被重新送回上下文，同时携带新旧视点之间的稠密对应关系。缓存负责挑选证据，外观仍由生成先验完成。针对时间漂移，训练阶段使用自增强历史，把模型自身已退化的输出作为上下文喂回，训练其纠正而非传递误差，等价于把不完美的自回归历史纳入训练分布，使恢复成为可学习任务。
蒸馏版是这次开源中最受关注的部分。完整模型推理使用FlowUniPC多步调度器共35步去噪，并配合尺度为5.0的无分类器引导；经分布匹配蒸馏得到的学生模型把去噪步数压至4步，同时把无分类器引导一并蒸馏进模型，推理时不再需要分别执行有条件与无条件两次前向传播。论文附录给出的运行数据显示，在单张英伟达GB200上生成80帧片段，完整模型约需194秒，DMD模型约需15秒，每个生成步骤的总耗时降低约13倍；其中空间记忆检索本身每步占用不足1秒，耗时差异主要来自去噪环节。需要指出的是，这组数字对应80帧片段、单卡GB200的特定测试条件，并非任意硬件与分辨率下的普遍表现，15秒生成80帧也未达到标准帧率的实时视频生成。
加速并非没有代价。论文的定量对比显示，在Tanks and Temples基准上，DMD版本的相机可控性指标由63.87降至58.12，重投影误差由0.069升至0.077。对需要精确相机轨迹的机器人仿真任务而言，这一取舍需要在场景一致性收益与位姿精度损失之间自行权衡。此外，论文在讨论部分自陈两项限制：当前框架面向静态环境，未显式建模动态场景；模型会继承训练数据的特性，训练数据中不同视角间的曝光变化可能在生成结果中复现为光度不一致，并进一步在前馈式三维高斯泼溅重建中产生伪影，论文提出的可能方向包括在网络内部提高光度稳定性，以及使用来自游戏引擎的光度一致合成数据。
底层架构方面，Lyra 2.0建立在Wan 2.1-14B DiT骨干视频扩散模型之上，配套Wan 2.1变分自编码器，空间下采样8倍、时间下采样4倍，训练与推理分辨率为832×480，训练目标采用整流流匹配，采样使用对数正态分布。新增模块包括深度扭曲的相机条件、Plücker光线注入、FramePack压缩时间历史、基于检索的空间记忆槽、规范坐标对应关系注入，以及自增强训练策略，这些模块均以零权重初始化，使模型初始行为保持为预训练Wan 2.1的行为。生成结果最终被重建为三维高斯泼溅或多边形网格，可直接导出至物理引擎；官方项目页给出的示例展示了场景导入Isaac Sim后，机器人在其中完成物理接地的导航与交互。
许可安排上，源码以Apache 2.0协议发布，但模型权重按版本分别适用独立许可，商用前需单独核对Lyra 1.0与Lyra 2.0对应的权重条款；论文与模型卡则列于Hugging Face平台。官方仓库的版本时间线显示，Lyra 1.0于2025年9月23日发布，聚焦从单张图像或视频经视频扩散模型自蒸馏实现前馈式三维与四维场景生成；Lyra 2.0在此基础上把目标转向可探索的长程一致性。
这项开源的现实意义，需要放回具身智能的数据约束中才能看清。财联社援引机构测算，当前行业高质量训练数据仅数十万至百万小时量级，而成熟具身大模型所需数据至少为千万小时级、迈向通用智能则可能需要亿小时量级，供需缺口约90%；据浙商证券研报，2026年初全球合规可用的真实物理交互数据，距离训练单个通用具身大模型尚有20倍缺口。同一轮调研给出了数据类型的分工判断：人类视频等数据适合低成本扩大场景覆盖，仿真和世界模型适合做规模化扩充，而真机数据更多承担本体对齐、接触动力学、精细操作与最终验证。生成式三维世界模型正处在被计入”规模化扩充”一档的位置。
但这条路径的短板同样被反复量化。人民网报道，2026全球开发者先锋大会暨国际具身智能技能大赛引用的《2026中国具身智能数据采集与数据产业发展展望》显示，同一套机器人的操控成功率在仿真场景与真实家庭场景之间存在高达77个百分点的落差，数十亿元训练出的模型到了真实环境往往难以完成作业。这意味着由单张图像延展出的三维环境可以填补场景数量与空间结构多样性的缺口，却难以替代真机数据在接触力、精细操作与失败恢复这类数据上的作用。Lyra 2.0把三维几何的生成成本压到单卡可跑的范围，其意义更多在于降低”造场景”的门槛，让仿真环境的供给不再受限于人工建模速度。
从工程落地的角度，还有一层需要留意。论文附录同时给出另一组硬件口径：在单张英伟达H100 80GB上生成80帧视频约需9分钟，将生成的视频重建为三维高斯泼溅或网格约需1分钟。这组数据与GB200的测试条件并不构成直接可比关系——任务与计量单元不同——但足以说明硬件条件直接决定这类三维环境生成的可及性。开源降低的是使用门槛，效果则仍然取决于使用者手中的硬件与调参经验。官方论文附录中未给出场景尺度的米制数值，相关表述集中于场景规模与复杂度的定性比较，因此该指标在具体任务中的适用性，仍需按每一项落地场景单独验证。
