未分类

英伟达开源激光雷达世界模型 LidarVerse:单模型覆盖生成、点云预测与重仿真,支持 32/64/128 线传感器

要点

英伟达与伊利诺伊大学厄巴纳-香槟分校团队合作的激光雷达世界模型 LidarVerse 公开了论文、代码与模型权重。该模型面向激光雷达传感器仿真,把此前分属两条路线的做法收进同一个条件生成框架:基于重建的方法能保住已采集场景的几何结构,但需要对每个场景做长时间优化;生成式方法把学…

英伟达与伊利诺伊大学厄巴纳-香槟分校团队合作的激光雷达世界模型 LidarVerse 公开了论文、代码与模型权重。该模型面向激光雷达传感器仿真,把此前分属两条路线的做法收进同一个条件生成框架:基于重建的方法能保住已采集场景的几何结构,但需要对每个场景做长时间优化;生成式方法把学习成本摊到了数据上,却难以在长时序推演中保持一致性。

LidarVerse 由四个部分构成。全注意力机制的距离图分词器把不同扫描模式的激光雷达序列映射到同一隐空间;双向流匹配 DiT 教师模型从 Cosmos-Transfer2.5-2B 初始化而来,统一学习激光雷达前缀、HD 地图、空间缓存和文本的条件接口;自强迫蒸馏得到四步采样的因果学生模型,配合九帧滚动的时序 K/V 缓存与世界对齐的持久空间缓存,实现长时序滚动生成。论文报告该模型在单张 H100 上达到每秒 11 帧以上的实时推理速度,实验表中的具体数值为 11.18 至 11.30 FPS,超过原生 10 Hz 激光雷达的采样频率。

跨传感器能力是该模型的关键部分。分词器支持 32 线、64 线和 128 线三种扫描模式,分别对应 nuScenes、Waymo 与英伟达 PAI 数据集;经过联合适配后,同一个模型可以从同一份 Waymo HD 地图生成上述三种不同的扫描模式,并可泛化到训练中未见的 PandaSet 扫描模式。论文称,就实时、可泛化且无需逐场景优化的激光雷达重仿真能力而言,这是首个此类模型。该能力可对车辆未实际行驶过的传感器轨迹外推生成点云,覆盖摄像头视野之外的区域。

实验数据显示,重仿真在 Waymo 全部 202 条验证序列上的聚合 L1 误差为 1.405、CD 为 0.285,逐场景优化时间为 0 分钟,而基线 LiDAR-RT 需要 76.3 分钟。点云预测任务中,聚合 L1 为 1.768、AbsRel 为 0.108、CD 为 0.676,优于论文复现的 UnO 等基线。

模型权重在 Hugging Face 的 nvidia/lidarverse 仓库提供,代码在 GitHub 的 nv-tlabs/LidarVerse 仓库开源,采用 NVIDIA 开放模型许可。目前公开的检查点为仅含距离信息的英伟达 PAI 版本。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

江听白

江听白,关注企业 IT 基础设施与信创落地。

公安联网备案冀公网安备13068102000496号