地平线发布LoFT模型,采用约297万条训练序列
要点
地平线机器人实验室发布LoFT模型,利用297万条序列训练,在SpatialBench等三套评测中达SoTA。
从普通 RGB 视频中估计相机位置、朝向以及场景深度,是让机器人在真实环境中自主完成任务的基础环节。LoFT 面向连续视频建模设计,核心结构为双循环 Transformer,把跨帧视觉信息聚合与相机状态的迭代优化纳入同一流程,以提取视频中的时序关联和多视角几何线索。第一循环通过局部与全局时序注意力汇聚跨帧信息,逐步扩大时间感受范围,并利用相邻帧的连续性和跨视角的几何关联;第二循环对相机位姿和内参进行显式更新,再把更新后的相机状态送回下一轮特征计算。两路特征结合后,模型可预测逐帧深度及其置信度,恢复场景的可见三维结构。整个过程仅需输入 RGB 视频,无需额外提供深度或相机位姿信息。地平线方面公布的架构图中,双循环分别承担不同分工:LB1 用于通用几何特征提取,LB2 用于实现 Coarse2Fine 的几何与姿态估计。
为支撑规模化训练,地平线机器人实验室团队搭建了统一的三维重建数据处理与训练平台,纳入约 297 万条有效训练序列和 9.62 亿帧图像记录,场景覆盖仿真与真实、动态与静态等类型,并采用统一的数据清洗、质量筛选和采样策略,为模型的几何感知能力与跨场景泛化提供数据基础。
评测环节,研究团队将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型放入 SpatialBench、ClassicBench 和 VRBench 三套评测体系中进行比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。地平线方面公布的评测结果显示,LoFT 在通用 3D 空间重建评测 SpatialBench 中多项指标达到 SoTA,在经典重建 ClassicBench 和连续视频重建 VRBench 中达到 SoTA 效果;在相机位姿与轨迹恢复方面展现出具有竞争力的性能。
在应用侧,地平线方面公布的示例包括高频动态场景下的精准空间感知、文字级精细几何重建、驾驶场景中对动态车辆的鲁棒视觉重建,以及复杂生活场景的高精度重建,相关实验与案例覆盖机器人第一人称视角、动态街道、室内环境和开放场景,并包含对快速运动物体、动态车辆和复杂场景细节的几何恢复。应用方向上,三维空间信息用于机器人在自主移动与环境探索中建立环境地图、判断空间位置与障碍物分布,以及在物体操作中支撑物体定位、空间关系理解和动作规划。
让机器人理解三维空间,是其走向真实环境、自主完成复杂任务的重要前提。LoFT 的发布属于地平线持续布局物理 AI 基础研究的一项新进展,也是地平线机器人实验室持续开展具身智能基础研究的一部分。
常见问题
地平线发布的 LoFT 模型主要输入和输出是什么?
LoFT 模型以 RGB 视频为输入,可联合预测相机位姿、内参及逐帧深度,并恢复场景的三维结构。
LoFT 模型的核心架构结构是什么?
LoFT 的核心结构为双循环 Transformer,第一循环通过局部与全局时序注意力汇聚跨帧信息,第二循环对相机位姿和内参进行显式更新。
地平线机器人实验室为训练 LoFT 模型使用了多少数据?
地平线机器人实验室团队纳入约 297 万条有效训练序列和 9.62 亿帧图像记录,场景覆盖仿真与真实、动态与静态等类型。
LoFT 模型在哪些评测体系中达到了 SoTA 效果?
LoFT 在通用 3D 空间重建评测 SpatialBench 中多项指标达到 SoTA,在经典重建 ClassicBench 和连续视频重建 VRBench 中达到 SoTA 效果。




冀公网安备13068102000496号