北大智元开源ViGAR框架 人形机器人干长活先想清下一步画面
要点
机器人把一摞纸杯叠整齐、从双层蒸笼里把包子逐层取出来摆进盘子，这类活儿难住现有模型的从来不是单个动作，而是"现在该干哪一步"的判断。北京大学 DA Group、智元机器人与 CocoMatrix 联合团队给出的解法是把长时序操作拆成两阶段：先由子目标规划器预测"这个子任务做完后…
机器人把一摞纸杯叠整齐、从双层蒸笼里把包子逐层取出来摆进盘子，这类活儿难住现有模型的从来不是单个动作，而是”现在该干哪一步”的判断。北京大学 DA Group、智元机器人与 CocoMatrix 联合团队给出的解法是把长时序操作拆成两阶段：先由子目标规划器预测”这个子任务做完后画面应该长什么样”，再由子目标执行器照着这张目标图生成机械臂动作，两个模块共享同一个预训练世界模型底座。这套被称为 ViGAR（视觉目标条件动作推理）的框架，据团队公开信息是首个面向全尺寸人形双足机器人的完整世界-动作模型，已在真实的 AgiBot A2 平台上完成多步骤操作验证。
以往的世界-动作模型擅长回答”接下来零点几秒会发生什么”，却缺少任务级的规划能力——就像一个只看得见眼前路况的司机，答不出”从这儿到机场该走哪条路”。此前业界常用语言模型当规划师，把任务拆成一句句文字指令，但文字描述空间目标天然有歧义；ViGAR 改用图像表达子目标，视觉目标提供的空间约束远强于语言指令。规划器被设计成一个图像编辑问题：给定当前画面与任务指令，直接”编辑”出下一个子任务完成时的样子。
成绩单来自仿真与真机两条线。在 RoboTwin 2.0 Clean2Random 基准上，ViGAR 取得 Clean 82.00%、Random 67.02% 的成功率，平均 74.51%，超过最强基线 12.81 个百分点；在物体位置随机化的 50 项任务里有 13 项拿下全场最高分。真机端，A2 用约 900 小时遥操作数据做中期训练，覆盖 752 项任务、200 多种物体，五个长时程组合任务的平均进度得分 0.69，高于 π0.5 的 0.60 与无子目标规划版本的 0.54；任务链条越长差距越明显，五步才能完成的”取蒸笼包子”一项，三者分别为 0.42、0.27 和 0.19。
两个容易被忽略的训练细节贡献了不小增益：一是子目标前瞻规则，把每个子任务末端的画面直接对准下一个子目标来监督，避免机器人在步骤交接处”回头看”已完成的子目标、把叠好的杯子又拿起来；二是末端执行器区域加权，训练时对夹爪周围的操作区域按前景背景 4:1 加权，逼模型盯紧真正发生变化的地方。消融实验显示，两个设计同时去掉后成功率从 67.02% 跌至 52.40%，相差近 15 个百分点。
最有想象空间的发现是上下文学习：不调整任何模型参数，只往规划器输入里多加一张”任务最终应长成什么样”的全局目标图，机器人就会自动改变任务拆解方式——训练时只见过放两个物品，测试时给一张放三个的目标图也能照做。分布内设置下平均任务进度 77.5%，训练中从未出现过的分布外组合仍有 47.5%。与 Zero-WAM、HOST 等给人类示范视频的路线不同，ViGAR 只给终点状态不给过程，上下文信息密度更低，对模型推理能力的要求反而更高。
不过这份答卷并非没有保留项。RoboTwin 榜单实时更新，ViGAR 发布时曾位列第一，截至团队 10 月中旬更新时已滑落至第三；分布外任务的完成度不足五成，说明只看终点图的推理在陌生组合面前仍有明显折损；消融中另一条语义信息通道在训练分布内的场景有帮助，到随机场景反而把成功率从 45.42% 拉低到 41.28%，多一条通路不总是好事。
产业侧的意义在于工程闭环的完整性：论文、评测代码、模型权重与训练数据均已开源，团队计划把 ViGAR 适配到下一代 A3 平台继续做真实作业验证，并开放约 900 小时带子任务标注的 A2 真机数据。中国厨师需求缺口以百万计，让机器人”先想清楚下一步场景，再逐段执行”的范式若能在更多厨房与产线复现，长时序作业从演示视频走向可靠生产力的距离会被实质缩短。
