让机器人学会“边走边干活”：MM-ABC 如何解决移动操作的两大难题
要点
移动底盘让机械臂走出了固定工位，但也带来一个新问题：底盘一动，目标物体与机械臂的相对位置随之改变，机器必须按新画面重新估计距离和角度。底盘负责大范围重定位，机械臂负责毫米级交互，两者控制语义不同，却必须同步。 Xspark AI 联合香港科技大学（广州）、清华大学和香港大学提出…
移动底盘让机械臂走出了固定工位，但也带来一个新问题：底盘一动，目标物体与机械臂的相对位置随之改变，机器必须按新画面重新估计距离和角度。底盘负责大范围重定位，机械臂负责毫米级交互，两者控制语义不同，却必须同步。
Xspark AI 联合香港科技大学（广州）、清华大学和香港大学提出的通用移动操作基础模型 MM-ABC，针对的正是这一环节。按官方发布的口径，该模型围绕“感知、协调、想象”三大原则组织，统一建模环境理解、协调机械臂与底盘动作，并在训练中学习空间接下来如何变化。在五项真机长任务上，每项用 200 条示教微调后，MM-ABC 平均成功率为 83%，比 π0.5 高 12 个百分点。
先解耦，再让两路互看
此前处理移动操作大致有两条路径。一条是先把几何搞清楚，重建三维场景，或再训练一个预测未来画面的模型，空间关系更明确，但建模与推理成本较高；另一条是把动作拆开，用独立动作分支、子系统感知或结构化动作空间解耦移动与操作。官方发布指出，解耦本身并不保证协作，关键在于分离后的机械臂与底盘如何有效交换信息。
MM-ABC 的设计核心有两处。一是机械臂和底盘分开建模，再用带掩码的联合注意力，让两路在同一步里互相参考；二是用 x-prediction 直接预测下一步要执行的干净动作（clean action），减少对噪声的建模负担，使双流网络把更多表示能力用于两路之间的协同。
感知取多层特征，协调靠双流与掩码注意力
模型接收多视角 RGB 观测和语言指令，输出同一时间窗口内的机械臂动作与底盘动作，一条指令要经过感知、协调、想象三层处理。
感知环节，底盘移动时最需要识别的往往不是“这是什么物体”，而是手离物体多远、被挡住的边缘在哪里，但纯几何信息又不足以支撑语言指令要求的语义理解。Sparse DeepStack 接口让动作专家从视觉语言模型的多层特征中读取信息：中间层保留距离、轮廓等细粒度信息，最后一层提供语义与共同语境；动作网络不反向改写视觉特征。
协调环节，MM-APT 分成两条动作流：操作流负责双臂的关节与末端，移动/身体流负责底盘与躯干，各自拥有独立的归一化、注意力投影与前馈层。跨流交互依靠带掩码的联合注意力——机械臂要伸向哪个物体，会影响底盘停在哪里；底盘准备平移，机械臂据此决定该伸出去还是先收回来。跨流信息交换还遵循近—远非对称注意力的顺序约束：可执行的近端动作不能看尚未定论的远端动作，后续动作则在已确定的近端动作基础上继续生成。
团队用一组简化实验验证了动作预测方式的选择：干净动作主要集中在低维动作空间中，速度预测需要额外拟合大量噪声成分，在采样早期更难准确恢复目标动作，因此最终采用 x-prediction 直接预测干净动作。
想象留在训练期，部署不增加推理成本
对空间后续变化的预判由一条与动作流并行、但互相隔离的未来分支完成。这条分支拿不到任何动作标记，不替手臂或底盘写动作，只给策略更密的学习信号，用于强化当前场景感知与操作意图。按官方说明，该分支仅存在于预训练阶段，部署时不参与运算，因此不额外增加推理成本。
跨本体训练方面，MM-ABC 构建了统一的数据与动作接口，汇集 5000 小时以上机器人数据，覆盖 12 个数据集、51 个子集、40 万条以上轨迹和 17 种机器人本体。其中 MM-30 为团队自采的真机移动操作数据集，采集平台是 HexFellow Trigger-A3 全向底盘与两台 AgileX PiPER-X 六自由度机械臂，包含 30 小时以上多视角示教、覆盖 40 多项任务。为让异构数据进入同一模型，团队建立了统一的规范动作空间，把左臂、右臂和身体放进同一格式；同时采用本体感知掩码，把某台机器人没有的关节通道留空且不计入损失，避免把缺失通道当作零动作学习。
真机五项任务与消融结果
真机测试使用采集 MM-30 的同一平台，任务包括生日布置、办公文件夹整理、厨房作业、工业零件整理和化学实验操作。每项任务只给一句自然语言，各用 200 条遥控示教微调，各测 20 次，全部步骤完成才算成功。结果显示，MM-ABC 五项平均成功率为 83%，领先 π0.5 12 个百分点，领先 StarVLA-GR00T 29 个百分点；差距最大的是厨房和化学实验，各比 π0.5 高 20 个百分点。官方对此的解读是，这两项任务的底盘移动与手臂动作写在同一条指令里，配合难度更高，说明提升来自身体调度能力本身。
仿真评测覆盖移动操作、家庭复合长程任务、双手与工具使用、固定基座精细操作以及扰动鲁棒性五个方向，官方称 MM-ABC 在各维度的平均成功率均高于该项领先基线。
消融实验在 RoboCasa365 的 16 项复合任务上进行，不使用机器人数据做预训练，各变体共用 12 万步、batch 64 的训练预算，每次只改动一个设计。完整模型平均成功率为 32.8%；去掉未来几何监督降至 24.9%，只用视觉语言模型最后一层为 25.6%，把 x-prediction 换成速度预测为 29.2%，采用多层交叉注入为 22.0%，低于稀疏多层。团队据此认为，拉开差距的是“分层看、分开写、一起协同”的整体结构，而非单项技能叠加。
按官方表述，MM-ABC 是继 MoPA 之后该公司在移动操作基础模型方向的又一进展：MoPA 处理底盘与机械臂的感知错配，MM-ABC 则进一步处理两者的动作协调。
