Runway 开源 27B 世界动作模型 Praxis-1:Apache 2.0 许可,RoboLab-120 成功率 46.2%
要点
Runway 于 11 月 11 日宣布开源面向机器人的世界动作模型 Praxis-1,模型权重与推理、微调代码均采用 Apache 2.0 许可证,允许商业使用。模型总参数 27.2B,其中视频骨干网络占 26.9B、单个 token 激活约 2.8B,另设 314M 参数的…
Runway 于 11 月 11 日宣布开源面向机器人的世界动作模型 Praxis-1,模型权重与推理、微调代码均采用 Apache 2.0 许可证,允许商业使用。模型总参数 27.2B,其中视频骨干网络占 26.9B、单个 token 激活约 2.8B,另设 314M 参数的动作专家模块,通过交叉注意力把骨干网络预测的未来画面转换为机器人运动指令。模型输入为一条任务指令、相机画面与机器人当前位姿,输出是一段未来视频和 24 行动作,对应 1.6 秒、15Hz 的控制量。
Runway 是以视频生成产品知名的美国公司,其研究提出让模型先从普通视频中学习物体如何运动、人的手如何操作,再用于机器人动作学习,以缓解遥操作数据采集成本高的问题。模型的训练分为通用视频预训练、具身视频中训练、视频与动作联合中训练和按机器人本体微调四个阶段,不同本体共享骨干网络与动作专家,仅需各自新增输入输出投影层。
成绩数据来自 Runway 官方研究报告。在英伟达 RoboLab-120 基准的 1200 个仿真回合中,Praxis-1 完成 555 次,成功率 46.2%,在「世界动作模型」和「开放权重机器人基础模型」两个类别中居首,同榜的 FLUX 3 Action 为 42.9%;按总榜排名它位列第五,前方是 AMP1 的 86.0%、SenseNova-RoboRSI 的 57.1%、Lakeside 的 51.0% 和 BiMind v0.5 的 49.2%。真实机器人方面,在 Franka 机械臂上 10 项任务各 10 次尝试中成功 88 次,FLUX 3 Action 为 80 次;在训练数据中未出现的谷歌 RT-1 机器人上微调后,SimplerEnv 仿真平均成功率达 80.0%,原版 RT-1 策略为 52.4%。与 GPT-6 Astra 驱动的机械臂在同一工作站、同一任务下对比,Praxis-1 完成速度快 15.6 倍,单任务成本约为其 1/51。
权重已在 Hugging Face 上线并原生支持 LeRobot 框架,代码托管于 GitHub,支持全量微调与 LoRA 微调。标准版 bf16 权重体积 54.4GB,需单张 80GB 显存 GPU 运行,官方另提供 4-bit NVFP4 量化版本,可在英伟达 RTX 5090 显卡上运行。官方列出的已知短板是:模型偶尔混淆外观相似物体,对含糊指令处理不佳,且尚不能自主规划长程动作序列,多步骤任务需由外部模型拆解为单步指令。




冀公网安备13068102000496号