NVIDIA 解读世界动作模型：联合预测机器人动作与未来场景

报道讲了什么

• NVIDIA 研究者 Jim Fan 提出从 VLA 转向世界动作模型（WAM），用视频世界模型替代语言主干。
• NVIDIA 发布 Cosmos 3 世界基础模型，并基于它后训练出 DROID 机器人策略。
• 技术报告显示，使用 omni 检查点后，RoboLab 成功率从 28.1% 提升到 36.8%。

可以做什么

• WAM 能同时预测动作和未来视频，想象执行动作后的场景变化。
• WAM 从多样交互数据中学习物理规律，泛化到未见过的场景和运动。
• WAM 能用少量演示适应新机器人本体，减少任务特定数据需求。

怎么使用

1. 将你的数据转换为 LeRobotDataset 格式，这是机器人学习生态常用的记录格式。
2. 运行已发布的训练配方，从 Cosmos 3 后训练出策略。

结果与限制

• WAM 比紧凑型 VLA 更大，需要更多计算资源，但可映射到不同部署层级。
• 每个新机器人本体仍需单独后训练，不能直接零样本部署。
• VLA 在语义泛化上表现良好，但在物理泛化到未见行为和环境中效果较差。

使用入口与依据