一个世界状态,多台机器人:共享空间表征的多机动作模型
World Dreamer v5-lite 保留每台机器人独立的动作输出,但让它们共用同一个以工作空间坐标表达的"世界状态":该状态由预训练视频编码器的校准特征填充,并由每台机器人一个视觉语言查询令牌读取。训练时采用掩码视角协作策略,随机屏蔽部分相机视角,迫使模型利用队友的观测。在超过1万小时、20种机器人形态的数据上预训练后,RoboFactory 达到74.0%,四项真机任务平均78.8%,RoboCasa365 为58.08%。
原文 · arXiv:2610.37518多机器人操作最常见的实现方式,是把单机策略做最省事的扩展:把每台机器人的相机画面拼在一起,喂给一个更大的模型,再为每台机器人各输出一串动作。实现容易,效果却容易撞上天花板。原因在于,把多路视角堆起来并不会自动产生共享的空间坐标系。两台相机看着同一张桌子,得到的是两堆像素,而没有任何机制声明”A图这一块”与”B图那一块”是同一个物理位置。缺少这层对应关系,多出的视角主要只是在增加参数和延迟。
与此同时,这个领域正在分成两派。视觉-语言-动作模型从预训练VLM继承语义知识,但对”未来”只有隐含建模;世界-动作模型显式预测接下来会发生什么,因而获得物理层面的依据,代价通常是控制回路里多了一个视频生成器。而这两派,正如作者指出的,绝大多数都只面向单台机器人。
核心创新
World Dreamer v5-lite 围绕一个共享世界状态组织,机器人各自的动作预测叠加在其上。
工作空间坐标下的单一状态。 预训练视频编码器输出的特征经过校准后被抬升到工作空间坐标系,用来填充这个共享状态。这是最关键的设计选择:因为状态活在共同的空间框架里、而不是各自相机的图像空间里,增加一台机器人等于往同一份表征里补充观测,而不是再造一份平行表征。
固定的空间预算。 视角增加时,状态的空间尺寸保持不变,因此第四路、第五路相机不会让令牌数爆掉。成本随机器人数增长,而不随”机器人×视角”的乘积增长。
每机一个查询,交换带位姿的信息。 视觉语言模型提供场景上下文,并为每台机器人发出一个查询令牌。这些查询读取共享状态、彼此交换带位姿的信息,而各自的动作流保持独立。也就是说,每台机器人规划自己的运动,但以团队的共同认知为条件。
掩码视角协作训练。 训练时从两个视觉分支中同时屏蔽选定的相机视角,但保留全部动作目标。这迫使策略利用其他机器人提供的观测来完成任务——而这正是团队真正需要的能力:当一台机器人的视线被自己的手臂或队友挡住时。
预训练规模。 超过 1万小时的轨迹,来自 20种仿真机器人形态、RoboFactory 以及真实机器人。正是这种广度,让”共享的跨本体状态”站得住脚,而不是两台机器人的特例。
实验结果
- RoboFactory:平均成功率74.0%,比最强基线高 23.7个百分点。
- 四项真机任务:平均78.8%,领先 13.8个百分点。
- RoboCasa365:整体58.08%,这是一个明显更难、覆盖更广的基准。
更值得看的是两个差距的结构。仿真里领先23.7个点、真机上缩到13.8个点,这是正常且诚实的形态——仿真总是偏爱所有方法——但两个差距都足够大,不太可能只是调参的产物。愿意报出58.08%这个RoboCasa365成绩而不是略过不谈,也是一种信心信号:它清楚地表明系统很强,但问题远未解决。
局限性
摘要没有给出四项真机任务的逐项成绩,因此无法判断78.8%的平均值是由两项简单任务撑起来的,还是四项都比较均衡。最关键的几个组件也没有消融:收益里有多少来自共享的工作空间状态、多少来自掩码视角训练、多少只是因为参数量比基线更大。缺少这个拆解,论文的核心主张——起作用的是空间对应关系而非更多视角——虽然有道理,但并没有被单独隔离出来。方法假设相机已标定、相对位姿已知,这对一群必须边走边重定位的移动机器人来说是实实在在的约束;论文没有讨论重标定或位姿漂移。通信开销、延迟、以及队友视角完全丢失(而不只是训练时被掩码)时的行为,同样没有报告。
行业影响
仓库和装配单元正在走向多台机械臂共享同一工作空间,而目前的集成范式——几个独立训练的策略加一个手写的调度器——恰恰在需要协同的地方最脆弱。工作空间坐标下的共享世界状态提供了一个更干净的接口:每台机器人保留自己的动作头和自己本体相关的底层控制器,而空间理解是共通的。增加一台机器人于是变成标定与注册的流程,而不是一次重新训练的项目。
掩码视角训练这个细节有一个容易被低估的运营价值。在真实单元里,相机被遮挡是常态——被手臂挡、被搬运的零件挡、被同事挡。一个学会靠队友观测完成任务的策略,恰好会在这些时刻平滑退化,这就是”演示”与”连续跑一个班次”的差别。
有两点需要冷静看待。1万小时的预训练语料对多数集成商来说遥不可及,因此它的实用价值取决于能否作为基座模型被他人微调——RoboCasa365的成绩支持这一点,但并未证明。其次,对已标定外参的依赖,在任何机器人或相机会被挪动的场地上都是长期维护负担。一个能容忍标定漂移的版本,会比在固定基准上再高几个百分点的成绩更容易真正部署。