GreenWAM:面向机器人的世界基础模型

· Editorial Team estimated
世界模型 基础模型 机器人策略 跨本体 人形机器人 动作空间

机器人既需要预测「动作如何改变场景」的世界模型,也需要挑动作的策略,但二者通常分开构建,且每台机器人用自己的格式记录动作。GreenWAM 是一个能跨本体同时承担这两种角色的世界基础模型:一套共享的解剖学动作空间,用统一关节坐标描述 20 个机器人族(从双臂机械臂到灵巧人形);模型以视觉、动作条件、世界-动作三种模式联合训练;策略则通过从生成器切分出动作专家而形成。它在 WorldArena 1.0 上的轨迹、深度与三维精度位列第一梯队,进入 RoboTwin 2.0 排行榜前列,在对比方法中取得最高的 LIBERO-plus 零样本成功率,并在 CALVIN、LIBERO 上具备竞争力。适配到真实人形机器人后,其表现优于由 pi-0.5 与 Cosmos 3 Edge 迁移的策略,并可蒸馏为单步策略用于实时控制。

原文 · arXiv:2610.18774

机器人需要两样东西:一个能预测「动作会如何改变场景」的世界模型,和一个负责挑动作的策略。这篇工作追问:同一个模型能否同时胜任这两种角色,并跨越许多不同本体?

背景

机器人既需要世界模型来预测动作将如何改变场景,也需要策略来选择动作。现实中二者往往各自构建、各自评测,而且每台机器人用自己的格式记录动作,导致「为预测学到的知识」很难流向控制,反之亦然。悬而未决的问题是:一个世界模型能否同时承担这两种角色、并跨越不同本体,以及凭什么做到。

核心创新

GreenWAM 是一个面向机器人的世界基础模型,以及得到它的整套配方,靠三个要素起作用。其一,一套共享的「解剖学动作空间」以统一关节坐标描述 20 个机器人族,从双臂机械臂到灵巧人形,使异构本体可被放在一起比较。其二,模型在这些族上以视觉、动作条件、世界-动作三种模式联合训练。其三,通过从生成器中「切分」出一个动作专家来构造策略,让每个控制接口各有通路,同时共享底层动力学。

结果

  • 作为世界模型,GreenWAM 在 WorldArena 1.0 上的轨迹、深度与三维精度均达第一梯队,领先对比中的所有世界-动作模型与视频生成器。
  • 作为策略,它进入 RoboTwin 2.0 排行榜前列,在对比方法中取得最高的 LIBERO-plus 零样本成功率,并在 CALVIN 与 LIBERO 上与专门的视觉-语言-动作模型和世界-动作策略相当。
  • 迁移到真实人形机器人后,其成功率高于由 pi-0.5 与 Cosmos 3 Edge 迁移而来的策略,并可蒸馏为单步策略以实现实时控制。
  • 受控实验给出三点结论:机器人专门化能同时改善世界预测与控制;在适配之初就切分出动作专家有帮助;在策略适配过程中保留世界模型模式,可维持对场景变化的鲁棒性。

局限

证据是一组「强但相对」的名次:所谓「在对比方法中领先」,意味着对照基准是作者自行选定的一组方法,且论文并未给出决定性的领先幅度。基础模型的表述建立在「20 个机器人族被映射进同一关节空间」之上;这套动作空间能否优雅地扩展到该集合之外的本体,尚未验证。真机验证只有一台人形机器人,且以定性方式报告(摘要中未给出绝对成功率)。此外,配方最核心的输入是大规模、多本体的训练数据,而这恰恰是大多数实验室不具备的——因此复现它既是建模问题,更是数据问题。

产业启示

共享的解剖学动作空间,加上世界/动作的联合训练,正是机器人领域「基础设施层」的形态:一个模型跨多种本体既能预测、又能行动。若它成立,新形态机器人的上线成本将下降——新本体成了对共享骨干的适配,而非从零起步的项目。可蒸馏为单步策略这一点,对嵌入式硬件上的实时控制具有直接的商业意义——在那里,多步生成器是负担。战略要点在于:护城河坐落在共享动作空间与多本体语料上,而非任何单一机器人。