Ropedia W0：用人类经验把跨本体移动操作世界模型规模化

机器人世界模型长期按本体各做各的。这项工作把人和机器人放进同一个运动学坐标系，并让人类承担了大部分教学工作量。

背景

世界模型让具身智能体预测「下一步会发生什么」，这正是「被动反应」与「主动规划」的分界线。难点在于移动与操作处在不同的动作空间里：移动通常被表达为机器人在世界中的基座位姿变化，操作则被表达为机体坐标系下的关节或末端指令。只训练其中一种的模型，换到另一种任务上基本报废；两种都训练的模型，往往两边都做得不深。

数据是第二道瓶颈。机器人遥操作数据昂贵且覆盖面窄；人类每天产生海量的第一视角视频，成本低、多样性高、物理上也真实可信，却很难与机器人的动作空间对齐。此前多数工作要么无视人类视频，要么只把它当作视觉预训练素材，从未真正检验它能否迁移到机器人控制。

核心创新

作者先把数据本身做成基础设施。Xp-Data 由约 1 万小时人类第一视角录像与约 3 千小时机器人数据组成，全部带统一的多模态标注，并经过一套系统化的质量控制流程。这个比例本身就是设计决策：人类侧提供规模与行为多样性，机器人侧提供目标本体。

真正让两侧兼容的是表示方式。统一的运动学编码用相机位姿表达移动——这对头戴相机的人和移动底盘的机器人同样成立；用投影骨架表达操作。对机器人而言，骨架由「本体相关的前向运动学 + 大量人工关键点标注与修正」共同构造，因此投影结果落在与人体骨架相同的空间里，而不是落在某个机器人专用的关节约定中。

在此之上，作者还贡献了 Xp-Teleop：一个基于高质量灵巧人形遥操作数据构建的长时程移动操作基准，使全身任务能在真实示范上评测，而非依赖脚本化场景。

结果

• 在 DreamDojo、Psi-0、omega-HOME、Xp-Teleop、AgiBot 五个跨本体基准上报告了当前最优表现。
• 在留出的人类第一视角视频上同样领先，评测覆盖零样本推理、少样本适配到全量数据后训练。
• 扩大人类预训练数据会同时提升人类与机器人两侧的评测成绩，这是全文关于迁移性的核心实证结论。
• 蒸馏之后模型支持实时、分钟级的推演，可实现 VR 实时交互。
• 作者展示了策略评估、基于模型的规划、世界-动作建模三类下游用途。

局限

摘要只给出「最优」的排名，没有给出领先幅度，因此无法判断优势是压倒性的还是微弱的，也无法区分增益有多少来自数据、多少来自表示。人机迁移是用基准分数断言的，没有按本体逐项分析；运动学编码依赖类人骨架，对轮式底盘、四足或非人形操作臂的覆盖程度并不清楚。三千小时机器人数据相对人类语料仍显单薄，在接触密集或高精度任务上，机器人侧的信号可能不足。实时能力只在蒸馏之后出现，意味着演示中的交互系统是评测表格里那个模型的压缩衍生版本。最后，世界模型的质量是用预测指标与下游任务指标衡量的，一个模型完全可能在未来预测上得分很高，却在陌生场景中作为规划基座并不可靠。

产业启示

最实际的信息是数据经济学。如果人类第一视角视频真能迁移到机器人的评测与控制，那么当下最廉价的大规模物理数据源——让人戴着相机做日常事情——就成了训练预算里合法的一部分，扩展世界模型的边际成本相比继续采集遥操作数据会下降一个数量级。对人形机器人项目尤其如此：一个共享的移动操作模型可以在上真机之前做类推演式回归测试，新策略先在预测的未来里筛一遍，再决定是否占用硬件时间。蒸馏后的实时 VR 交互，也指向一条更便宜的遥操作与数据采集界面路径。需要提醒工程团队的是：跨本体的结论必须在自己平台上重新验证，因为这套表示默认了类人的运动学树。