Whole-Body UMI：把手持演示迁移成人形机器人的全身操作技能

人形机器人终于站稳了，于是真正有意思的问题变成了：这双手该拿来做什么。而在这里，领域撞上了一堵熟悉的墙。教人形机器人开抽屉、把物体放上货架，通常意味着遥操作：操作员钻进一套外骨骼或手柄系统，一个任务消耗数小时，每加一项新技能就要重来一遍。Whole-Body UMI（WB-UMI）问的是：操作数据里最便宜的那条来源，能不能被拉长到覆盖整个身体。

背景与问题

Universal Manipulation Interface 改变了操作数据采集的成本结构。人不必遥操作机器人，而是直接用一套手持夹爪与相机装置完成动作；录下来的数据便宜、便携，并且可以在不同地点之间直接比较——这正是 UMI 风格的数据集如今撑起大量操作策略工作的原因。问题在于，UMI 记录的是末端走了哪里。人形机器人不能想把手放哪就放哪：在指尖抵达录制位姿之前，手臂、躯干、髋与腿必须协同移动、保持平衡、并满足关节限位。对一台全身机器人而言，末端轨迹是一份欠定的规格说明，而遥操作此前实际上一直在悄悄补足这份欠定。

核心创新

WB-UMI 把问题拆成两个学习器，中间用一条很窄的接口相连。

• 共享的末端接口。 一侧是任务语义，另一侧是全身协调，两者之间需要传递的只有末端。
• 面向任务的扩散策略。 策略在原生 UMI 演示上训练，和固定基座机械臂上的做法完全一致。
• 面向身体的、与任务无关的动作生成器。 WB-UMI 本身是一个以末端为条件的实时生成器，从重定向后的动捕数据中学习全身协调，只需训练一次，且与具体任务无关。
• 不需要配对数据。 因为两个半部各自独立学习，采集具体任务时既不需要动捕服，也不需要同步的「图像—全身动作」——一个人拿着 UMI 装置就能录新任务。
• 异步部署层级。 运行时，扩散策略、动作生成器与全身控制器以异步方式集成，配合延迟补偿与实测状态反馈，保证各层之间保持一致。

结果

• 在 G1 人形机器人上实现四个任务的实时闭环迁移。
• 关抽屉：成功率 90%。
• 货架取放：80%。
• 抛球：30%。
• 移动操作中的取放（Loco-PnP）：40%。

这组数字的分裂是有信息量的，而不只是尴尬。静态与准静态操作迁移得很好，而这恰恰是「解耦接口」应该奏效的区间：身体先稳定下来，手臂跟随末端参考，协调大体上只是姿态问题。动态任务才是单一末端指令流不再够用的地方——抛掷、边走边搬运这类动作依赖动量、接触时序与全身状态，而末端轨迹在编码上并装不下这些。

局限

生成器的训练依赖重定向后的动捕，所以全身动作语料仍然要在上游存在——论文减轻的是具体任务采集的负担，而不是整条流水线。结果只来自单一平台 G1，跨平台泛化尚未验证。两个动态任务的成功率低到只能当作可行性证据，而非能力证明。摘要没有给出延迟、算力或控制器带宽的数据，而一个带延迟补偿的异步层级恰恰是活在这些数字上的。把末端当作「全部任务接口」本身也是一个有边界的建模选择：它排除了身体本身就是工具的任务，比如支撑、攀爬，或用肩、躯干去操作。

行业启示

这里真正的价值，是给人形机器人「新增一项技能的成本」带来数量级的变化。如果一项新任务可以通过一个人拿着 UMI 装置录几分钟来定义，那么扩充人形机器人技能库的边际成本，就从「遥操作台上的操作员小时」降到「几分钟手持演示 + 一个共享动作生成器」。这正是「出厂自带一张固定任务清单的机器人」与「可以由真正需要干活的人现场教会的机器人」之间的差别。它也让 UMI 风格的数据——如今操作研究里的事实货币——对人形厂商有了价值，而不再只服务于臂式操作。需要诚实标注的前提是动态任务上那两个 30% 与 40%：全身敏捷性仍是硬骨头，而「接口冻结」的设计在那里有可见的天花板。近期机会在静态与准静态操作——仓库、厨房、实验室里那些「无聊」的任务，80%~90% 已经够用，而数据采集的经济性此刻明显偏向这条路。