SuperMimic:用一个可微世界模型,把全身动作跟踪的算力门槛砍掉三个数量级

· Editorial Team estimated
人形机器人 全身控制 动作跟踪 可微世界模型 强化学习 算力效率

SuperMimic 用一个从刚体仿真器日志中拟合的可微世界模型,把 12 万段人体动作的全身跟踪策略学习摊销到共享动力学上:世界模型与跟踪策略在同一循环里联合训练,通过对短 imagined rollout 做 BPTT 获得解析梯度。单卡 3 小时的回报超过此前 128 卡训练 7 天的动作跟踪基线,GPU 小时数下降超过 1000 倍,129,514 段基准动作中仅 25 段失败(基线 179 段);两张卡训练 9.8 小时后实现零失败。策略可迁移到实体 Unitree G1,执行多样化乃至杂技动作。

原文 · arXiv:2610.28480

人形机器人学动作,一直是在用算力换动力学。SuperMimic 把动力学学一次,然后让所有动作共用它。

背景

要让双足人形机器人做出通用、自然的全身动作,目前最有效的办法是「照着人做」:收集大规模人体动作捕捉数据,训练策略去跟踪每一段参考动作。这条路线已经被证明能产出富有表现力的全身控制,但它有一个结构性的成本问题——动作越多,学习成本越像是线性甚至超线性增长。

现有做法大致两类。第一类是「分而治之」:为每段动作训练一个专家策略,再把这些专家蒸馏进一个统一策略。蒸馏本身是有损的,动作越多,合并时的相互干扰越严重。第二类是「硬怼」:直接训练一个能覆盖全部动作的单一策略,代价是集群级算力。两条路都接受了同一个隐含前提——每段动作都要重新经历一遍「探索动力学」的过程。

作者提出的问题很直接:这些动作跑在同一个机器人上,共享同一套刚体动力学。那么动力学只需要学一次,剩下的应该被摊销。

核心创新

SuperMimic 的核心是一个可微世界模型,它从标准刚体仿真器记录的转移数据中拟合而来,描述了这批动作共享的动力学。世界模型与跟踪策略在同一个训练循环中联合优化:策略在世界模型里做短程「想象」rollout,误差通过时间反向传播(BPTT)直接给出解析梯度,而不需要模型无关强化学习那种高方差的采样估计。

这个设计同时解决了两件事。其一是样本效率:解析梯度比策略梯度携带更多信息,短 rollout 就足够。其二是摊销:动力学模型对所有动作只有一份,新增动作只需在这个共享模型上继续优化策略,而不必重新支付动力学探索的成本。

值得注意的是方法论的克制——作者没有去训练一个「更大更强的策略」,而是把瓶颈定位在学习算法本身,然后用一个经典的控制学思路(模型基优化)替换掉模型无关的采样。这也是为什么它的收益体现为数量级的算力下降,而不是几个百分点的成功率提升。

结果

  • 单张 GPU 训练 3 小时,回报即超过此前最优动作跟踪基线在 128 张 GPU 上训练 7 天的结果。
  • GPU 小时数下降超过 1000 倍。
  • 在 129,514 段基准动作上仅 25 段失败,基线为 179 段;两张 GPU 训练 9.8 小时后达到零失败。
  • 动作数据量从 1 小时扩展到 264 小时,世界模型的预测误差保持稳定,达到目标回报所需的 GPU 小时增长缓慢——这正是「可测规模定律」的前提。
  • 学到的策略迁移到实体 Unitree G1,覆盖多样化与杂技类动作。

局限

摘要给的是回报与失败计数,没有给出跟踪精度的细粒度分布,因此无法判断「超过基线」是整体占优还是长尾差异。世界模型是从刚体仿真器的日志里拟合的,它的保真度上限就是仿真器本身:接触、摩擦、执行器延迟这些仿真器本身建模不准的部分,会被世界模型继承,并在想象 rollout 中被放大,而 BPTT 恰好对模型偏差很敏感。真机演示集中在 G1 一个平台,缺少对不同本体、不同负载与不同地面条件的迁移证据。此外,零失败是在基准动作集上取得的,这些动作本身是运动捕捉数据,不包含感知闭环、外部扰动或非结构化环境中的在线适应——它证明的是「跟踪能力可以廉价地规模化」,而不是「全身控制在野外可靠」。

产业启示

对人形机器人团队来说,最直接的影响在研发预算表上。如果训练一个覆盖十万级动作的全身跟踪器只需要个位数 GPU 小时,那么「动作库覆盖度」就不再是算力约束下的稀缺资源,而变成一个数据采购问题:可以按任务族系统地补齐动作,而不是挑几段最有代表性的动作反复优化。这对量产前的技能覆盖规划尤其关键——过去要论证「加这一类动作值不值一张 GPU 集群周」,现在边际成本低到可以直接做 A/B。

第二个影响是迭代节奏。单卡小时级的训练意味着算法改动可以在半天内得到全动作库的反馈,而不是等一周的集群任务。世界模型预测误差在 1 到 264 小时数据范围内保持稳定这一点,说明这套摊销不会随着动作库变大而失效,团队可以放心地把动作库当作长期资产持续扩充。需要提醒的是,仿真器保真度成为新的单点风险:世界模型学的是仿真器的动力学,仿真器与真机的差距会直接转化为策略的 sim-to-real 差距,因此仿真器校准的投入回报会比以前更高。