InterMimicGen:用自进化动作模仿扩展人形机器人的移动-操作

· Editorial Team estimated
人形机器人 移动-操作 动作模仿 动作重定向 强化学习 仿真到实机

采集到的人-物交互数据是人形机器人移动-操作训练中极有价值的监督信号,但它们稀疏、异构,且无法被机器人直接执行。InterMimicGen 是一套自进化的动作模仿框架,让机器人运动数据与跟踪策略彼此促进。它先整合动作捕捉的人-物交互数据集,在保留全身协调性与灵巧手-物关系的前提下重定向为人形机器人参考动作,得到大规模且多样的参考集合;随后训练一个基于物理的通用跟踪器,在仿真中用带灵巧手的仿人机器人执行这些参考,规模与多样性都超过以往用于移动-操作的仿人跟踪系统。最后它闭合一条数据飞轮:每一轮都对待交互发生的位置与身体的执行方式做微小的、保任务的改动,用这些变体微调跟踪器,并只保留仿真执行能够完成任务的变体,它们再作为下一轮的种子。作者报告了跨机器人构型的接触保持重定向、单一通用策略的广覆盖跟踪、随增强轮次不断增长的可执行动作,以及向真机的迁移。

原文 · arXiv:2610.06850

人形机器人的移动-操作有一个形状很具体的数据难题:真正大量的示范以人-物交互记录的形式存在,可它们偏偏是机器人无法直接执行的形态,而能被直接使用的示范又极其稀缺。InterMimicGen 的做法,是把这段落差处理成一个循环,而不是一次性的转换。

背景

采集到的人-物交互数据,是全身移动-操作最有价值的监督来源之一,因为它记录了人如何把行走、平衡与灵巧手协调起来完成任务。但它的可用性被三个特性拖累:稀疏、随采集设置与受试者而高度异构,且无法被机器人直接执行。把人体动作重定向到机器人是标准的桥梁,可一次重定向只能得到一组与所录情形严格绑定的固定参考,于是恰恰在最难的全身灵巧控制处,覆盖反而最薄。

核心创新

InterMimicGen 用一套自进化的动作模仿框架同时处理「转换」与「稀缺」,其核心是让机器人运动数据与跟踪策略互相促进。它分三步走。第一步,整合动作捕捉的人-物交互数据集,在保留全身协调性与手-物灵巧关系的前提下重定向为人形机器人参考,产出一个面向灵巧全身移动-操作的大型多样参考集合。第二步,训练一个基于物理的通用跟踪器,在仿真中用配备灵巧手的仿人机器人执行这些参考,其规模与多样性都超过以往面向移动-操作的仿人跟踪系统。第三步,闭合一条数据飞轮:每一轮都对「交互在哪里发生」以及「身体如何执行它」做微小的、保任务的改动,用这些变体微调跟踪器,并只保留仿真执行能够完成任务的变体,让它们成为下一轮的种子。由于改动小且被约束为保持任务语义,这些编辑会围绕稀疏的原始示范逐轮累积出更广的覆盖,而不是逐渐偏离原意。

结果

  • 在多种机器人构型上展示了保留接触的重定向。
  • 单一通用策略在整合后的参考集合上实现了广覆盖的跟踪。
  • 可执行动作的集合随增强轮次不断增长,同时保持任务语义与动作质量。
  • 整条流水线能够向真机迁移。

局限

摘要给出的是定性结论而非数字,因此参考集合的规模、跟踪成功率以及真机迁移的成功率都没有量化,无法与以往的仿人跟踪系统直接比较。飞轮的选择步骤依据「仿真执行能否完成任务」来筛选变体,这意味着不断增长的动作资源,其可信度不会高于用于筛选它的仿真器;若仿真存在系统性偏差,这种偏差会在多轮中被不断放大而非纠正。真机验证的范围也依旧开放——摘要声称能够迁移,却没有说明多少任务、什么硬件、稳健性如何。

产业启示

人形机器人进展的瓶颈,正越来越多地落在数据规模而非控制器架构上,而对移动-操作最有价值的「手部与全身协同运动」数据,恰恰是实机上最难采集的。一种能把异构交互记录转成机器人可执行的参考集合、再自动把这个集合做大做广的方法,直接切中了这个瓶颈。对于构建人形机队的团队,其实践含义是:一套固定的人工采集示范,可以变成会复利的资产——每一轮通过仿真筛选的增强,都是机器人能被训练去执行的新动作,而无需额外的硬件时间。采用方需要权衡的隐忧是:整份资源都由仿真器把关,因此仿真器的保真度是承重的。