HuMBLE:以人类动作为驱动的可操控人形运动学习
人形运动控制器往往以两种方式之一失败:纯粹为指令跟踪与鲁棒性优化的控制器会产生机械感的步态;而与人类动作数据绑定的控制器则无法泛化到该数据分布之外。HuMBLE 是一个平衡这两者的学习框架。它先通过教师—学生蒸馏学习一个自然运动先验:用强化学习训练一个全身参考条件策略,再把它蒸馏成仅依赖本体感知与躯干平面速度操控指令的轻量先验。随后用多任务强化学习微调该先验,同时配对两类目标——一个跟踪任意指令的目标条件任务以扩展数据分布之外的覆盖与鲁棒性,以及一个以人类数据为显式风格正则项的参考引导任务。该框架在波士顿动力 Atlas R1、Atlas D1 与 Unitree G1 三台人形上完成验证,包括真实环境中用户直接操控的室内外行走,以及作为分层控制栈中运动层的集成。
原文 · arXiv:2610.10489人形运动控制器通常以两种方式之一失败:为指令跟踪与鲁棒性做优化,它走起来像机器;把控制器锚定在人类动作数据上,它又走不出这份数据。HuMBLE 的赌注是:这一冲突出在训练目标上,而非物理上,并且它可以被化解。
背景
人形的步态既是控制信号,也是它训练方式的印记。为跟踪任意速度指令、抵御扰动而优化的策略,往往收敛到高效、机械、常常僵硬的运动,看上去与人毫不相似。而训练去模仿人类动作数据的策略虽然自然,却难以泛化到数据之外的指令——对一个必须接受任意操控输入的控制器来说,这是致命的。多数已部署的技术栈要么选一边站队,要么把两者叠起来,结果把两套问题一起继承。
核心创新
HuMBLE 把这一冲突当作需要直接平衡的对象。它从一套自建的、覆盖多种速度与方向的运动数据集出发,先通过教师—学生蒸馏学习一个自然运动先验:用强化学习训练一个全身参考条件策略,再把它蒸馏成仅依赖本体感知与躯干平面速度操控指令的轻量先验。随后,该先验用多任务强化学习微调,刻意配对两个目标——一个是跟踪任意指令的目标条件任务,用于把覆盖与鲁棒性扩展到人类数据之外;另一个是参考引导任务,把人类数据当作显式的风格正则项来跟踪。于是人类数据不再是指令分布本身,而是一道约束,让步态即使超出分布也仍然像人。
结果
- 在三种人形上完成验证:波士顿动力 Atlas R1、Atlas D1,以及 Unitree G1。
- 具备稳健的真实世界表现,包括室内外环境中用户直接操控的行走。
- 作为分层控制栈中的运动层完成集成。
- 与未使用人类数据训练的 Tabula Rasa 强化学习策略做基准对比,再加消融实验,确认得到一个轻量、可部署的策略:仅凭一条操控指令即可重建协调的全身行为。
- 策略在保持鲁棒且完全可操控的同时,保留了人类步态特征。
局限
其核心主张是定性的——走起来像人,同时仍可操控——而摘要没有给出任何运动相似度指标或成功率,来量化微调之后还剩下多少「人的特征」。数据集是自建且经过整理的,其是否公开、覆盖范围如何都不清楚,这限制了复现。来自两家厂商的三台机器人是一个有意义的跨度,但作为「可泛化到所有人形」的证据,样本仍然偏小。对照对象是 Tabula Rasa 强化学习策略,而非其他基于人类动作的控制器,因此相对于最接近的替代方案的优势并未被直接测量。分层栈中的集成虽已演示,但更高层如何与风格约束相互作用,并未刻画。
产业启示
对人形开发者而言,有意思的做法是把人类动作数据当作叠在指令跟踪目标之上的风格正则项,而不是目标本身。这解耦了商用运动控制器必须同时做到的两件事——服从任意操控指令,并且在这么做时看起来还算体面——也指向一套能产出小型可部署策略、而非大型模仿网络的训练配方。在波士顿动力 Atlas 平台与 Unitree G1 上的验证,是该方法不绑定单一硬件栈的有力信号;而能置于分层控制器之下,则使它可以直接与更高层规划器组合。对采用方而言,悬而未决的问题是:当为了鲁棒性把参考引导项调小时,还剩多少「人的特征」;以及这套全身行为能否泛化到自建数据集之外的地形与负载。