生成、跟踪、改进：基于 RL 微调运动生成器的感知型多技能人形机器人运动控制

一套分两层的人形机器人控制器：从深度规划动作，然后改进自己的运动生成器，而不是无休止地给跟踪器打补丁。

背景

通用人形机器人的目标，是一个既多技能、又具备感知、既动态又足够鲁棒、能去人类能去的任何地方的控制器。现实中，控制器往往只擅长其中之一。感知型策略常依赖里程计或预建高度图，这在户外很脆弱、维护也麻烦；用动作捕捉数据训练的运动生成器姿态自然，却与地形不一致；而当跟踪器失败时，惯常做法是再挂一个残差策略，它更多是在与参考轨迹对抗，而非修正它。

核心创新

架构有意分成两层。一个感知型流匹配运动生成器从原始深度图像规划全身轨迹；一个以控制引导强化学习训练的感知型跟踪策略负责跟踪这些轨迹。两者都基于一个地形一致的动作片段库训练，而该库由动力学优化的人类数据构建，因此得到的参考既在速度跟踪上准确，又与地形保持一致。

论文的核心贡献在于之后发生的事：一个简洁的离策略 RL 微调回路，用结构化搜索采集数据并做优势加权回归，从而改进生成器。由于是在策略之外进行的，它比在策略残差微调样本效率高得多，而且改进的是在未见地形与未见技能组合上的地形一致性，而非记住训练过的地形。由于感知直接作用于原始深度，不需要里程计或高度图；两台相机让策略能更早看到前方地形，并无论指令速度如何都能调整自身速度。

实验结果

• 地形穿越成功率最多提升 25 个百分点，技能选择最多提升 80 个百分点。
• 离策略微调回路报告称比在策略残差微调样本效率高得多。
• 在未见过的地形几何与技能组合上，地形一致性得到改善。
• 单个策略对即可让一台宇树 G1 行走、奔跑、站立、跳上跳下箱体，并在户外环境中攀爬楼梯。
• 不使用里程计或高度图；原始深度图像与两台相机即足以支撑户外部署。

局限性

摘要只给出相对提升——最多 25 与 80 个百分点——没有给出绝对成功率，因此被改进的基线水平并不清楚；尤其是”技能选择”提升 80 个百分点，需要先定义指标才能判断其分量。全部证据来自单一人形平台（宇树 G1），而纯深度感知有众所周知的失效场景——反光、透明或缺乏纹理的表面、直射阳光——户外论断会引来这些问题，但摘要并未涉及。此外，所报告的提升针对的是生成器的微调回路；当生成器给出远超训练分布的参考时，跟踪器表现如何，文中未作描述。

行业影响

对任何要交付足式平台的人而言，这里有两点可以直接用上。第一，用原始深度取代里程计与高度图，既是算法上的简化，更是运营上的简化：要标定的状态估计器更少，机器人离开实验室后被打破的假设更少，也没有需要与不断变化的现场保持同步的地图。第二，修生成器而不是加一个残差跟踪策略，是一个可维护性论点——一个经过改进的参考模型，比”生成器加上一层不断膨胀的修正层”更容易测试与审计；而离策略回路的样本效率则关乎经济性，因为在足式控制中，真机数据采集才是最贵的部分。覆盖行走、奔跑、跳上跳下箱体与楼梯的”单个策略对”结果，正是运营者真正想要的控制器形态：一个产物，多种行为，无需为任务重新训练。