KungfuAthleteBot:从视频学习高动态人形动作,并统一鲁棒的跌倒恢复
视频是廉价而丰富的人体动作来源,尤以武术的腾空落地最能代表人形机器人渴望的高动态能力,但视频运动物理不自洽、不含驱动力信息、也不谈失败恢复。KungfuAthleteBot(KAB)逐一化解这三种失效模式:用物理引导的抛物线轨迹校正去除漂浮、穿地与抖动;用物理驱动的伪低动能采样把策略初始化偏到动力学可行状态;并让抗扰与跌倒恢复和视频动作跟踪在同一策略里学习。人形机器人由此从视频学到高动态技能,且能在约 0.7 秒内从任意跌倒中恢复。
原文 · arXiv:2610.03388视频里有的是钱买不到的极端动作,但它既不自洽、也不含力、更不谈摔倒。KungfuAthleteBot 的价值不在于再去找更多数据,而在于把这三重缺陷当成工程问题逐个修补。
背景
视频是丰富而廉价的人体运动数据源,尤其富含极端的竞技动作——武术的腾空与落地正是人形机器人最难也最想要的能力。但把视频动作直接重定向到机器人并不能解决问题:从视频重建的运动在物理上并不自洽,也完全不含驱动(力矩)信息,更对「失败与恢复」只字未提。这三重落差,正是高动态动作难以从视频学到的根源。
核心创新
KungfuAthleteBot(KAB)把「从视频学习高动态动作」当作核心问题,逐一化解上述三种失效模式。其一,作者以国家级武术运动员的视频构建 KungfuAthlete 数据集,并提出物理引导的抛物线轨迹校正,去除重建出的腾空与落地阶段的「高度漂浮」、穿地和抖动。其二,由于视频不含力信息,严格跟踪重建轨迹在动力学上不可行,而按误差驱动的初始化会不断把策略丢回不可行的腾空姿态;KAB 引入物理驱动的伪低动能(LKE)采样,把初始化偏置到动力学可行的状态,让策略自行发现可行的驱动模式,而不是去模仿不可行的轨迹。其三,作者提出一种直接训练范式:让抗扰与跌倒恢复和「跟踪视频动作」在同一个策略里学习,既不需要恢复参考数据,也不需要人工切换模式。
结果
- 在人形机器人上,KAB 从视频学到高动态技能,并能从任意跌倒中恢复,恢复时间约 0.7 秒。
- 作者称这是已报道的统一策略中最快的恢复速度。
- 消融实验确认了统一策略中各组件的必要性。
局限
摘要给出的核心数字只有 0.7 秒恢复时间与「最快」的定性比较,缺少对武术动作本身的跟踪精度、成功率与动作多样性的量化,因此很难判断「学会了高动态技能」到达什么程度。整个流程依赖重建视频的物理校正与 LKE 采样,这些步骤的超参与数据集覆盖(限于武术、限于国家级运动员采集)都会影响可迁移性。真机验证的硬件、场景与稳健性细节在摘要中同样未展开。
产业启示
对训练高动态人形技能而言,视频是唯一足够便宜又足够丰富的动作来源,但它天生不自洽、不含力、不谈失败。KAB 的价值在于把这三种缺陷当作工程问题逐个修补,而不是再去找更多数据——这为「少采数据、多用现成视频」的人形技能训练提供了一条可操作的路线。对产业界而言,同一策略内建跌倒恢复尤其重要:人形机器人在真实场景中总会摔倒,能否在不到一秒内自行站起,直接决定了部署时是否需要人工干预,也就决定了运营成本与可用性。采用方需要注意,该方法的可信度同时取决于视频校正与物理可行初始化两步,而这两步都依赖难以外部复现的超参与采集条件。