Whole-Body Dexterity:让人形机器人用身体和手臂一起抱稳物体

· Editorial Team estimated
人形机器人 全身操作 灵巧操作 强化学习 仿真到现实 Unitree G1

当前人形灵巧操作大多停留在末端执行器与简单抓取,远不及人类用整个身体顶住、滑动笨重物体的能力。Whole-Body Dexterity(WBD)把机器人的躯干与手臂当作接触面来抓取和搬运物体:仿真到现实的流水线先生成可行的全身抓取数据集,再用它采样初始与目标抓取来训练「任一到任一」重定位任务的强化学习专家,最后蒸馏成只用本体感知与物体几何的单一策略。该策略零样本迁移到真实的 Unitree G1,能重定位篮球与纸箱,并完成把箱子夹在腋下、从货架搬到桌面再放下的长时任务,由人类遥操作者提供粗略运动参考。真机全身操作任务中蒸馏控制器完成 90% 的尝试,而直接重定向为 18%、通用全身控制器仅 4%。

原文 · arXiv:2610.22184

人类抱起一个大箱子时,用到的从来不只是手——手臂、胸口、甚至大腿都会顶上去分担重量。机器人却大多只会用手。

背景

人形机器人的灵巧操作近年进步迅速,但公开成果大多局限在末端执行器和简单抓取,远不及人类那种”用整个身体贴住、顶住、滑动笨重物体”的能力。当物体尺寸和重量超出单手握持的稳定范围时,只靠手臂末端往往无能为力——而这恰恰是仓储、制造、家庭搬运等场景最常见的需求。

核心创新

Whole-Body Dexterity(WBD)是一个把机器人躯干与四肢当作接触面来抓取和操作物体的通用框架。它的仿真到现实流水线分三步:首先自动生成一份可行的全身抓取数据集;随后以该数据集采样初始与目标抓取,针对”任一到任一”的重定位目标训练强化学习专家;最后把这些专家蒸馏成一个只用本体感知和物体几何作为输入的单一策略。由于输入刻意避开视觉与物体身份,蒸馏后的策略具备跨物体的通用性。部署时,控制器与人类遥操作者交互——操作者只提供粗略的运动参考,具体如何用身体承托、如何调整接触则由策略自主完成。

结果

  • 蒸馏后的策略零样本迁移到真实的 Unitree G1 人形机器人,可将篮球和纸箱重定位到躯干周围的指定区域。
  • 该机器人在真机上完成了一个长时任务:把一个箱子夹在一条手臂下,从货架搬运到桌面,再放下。
  • 全身操作任务中,蒸馏控制器完成 90% 的尝试,明显高于直接重定向的 18% 与通用全身控制器的 4%。

局限

摘要只报告了两个物体的真机结果,样本量偏小,未曾量化蒸馏策略对不同尺寸、重量与摩擦条件物体的鲁棒性边界。控制器依赖人类遥操作者提供粗略参考,自治程度仍有限;摘要也未说明接触过程中的力控安全性,以及长时间承托是否会引入过热或磨损问题。这些都需要在更大规模的硬件实验中验证。

产业启示

全身操作的意义在于它直接抬高了可操作物体的尺寸和重量上限。物流装卸、制造上料、家庭大件搬运中,机器人面对的多是超出单手抓握范围的物体,而 WBD 给出了”用身体一起抱”的可行路径。更值得注意的是它蒸馏出的策略只用本体感知与物体几何——这意味着部署时无需昂贵的视觉标定,硬件成本可控。90% 与 18%、4% 的巨大差距说明:全身接触不是锦上添花的技巧,而是能否完成任务的分水岭。对以人形机器人为核心产品的团队而言,这提示灵巧操作的下一个前沿可能不在手指,而在身体。