FLORE:让双手机器人学会"用多大劲",而不只是"走到哪"

· 编辑团队 estimated
人形机器人 移动操作 力控 扩散策略 全身控制

FLORE提出一套力反应式人形机器人移动操作框架。它用带力感知的UMI式手持夹爪与可穿戴追踪器,在不占用机器人的情况下采集示范;力反应扩散策略以视觉、本体感觉和实测六维力为输入,同时预测全身动作与每只手的力指令;混合柔顺全身控制器在保持平衡的同时跟踪这些力指令。在三项富接触真机任务上,该策略成功率为80%,而用同一批示范训练的纯位置策略只有26.7%。

原文 · arXiv:2610.35862

今天的人形操作大多被当作”动作”来教:策略看场景、预测双手轨迹,全身控制器负责跟随。抓取和够取这类任务确实可以这样解决,但日常任务里有很大一部分,重点根本不在手到了哪里,而在施加了多大的力——擦桌子、推重物、抱着重心会漂移的箱子、把工具压进接触面。这类力在人形机器人上无法交给某个手腕单独完成,它由双腿、躯干和双臂共同产生,因此策略真正需要输出的参考量是力与力矩,而不是位姿。

数据问题随之而来。要遥操作人形机器人采集带力信息的示范,需要机器人、熟练操作员和大量时间,而且录下来的动作标签只是重定向流水线的副产物,力信息往往在这个过程中就丢了。

核心创新

FLORE把问题拆成三层:一套不依赖机器人的采集管线、一个把力当作输出的策略、一个真能执行力指令的控制器。

不需要机器人到场的示范采集。 操作员手持两只UMI式夹爪完成任务,夹爪集成力传感,记录手部位姿与接触六维力;身体动作由可穿戴追踪器记录。整个过程在真实环境里进行,机器人不必参与。这是关键的一步:动捕服能记录人体运动,却记录不到人与物体之间真正交换的力。

力反应扩散策略。 策略输入视觉、本体感觉与实测力,一次性输出动作块和每只手的力指令。力不再是位置目标带来的副产品,而是策略显式预测的量。

混合柔顺全身控制器。 真正困难的是站着把力打出去。控制器对真实力/力矩传感器的误差做积分,使每只手沿指定方向收敛到目标力,同时在其余方向上保持柔顺,并全程维持平衡。仿真中,控制器能够在不同幅值和方向的手部力指令下保持跟踪,而全身动作精度几乎没有损失——正是这一点,让”把力指令交给移动控制器”变得安全可行。

实验结果

  • 在三项富接触真机任务上,力反应策略的成功率为 80%。
  • 用同一批示范训练、并由同一个控制器执行的纯位置策略,成功率只有 26.7%。由于数据、策略类型和底层控制器都被固定,这个对比基本隔离出了”力反应”本身的贡献。
  • 仿真消融显示,控制器能在不同幅值与方向的手部力指令下完成跟踪,同时保持全身运动精度。

三倍的差距是这篇工作的核心结论。它说明这些任务缺的不是更多示范,也不是更强的视觉主干,而是动作空间里缺失的那一维力。

局限性

摘要只说明有三项任务,没有给出任务名称,也没有报告以牛顿计的力跟踪误差、各任务的失败分布,或与”额外回归一个力头”的策略做对照。评估集中在单一机型与单一控制器上,策略和柔顺层都没有跨本体验证。示范虽然不需要机器人,但仍由人操作,节省的是机器时间而非人的时间;手持夹爪的力传感与机器人自身腕部/指尖传感器并不等价,这个传感落差要靠控制器吸收。此外,摘要未提及接触过程中受到突发外力扰动时的表现。

行业影响

可调力的移动操作,是人形机器人从”演示好看”跨到”在家庭、仓库、工厂里真干活”的门槛。这里有两个具有商业含义的设计选择。其一,把”输出力指令的策略”和”保证柔顺跟踪的控制器”分开,等于给厂商一个干净的分层接口:上层模型可以替换或重训,而不必重新认证底层的平衡与安全逻辑。其二,手持力感知夹爪把数据采集变成了工人到现场几分钟就能完成的事,既不用预约机器人,也不用搭遥操作设备。对于目前仍在采集纯位置示范的团队,这项工作给出了一个很实际的提醒:力的通道必须在采集阶段就记录,任何事后的位置数据都补不回来。