灵巧手不只要抓得住,还要掉得少:4800个真机目标的在手位姿实验

· 编辑团队 estimated
灵巧操作 多指手 仿真到现实 安全滤波 强化学习

研究团队为LEAP多指手设计了一套完全不用人类示范的训练方案:在仿真中学会把物体在手指可达范围内移动到任意位置与姿态,再零样本迁移到真机,部署时既可用动捕,也可只用一颗腕部深度相机。在13.3小时、4800个未见目标的真机评测中,基于状态的策略有95.2%的目标落在2厘米与0.4弧度误差内;叠加学习式残差安全滤波后,掉物次数减少75%,同时仍有91.5%的目标可达。

原文 · arXiv:2610.37652

做过多指手的人被问到难在哪里时,答案很少是”抓”。抓取已经基本够用了:手指合拢,物体通常就留在手里。真正没解决的是抓到之后的事——在手指之间把物体挪到新的位置和姿态,不松手、不失接触,手腕转动时物体也不能飞出去。

这个任务叫”在手位姿到达”(in-hand object pose reaching),比灵巧操作视频里常见的那种转笔式演示苛刻得多。目标不是一个固定的旋转,而是任意目标位姿:手指可达范围内几乎任意位置与朝向,配合任意手腕朝向,并且要连续衔接一长串目标。每一次切换都增加一次掉落的概率,而物体的质量分布又会改变每一步所需的手指力。

瓶颈通常在数据侧。人手在手指间调整物体的过程几乎无法规模化示范——没有人能遥操作一只五指手完成上千次连续重抓;而仿真训练出来的策略,长期难以在真实接触动力学下存活。

核心创新

作者把问题当作系统问题而非策略结构问题来处理,并且明确说明训练全程不使用任何人类数据。

用目标与初始状态的多样性替代示范。 训练分布不是围绕少数舒适位姿采样,而是由自动生成的抓取数据集铺开,让策略见到大量差异明显的初始手指构型与目标位姿。重置状态的多样性,正是防止策略退化成”只会几种顺手的抓法”的关键。

自适应摩擦课程。 接触摩擦是对多指手”仿真到现实”迁移杀伤最大的单一参数。这里不在训练中固定摩擦系数,而是让课程随训练调整,迫使策略在一段摩擦区间内都保持能力,而不是只适配某一个值。

细致的系统辨识。 仿真与真实手指动力学之间的差距,靠辨识真实平台参数来收敛。这一步是把”零样本部署”从愿望变成可行方案的前提。

学习式残差安全滤波。 在任务策略之上再叠一个学习模块,对指令动作做残差修正,且保守度可调。这部分才是把”有能力的策略”变成”能用的策略”的环节:操作者可以在不重训的前提下,调节”达成多少目标”与”掉多少次物体”之间的平衡。

实验结果

这篇论文的评测规模在这个方向里相当罕见:13.3小时真机测试、4800个未见目标、4种物体、多种手腕朝向。

  • 基于状态的策略有 95.2% 的目标落在2厘米与0.4弧度误差之内。
  • 开启安全滤波后,掉落减少 75%,同时仍能到达 91.5% 的目标——用3.7个百分点的成功率,换掉四分之三的失败。
  • 部署时既可以用动捕,也可以只用 一颗腕部深度相机,也就是说感知需求是手上一个传感器,而不是一整套外部跟踪设备。
  • 除基准测试外,策略还能让任意姿态握持的灯泡旋转、到达训练分布之外的目标,并在手臂快速运动和外部扰动下保持稳定。

只用相机的那套配置才是商业上更有意思的部分。策略除了腕部视角什么都不需要,于是它变成了一项可携带的技能:作者演示了”把灯泡拧进去”,而这个任务的定义本身就是持续的在手微调,而非一次抓取。

局限性

95.2%这个数字属于基于状态的策略;纯腕相机版本只作为可携带技能做了定性演示,没有单独报告成功率与掉落率,因此”去掉动捕要付出多少感知代价”并未被量化。4种物体是相当窄的集合,摘要也没有说明它们的几何形状与质量范围,而在手位姿到达对这两点都高度敏感。论文没有与”用域随机化替代系统辨识”的策略做对照,因此系统辨识这一步的独立贡献无法剥离。安全滤波降低掉落但没有消除掉落,也没有给出失败分类——剩下的掉落是集中在某些手腕朝向,还是集中在可达工作空间边缘,从摘要无法判断。

行业影响

有两件事可以直接搬到产品项目里。第一是评测协议:13.3小时、4800个目标,同时报告到达精度与掉落率,这正是灵巧手供应商在客户愿意把手伸到贵重物品旁边之前需要出示的可靠性数据。已发表的灵巧性结果大多只在精选物体上报成功率,对”多久会脱手一次”避而不谈。第二是滤波的可调保守度,它给集成方提供了一个按场景切换吞吐与安全的旋钮——仓库拣选线和实验室自动化单元想要的平衡点并不相同,而两者都不想为了改这个平衡去重训模型。

只用腕相机的结果还影响系统成本。一项技能如果只靠一个机载相机运行,不需要外部动捕、也不依赖固定的工位标定,它就具备了在机器人与工位之间搬迁的能力。相比95.2%这个数字,这种可迁移性才是在手操作从”刷榜任务”走向”可部署能力”的真正信号。