把人的触觉一起搬过去:TouchBridge 让人手示范七倍速变成机器人数据

· 编辑团队 estimated
灵巧操作 触觉传感 跨本体迁移 人类示范 VLA

TouchBridge 用可穿戴采集端与机器人端两套硬件的对应关系,把人类示范直接搬成机器人训练数据。核心方法 Tac-Retarget 以实测接触为条件对齐指尖接触斑块,不需要物体网格、位姿估计或物理仿真。在四项真实接触密集任务上,只用转换后的人类示范微调 VLA 达到 72.5% 平均成功率,与等量遥操作数据的 77.5% 接近,而采集速度快 7 倍;相同训练设置下比 DexPilot 和 UniDex 分别高 25.0 与 42.5 个百分点。

原文 · arXiv:2610.40349

灵巧操作的数据问题,一直是个成本问题而不是理论问题。人类示范本身足够丰富,问题出在搬运过程中:人手的尺寸、关节数、皮肤摩擦特性都与机械手不同,一段人手的视频或动捕轨迹无法直接变成机械手的动作指令。于是行业默认做法是遥操作——操作员握着主手反复演示,慢、累、而且一台主手通常只对应一台从手。

TouchBridge 的切入点是把这个转换过程重新定义成接触对齐,而不是运动学重定向。

核心创新

硬件对应关系先行。 系统由可穿戴的人类示范采集端与对应的机器人端组成,两端在视觉与指尖触觉上建立跨本体的对应关系。这一点很关键:多数跨本体方案只在关节角度或末端位姿层面做映射,而接触密集任务真正需要对齐的是”皮肤上的哪一块压在哪里、压多大”。

Tac-Retarget:以触觉为条件的重定向。 方法用实测接触去对齐指尖接触斑块,并在同一只手内部与双手之间保持这些斑块的空间关系。它不使用物体网格、不做物体位姿估计、不跑物理仿真。这三点恰好是同类方法的通用依赖,也恰好是它们在真实杂乱场景里失败的原因——物体模型拿不到,位姿估不准,仿真里的接触参数与现实不符。

视觉合成与相机锚定动作转换。 触觉解决了”怎么接触”,视觉合成解决”看起来像不像机器人拍的”,相机锚定的动作转换把人的动作落到机器人相机的坐标系里。三段合起来,才是能直接拿去微调 VLA 的机器人域示范。

与预训练 VLA 的衔接。 转换后的数据用于微调一个预训练的视觉—语言—动作模型,不需要从零训练。

实验结果

四项真实世界的接触密集任务,只用 TouchBridge 转换的人类示范微调:

  • 平均成功率 72.5%,而使用等量遥操作机器人示范为 77.5% —— 五个百分点的差距,换取采集效率的大幅提升。
  • 人类示范采集速度是遥操作的 7.0 倍。
  • 在相同策略与训练设置下,Tac-Retarget 比 DexPilot 高 25.0 个百分点,比 UniDex 高 42.5 个百分点。

最后这组对比是本论文最有说服力的部分。它说明增益不是来自”用了人类数据”这个笼统的做法,而是来自触觉条件下的接触斑块对齐这一具体机制——同样的数据源、同样的策略、同样的训练流程,换掉重定向方法就差出二十到四十个点。

72.5% 对 77.5% 这组数字同样值得正视:人类示范转换后仍略逊于真机遥操作。但采集快 7 倍意味着同样的工时可以覆盖七倍的任务与场景多样性,而在灵巧操作里,多样性往往比单任务数据量更能决定泛化。

局限性

论文只报告了四项任务的平均成功率,摘要没有给出逐任务结果,也没有说明任务的具体构成与物体集合,因此无法判断 72.5% 是被某一项难任务拉低还是普遍水平。可穿戴采集端的触觉传感器数量、位置与机器人端是否一一对应,摘要未展开;而”跨本体触觉对应”的精度直接决定方法上限。此外,所有实验都建立在”人类示范者愿意佩戴设备”的前提上,长期佩戴的舒适性与对自然操作习惯的干扰没有量化——7 倍效率是采集阶段的速度,不含设备穿戴与标定时间。最后,五个百分点的差距在四项任务上是否统计显著,摘要未给出方差或置信区间。

行业影响

如果这条路径在更多任务上站得住,它会改变灵巧操作数据采集的成本结构。遥操作台是重资产:主手、工位、标定、操作员培训,一套下来只服务一台机器人。可穿戴采集端是轻资产,可以发给多个示范者并行采集,再把数据汇聚到同一个训练管线。对需要快速覆盖长尾任务的人形机器人团队,这是把数据采集从”建产线”变成”发设备”的区别。

第二点影响更技术性:不需要物体网格与位姿估计,意味着这套转换可以在从未见过的物体上工作。工业场景里大量零件没有 CAD 模型,家庭场景里物体更是无穷无尽,一个不依赖物体模型的转换管线,才具备规模化部署的可能。

第三个可借鉴之处是评测方式。把”转换后的人类数据”与”等量遥操作数据”放在同一策略、同一训练流程下对比,是一个干净得多的实验设计,比只报绝对成功率更能说明数据管线的真实价值。这个对照值得成为跨本体数据工作的标准做法。