DexPort:把手持式技能接口变成灵巧手的数据飞轮
DexPort是一个面向高自由度灵巧手的手持式数据采集接口,采集与部署共用同一套手部硬件,从根本上消除了手部本体差距。操作者只需移动手持接口指定手腕轨迹,并通过选择、微调少量预定义技能来协调手指,无需逐关节操控;系统同时记录下发的关节目标与实测关节状态。作者在四类真实任务上采集了2500余条实验室与野外示范,行为克隆策略直接学习手腕运动与手部命令:用指令替代状态使成功率从11%提升到64%,加入野外数据后任务成功率从36%提升到78%。
原文 · arXiv:2610.32969灵巧操作长期卡在数据上。遥操作能录到可直接执行的机器人动作,但前提是有一台完整的机器人,而且多指协调的负担全压在操作者身上;人类示范容易采集,却必须经过动捕估计与重定向才能变成机器人动作,中间还夹着一层手部本体差距。两种路线各有代价,而代价最终都体现为数据规模上不去。
核心创新
DexPort的切入点是让采集硬件就是部署硬件。它是一套手持式接口,内部就是目标灵巧手本身,因此录下来的示范天然处于机器人自己的运动学与传感器空间里,不存在”人手到机器手”的映射误差。系统同时记录两类信号:下发的关节目标命令,以及实测的关节状态。
更关键的是操作方式的设计。作者的核心观察是——少量技能足以支撑范围很广的灵巧任务。采集时,操作者只负责移动手持接口来指定手腕的运动轨迹,手指则由他选择或微调的技能来协调。这样既保留了精确抓取、手内操作这类行为,又把操作者从逐关节控制中解放出来,并且不需要任何技能标签就能用行为克隆训练视觉运动策略。
实验结果
- 覆盖四类真实任务:多样物体的抓取放置、使用手内工具的拧螺丝、需要同时抓取与拉动的抽屉收纳、以及双臂扫描。
- 用便携设备采集了 2500 条以上示范,场景包括实验室与野外,且野外采集时不需要机器人手臂在场。
- 用记录的机器人命令代替关节状态作为监督,成功率从 11% 提升到 64%。
- 引入野外数据后,任务成功率从 36% 提升到 78%。
局限性
技能库仍需人工设计,策略的能力上限被技能集合的覆盖面框住;行为克隆的泛化性只在上述四类任务上验证,缺少跨本体迁移与长时程任务的评测。此外,“无机器人手臂也能采集”降低了门槛,但手持接口本身的位姿仍需外部追踪,追踪精度对示范质量的影响未被量化。
行业影响
灵巧手厂商最缺的不是硬件迭代速度,而是能证明硬件可用的数据。DexPort的价值在于把数据采集从”必须搭一整套遥操作台”降级为”拿上手就能录”,并且采集与部署共用硬件,天然规避了换手后的性能塌陷。对做灵巧手、数据服务与操作策略的团队来说,这是一条可以直接照搬的采集流水线;对整机厂而言,它意味着手部数据可以像野外采集一样分布式扩张,而不必占用宝贵的机器人本体工时。