从 1500 小时示教到在策略纠正:双臂家务操作的规模化之路

· 编辑团队 estimated
VLA 双臂操作 机器人数据集 模仿学习 家务机器人

该工作开源发布 1500 小时多样化双臂家务操作示教数据,并基于专用高通量数据管线与精心设计的多阶段训练范式,在这些数据上训练了视觉-语言-动作模型 XR-2。系统实验表明其任务表现强劲,训练效率与数据利用率俱佳;沿两条规模化轴线——专家示教数据量与基于实时人工干预的 DAgger 在策略纠正后训练——任务成功率均稳步提升,在当前数据规模上呈现清晰一致的扩展趋势。数据集已开源,以支持双臂操作学习的可复现研究。

原文 · arXiv:2609.03591

要训练鲁棒的通用双臂操作策略,瓶颈其实很简单:高质量、大规模的人类双手家务示教数据难以采集,绝大多数实验室无法自产足以训练出可用策略的数据。XR-2 直击这一瓶颈——一方面开源大规模示教语料,另一方面回答一个关键问题:数据足够多时,双臂策略是否会以可预测的方式持续变强。

核心创新

  • 1500 小时双臂示教语料——覆盖多样化日常家务任务,规模化采集并开源发布,支持可复现研究。
  • XR-2 视觉-语言-动作模型——基于专用高通量数据管线与精心设计的多阶段训练范式训练,在性能、训练效率与数据利用率之间取得平衡。
  • 两条受控规模化研究线——分别改变专家示教数据量,以及使用实时人工干预采集的 DAgger 纠正数据进行后训练,考察成功率沿各轴线的扩展规律。

实验结果

  • 系统实验中 XR-2 取得强劲的操作表现,同时保持可观的训练效率与高数据利用率。
  • 在探测范围内,任务成功率随示教数据量增加稳步提升。
  • 基于实时人工干预的 DAgger 在策略纠正后训练,在当前数据规模上同样呈现一致、清晰的扩展趋势。

局限性

扩展趋势是在当前数据规模与所探测范围内得到的,能否外推到更大语料或更广任务分布仍是开放问题。摘要层面给出的是基准成功率趋势而非部署级鲁棒性分析,数据采集与评测所用具体硬件形态在此层面也未展开说明。

行业影响

对研发双臂与人形家务机器人的企业而言,这项工作的价值集中在”数据”二字:它直接提供了一个可用的双臂示教开源语料,并用证据表明——同时投入离线示教采集与轻量交互纠正(DAgger 式)——能换取稳定提升的成功率。这种可预测的扩展行为是对双臂操作”数据飞轮”的务实论证;开源发布也显著降低了尚无力自建百万级数据产线的团队的入场成本。