Spark-0:把触觉当作监督信号,规模化预训练灵巧操作

· Editorial Team estimated
触觉感知 视觉-触觉-语言-动作模型 灵巧操作 预训练 数据集 机器人学习

接触密集的灵巧操作里,力、柔顺与即将发生的滑移都难以从图像观察。Spark-0 是一个空间对齐的视觉-触觉-语言-动作(VTLA)模型:预训练时用触觉手套生成的图像空间接触图,配合冻结的 3D 几何教师特征来监督视觉 token(推理时移除),同时用一条触觉通路编码区域力历史与 3D 触觉单元状态来条件化动作专家,使同一个检查点既能纯视觉部署也能触觉条件化部署。团队构建了 1000 小时全手触觉人类操作数据集 HumanTouch 与配对夹具 SparkArena;保留触觉后,Ego Humanoid 上纯视觉成功率从 52.5% 升至 71.7%,SparkArena-Real 从 44.0% 升至 52.0%。

原文 · arXiv:2610.22342

相机看得清物体,却看不清力、柔顺,以及即将发生的那次滑移——这正是接触密集型灵巧操作的盲区。

背景

通用机器人策略受益于大规模视觉预训练,但在接触密集的灵巧操作上依然吃力:力的大小、柔顺程度、以及尚未充分显现的滑移,都很难从图像中直接观察。纯视觉路线因此难以把”手上的感觉”变成可学习的信号,而触觉数据又长期缺乏规模,难以支撑预训练。

核心创新

Spark-0 是一个空间对齐的视觉-触觉-语言-动作(VTLA)模型,用两种互补的方式使用触觉。预训练阶段,来自触觉手套的图像空间接触图,连同冻结的 3D 几何教师网络特征,一起监督视觉 token;这些监督目标在推理时被移除。与之并行,一条触觉通路编码区域性的力历史与 3D 触觉单元(taxel)状态,用来条件化动作专家。由此,同一个检查点既能支持纯视觉部署,也能支持触觉条件化的部署。为了把这种监督规模化,团队构建了 HumanTouch——一个 1000 小时的全手触觉人类操作数据集——并把 Spark-0 在其上,与第一人称视频、机器人数据、仿真数据共同预训练。他们同时发布 SparkArena,把纯视觉的仿真任务与触觉条件化的真机任务配对在同一台灵巧本体上。

结果

  • 在 SparkArena 的两条赛道上,Spark-0 都取得了最高的平均成功率;在 Ego Humanoid Manipulation Benchmark 的全部八项聚合指标上排名第一。
  • 在与”丢弃触觉、同等数据与算力”的纯视觉预训练对照下,保留 1000 小时 HumanTouch 的触觉,把 Ego Humanoid 上的纯视觉成功率从 52.5% 提升到 71.7%。
  • 在部署时也使用触觉的 SparkArena-Real 上,成功率从 44.0% 提升到 52.0%。

局限

摘要未披露触觉硬件的具体形态、手套与机器人手之间的标定误差,也未说明接触图监督影响视觉 token 的具体机制。真机赛道规模有限(单一灵巧本体),跨本体与跨传感器的迁移仍待验证。此外,1000 小时人类触觉数据的采集成本很高,复现门槛不低。

产业启示

这项工作最有价值的判断是:触觉不只是一种策略输入,更可以是一种可扩展的预训练监督信号。这改变了触觉的数据经济学——无需为每一台机器人手配置触觉硬件,也能用人类触觉数据提升纯视觉策略。对被触觉上机成本拖住的团队而言,这是一个明确的信号:触觉数据的价值,可能先于触觉硬件兑现。数据集与基准的公开发布,也让”触觉到底值多少”这个长期争论第一次有了可比较的度量。