SpatialDex：只用 RGB 人类视频，预训练出有 3D 空间感的双臂灵巧操作

灵巧操作的数据瓶颈有一半是假的。人类视频在互联网上有海量供给，手部动作的标注方法也日趋成熟，但直接用这些视频预训练的策略到了真实机器人上往往表现平平。原因不在动作，而在空间：视频里的手是在一个具体的三维场景中运动的——桌面有多高、杯子在手的左前方还是右前方、抓取时手腕离障碍物有多远——而大多数方法只把手部轨迹抽出来，把场景几何丢掉了。策略于是学到了”手该怎么动”，却没学到”在什么空间里动”。

核心创新

SpatialDex 的主张是把人类行为连同它的空间上下文一起学。对每一段视频，它做三件事：

1. 重建场景几何，并估计手部运动；
2. 用 3D 手部估计自带的手部尺寸先验，把几何与手部轨迹对齐到统一的视频级尺度——这解决了单目重建尺度不确定的问题，也是让人类视频的几何能与机器人数据共享坐标系的关键；
3. 把重建出的几何同时当作策略输入和预测目标，而不是只作为辅助可视化。

在策略结构上，SpatialDex 用一个预训练视觉语言模型作为主干，通过门控残差融合（gated residual fusion）把 VLM 的 token 网格锚定到重建几何上。训练目标不止于动作：模型要预测未来的场景几何，同时输出手腕与手指动作，并且手指运动是在预测出的双手腕轨迹条件下生成的。这个”先定手腕去向、再定手指形态”的分解，符合灵巧操作的物理因果顺序。

预训练规模是 100 万段人类视频片段，之后只用少量机器人示教做微调——这是该方法在数据经济上的核心卖点。

实验结果

• 在九项仿真灵巧任务、两种本体上，平均领先此前最佳方法 16.5 分；
• 在六项真实世界双臂灵巧任务上，平均领先 38.3 分；
• 在控制变量的对比中，用重建几何做预训练比只用手的运动做预训练，成功率高出 14.2 分。

最后这组消融最重要：它把增益归因到几何本身，而不是预训练数据量或模型容量。

局限

• 摘要只给出相对分数，未披露各任务的绝对成功率，也未说明真机任务的具体难度（物体数量、是否接触丰富、是否有遮挡）。
• 依赖单目 3D 手部估计与场景重建的质量；在严重遮挡、快速运动或反光材质下，重建误差如何传导到策略，摘要未评估。
• “少量机器人示教”的具体数量未给出，而这决定了该方法对真实团队的可用性——若需数百条示教，预训练的优势会被采集成本抵消。
• 评测集中在桌面级双臂灵巧操作，移动平台、大工作空间与多物体长程任务未涉及。

产业意义

这条路线最有价值的地方，是它把”人类视频”从动作数据升级为空间监督数据。对任何在攒数据的机器人公司，这意味着一批原本只能提取手部轨迹的资产，现在可以额外提供场景几何与手-物空间关系的监督信号——同一个数据源，两种用途。

从技术选择上看，SpatialDex 也代表了一个正在成形的共识：VLM 主干提供语义先验，几何提供空间精度，两者用轻量融合（这里是门控残差）连接，而不是把点云硬塞进 token 序列。这种结构对算力更友好，也更容易复用现成的视觉语言模型。

短期内最值得关注的，是 14.2 分的几何增益能否随数据规模继续扩大。如果几何监督的收益不随视频数量饱和，那么”重建 + 预测未来几何”会成为人类视频预训练的标准配置；如果很快饱和，说明瓶颈仍在动作分布而非空间表征。