StrataVLA:把 3D 几何分层注入 VLA 主干,几何调用量最多省下 88%

· Editorial Team estimated
视觉语言动作模型 3D几何接地 空间感知 推理效率 机器人操作 基础模型

视觉语言动作(VLA)模型从大规模视觉语言预训练中继承了对语义的先验理解,却在机器人操作上持续受制于 3D 空间感知不足。现有做法要么要求显式的深度图或点云输入,要么把几何压缩成训练期监督,要么只在模型输入或动作专家处注入几何——共同结果是视觉语言主干在推理时始终拿不到任务相关的空间信息。StrataVLA 提出一种即插即用的分层几何接地框架:用一个冻结的几何基础模型从 RGB 观测中提取共享几何特征,再通过稀疏、按主干深度分层的 Geometry Adapter,让选定层的视觉表征以交叉注意力按需取用几何证据;同时用任务感知路由与 LRU 特征缓存利用操作过程中的时间冗余。在 LIBERO、SimplerEnv 与真实机器人操作上,该方法在保持对强 VLA 基线一致领先的同时,把几何模型的调用次数最多降低 88%,其中 LIBERO 系列平均成功率达到 98.53%。

原文 · arXiv:2609.26071

通用机器人操作最近两年的进展,几乎都建立在视觉语言模型之上:海量图文预训练带来了常识、物体语义和指令理解,让策略第一次有了「不针对单一任务」的可能。但这条能力线在真实操作里会撞上一堵很具体的墙——语义到位、空间不到位。知道要抓哪个杯子,不等于知道杯柄在三维空间里的确切位置,也不等于知道夹爪下压到多深才接触。VLA 的语义主干对这类几何量普遍不敏感,而工业任务对公差恰恰最敏感。

背景与问题

围绕「给 VLA 补几何」已经出现多条路线,但各有代价。要求显式深度或点云输入的方案把负担推给了传感器,而部署现场未必有可靠深度。把几何压成训练期监督的方案在推理时不再能调用几何,遇到新视角或遮挡就容易失准。只在模型输入或动作专家处注入几何的方案,则等于假设几何信息只需要在链条的两端出现,中间的视觉主干始终缺少持续的空间上下文。三种做法的共同点,是都没有让主干在推理时按需、低成本地访问几何。

核心创新

StrataVLA 把几何接地从「一次性注入」改造成「分层、按需、可缓存」的机制,包含三个部件:

  • 冻结的几何基础模型。 直接从 RGB 观测中提取几何特征,无需深度或点云输入,也不参与训练,避免了引入又一个需要微调的大模型。
  • 分层 Geometry Adapter。 只在主干的选定深度挂接稀疏适配器,让这些层的视觉表征通过交叉注意力检索任务相关的几何证据。几何信息因此是「按深度分布」的,而不是集中在某一处。
  • 任务感知路由与 LRU 特征缓存。 利用操作过程的时间冗余:相邻时刻的几何需求高度重叠,于是缓存复用,只有真正需要时才再次调用几何模型。

这一组合使方法可以作为插件挂到已有 VLA 上,而不改变其训练范式。

实验结果

  • 在 LIBERO 系列的多个套件上,StrataVLA 取得 平均 98.53% 的成功率,对强 VLA 基线保持一致领先。
  • 在 SimplerEnv 与 真实机器人操作 任务上同样观察到稳定增益。
  • 借助任务感知路由与缓存,几何模型调用次数最多降低 88%,把「补几何」从算力负担变成可控开销。

局限性

摘要没有给出各基线的逐项数值、几何基础模型的具体型号与参数量、缓存命中率,也没有说明真实机器人实验的平台与任务数量,因此 88% 的调用节省在不同任务分布下是否稳定尚不清楚。缓存依赖时间冗余这一假设,在快速变化或遮挡频繁的场景中可能失效,而这正是空间感知最吃紧的时候。几何基础模型虽然冻结,但仍是推理链条上的额外组件,其失败模式(例如对反光、透明或纹理稀疏表面给出错误的几何)会直接传导到策略。此外,论文没有报告与深度输入方案在同等条件下的对照,也没有说明训练流程需要多少改动——「即插即用」的边界在哪里仍然模糊。

行业影响

对工业操作而言,VLA 落地的主要阻力有两类:空间精度不够,以及推理成本太高。StrataVLA 同时触及这两点——分层几何接地针对前者,路由与缓存针对后者。88% 的调用节省是有实际意义的数字,因为它决定了整条控制回路能不能压进产线的实时预算。更值得注意的是「不必重训」这一性质:如果几何能力可以像适配器一样挂在既有模型上,那么已经投入训练的 VLA 资产就有了升级路径,而不必推倒重来。当然,生产环境真正关心的是另一组问题——几何模型在反光金属件、透明包装这类棘手表面上的可靠性,以及缓存失效时的降级行为。这些不能靠排行榜回答,需要现场验证。