Physical Words:给机器人操作的隐式推理配一套可复用的词表

· Editorial Team estimated
机器人操作 隐式推理 视觉语言动作模型 动作基元 视触觉 长时程任务

PhysWord 是一个「先推理、后行动」的基础模型:它预测接下来要发生的原子动作词——即「物理词」——并把产生这些预测的上下文隐状态,与由对应未来观测导出的隐目标对齐,从而形成一个按时间组织、且每个动作词都带视觉与可选触觉变体的表示空间。模型对未来时间步自回归地预测物理词,捕捉执行阶段之间的切换,为动作生成提供结构化的多模态上下文。它在视触觉基准 UniVTAC 上报告 90.3% 成功率、在纯视觉的 LIBERO-Long 上报告 99.6%,并在双臂夹爪与灵巧手的真实任务上优于对比方法。

原文 · arXiv:2610.26854

语言推理知道该做什么,却不知道做起来是什么感觉;隐式推理知道是什么感觉,却叫不出名字。原子动作词是同时拿到两者的低成本办法。

背景

「先推理、再行动」的机器人基础模型已经收敛出两个家族。第一类在语言里推理:模型用文字写出或想出一个计划,然后执行。这类方法对任务语义的承载很好——「拿起杯子,放到盘子左边」毫无歧义——但语言是物理动力学的糟糕信道。接触刚度、打滑的起始瞬间、以及「这次抓取即将失败」与「即将成功」之间的差别,都熬不过分词。

第二类在隐空间里推理,直接预测未来观测或未来状态。它对物理演化的刻画好得多,但得到的表示内部几乎没有结构:没有一个可以指着说的单元,没有可复用的基元,也很难表达「这段隐轨迹与那段属于同一类事情」。此前这两派基本被当作互斥选项,PhysWord 则把它们当成同一机制的两半。

核心创新

核心对象是「物理词」:一个原子动作动词,被用作连续物理动力学表示的共享语义锚点。

具体来说,模型预测即将发生的原子动作词,同时把产生这些预测的上下文隐状态,与由对应未来观测导出的隐目标对齐。动词提供离散性与可组合性,隐目标提供物理落地——两者不是「事后附加的监督」,而是在网络的同一点上被绑定,这正是防止动词退化成「策略根本不理会的标签」的关键。

在这些基元之上,作者构造了一个按时间组织的 PhysWord 空间,每个动作词都有视觉变体与可选的触觉变体。触觉变体尤其重要:「按」「滑」这类词在有直接接触感知时含义是不同的,为每个词保留模态专属的实例,可以避免整套词表塌缩成纯视觉的简写。

最后,模型对未来时间步自回归地预测物理词。由于词按时间排列,这样做能捕捉执行阶段之间的切换——伸够变成抓取、抓取变成提起的那一刻——并把结构化的多模态上下文交给动作生成器,而不是一个无差别的隐向量。

结果

  • 在视触觉操作基准 UniVTAC 上达到 90.3% 成功率。
  • 在纯视觉的 LIBERO-Long 上达到 99.6% 成功率。
  • 在使用双臂夹爪与灵巧手的真实世界任务上优于对比方法。
  • 进一步评测显示该结构化隐式推理框架能泛化到未见场景,并支撑长时程操作。

局限

方法依赖「有原子动作词可预测」,这隐含了标注过的示范数据,或一套强加在既有数据上的打标方案;摘要没有说明词表如何构建、规模多大、新任务的动词如何加入。固定词表也是一种覆盖性假设——接触密集的灵巧操作里存在未必能干净拆成具名动词的行为;而真机结果只以「优于」表述、没有给出数字,硬件上的领先幅度无从判断。LIBERO-Long 上的 99.6% 几乎没有留下提升空间,说明该基准接近饱和,也就限制了这一结果对方法的区分力。此外,视触觉与纯视觉的结果来自不同基准,摘要中没有受控对比来单独隔离触觉变体带来的收益。

产业启示

「词表」这一框架有一个原始隐式推理不具备的实际好处:行为层面的可检视性。如果策略的中间推理是一串动作词,操作员或监控系统就能读出它打算走的阶段序列,在机械臂动起来之前发现不匹配——这是隐向量给不了的东西,而这恰恰是工业部署本来就需要的那层监管。同一性质也有利于数据运营:示范可以按动词切分与检索,混合质量数据集更容易清洗,失败分析也变得可操作。对齐机制相对自建一个世界模型来说很便宜,因为它复用的是策略自身的隐状态。真正阻碍落地的问题是词表工程:谁来维护这套动词,新产品线带来没人命名过的动作时,扩展速度能有多快。