用离散 VLA 模型实现人形机器人移动操作

离散动作词元让 VLA 模型在机械臂上表现出色。人形机器人是更难的目标：腿、躯干、手臂与手共处一个高维而异的动作空间。这篇工作把它们全部折进了语言模型本身。

背景

离散动作词元在控制机械臂的 VLA 模型上已被证明很合适：策略输出语言模型本就擅长编排的词元，无需另设动作头。人形机器人打破了这个前提。它的全身动作空间——腿、躯干、手臂与手——维度远高于单臂、且高度异质，会同时给分词、训练与实时推理带来压力。既有 VLA 设计并未处理这一场景；而常见的补救办法——外挂一个独立的连续动作专家——又会重新引入语言模型与运动策略之间的知识隔离问题。

核心创新

Holo-M 被作者称为首个面向人形移动操作、且通过在语言模型词表中扩展动作词元来真正利用语言模型本身的离散 VLA 模型。统一的动作分词器把人形动作空间拆成四个身体部位专用分词器——末端执行器、身体、手、运动学——使同一个模型能够跨差异极大的具身与数据源训练，包括人形遥操作、第一视角人类视频与仿真。由于这些词元位于模型自身词表中，该设计绕开了独立连续动作专家的知识隔离问题。为满足实时控制，模型对每个身体部位的动作词元采用分组离散扩散解码，而非对动作词元做自回归。

实验结果

• 在 SIMPLE 人形移动操作基准上，Holo-M 在通用与专用两项评测中均取得最高成功率。
• 在这些对比中，它以明显优势领先第二名。
• 训练经由一个统一分词器横跨人形遥操作、第一视角人类视频与仿真。
• 作者表示将开源全部代码与模型权重。

局限性

评测仅报告在 SIMPLE 单一基准上，因此模型在其他人形平台与任务族上的广度尚未呈现。所谓「首个此类模型」是作者的自述，本文并非独立验证。实时能力是以分组离散扩散解码来论证的，但摘要未在成功率之外给出控制频率、延迟或硬件配置的量化。四个身体部位分词器在具身进一步偏离训练数据时能否保持优势、以及全身快速运动时运动学词元流的精度如何，都仍是开放问题。

行业影响

对人形机器人团队而言，值得关注的是架构上的取舍：Holo-M 没有在语言模型上外挂一个连续动作头，而是把整个身体折进模型自身的词元流，这正是让训练数据能同时从遥操作、人类视频与仿真汇聚的设计。如果同一套离散词表就能覆盖四个差异很大的身体部位动作空间，这就提示了一条务实路径——用同一个预训练模型跨机器人代际复用，而不必为每个平台量身重训控制器。承诺的代码与权重开源在此格外重要：它能让其他团队在自己的机型上验证这套分词器，并检验其优势是否经得起不同硬件的考验。