HAF-VLA:把全身人形控制的分层拆进动作流去噪过程

· Editorial Team estimated
人形机器人 视觉语言动作模型 移动操作 流匹配 全身控制 动作分块

HAF-VLA 把一个预训练的流匹配视觉-语言-动作模型改造用于人形机器人的全身移动操作:它不再一次性生成整段动作块,而是按阶段逐步去噪——先出移动与头部指令,再细化腰部,最后生成全身操作动作,并用跨阶段 KV 缓存条件把前一阶段的动作表示传给后一阶段。模型继承原有的视觉-语言前缀编码器与动作专家权重,仅新增可学习的阶段嵌入,在六个真实世界任务上显著优于现有模型。

原文 · arXiv:2610.26584

固定基座的操作臂可以一次生成整段动作。到了人形机器人身上,先定底盘、再定腰、最后定手,这个顺序本身就决定了机器人站不站得住。

背景

通用视觉-语言-动作策略在桌面操作上已经相当能打,而这些进展几乎都建立在一个「不去动它就看不见」的假设上:基座不动。人形机器人以最昂贵的方式打破了这个假设。它的动作空间横跨移动、姿态、视线与双臂,且各维度并不独立。底盘一旦漂移、腰部一旦转错一点,双臂就必须补偿,而这种补偿正是让人形演示看起来脆弱的那种剧烈、失稳的上半身动作。

工程上显而易见的答案是分层:底下放一个导航或移动策略,上面叠一个手臂策略。但拆控制器同时也就拆散了学到的表示,上层再也无法推理「我伸得到哪里,取决于机器人刚才选择站在哪里」。直接改造一个强的移动操作 VLA 很诱人,问题在于这类模型是在一次去噪里吐出整段动作块,内部并没有任何结构区分底盘、躯干与手。

核心创新

HAF-VLA 在能保留的地方尽量保留预训练模型:视觉-语言前缀编码器与动作专家权重是继承来的,而非从头训练,这也是改造代价可控的原因。

真正的改动在于动作块是怎么被生成的。模型不再一次性对完整的全身动作向量去噪,而是在一个共享动作空间上执行分阶段调度:先移动与头部指令,再细化腰部,最后生成全身操作动作。每个阶段都以上一阶段的输出为条件,于是操作阶段并不是在猜底盘最终停在哪,而是在细化一个已经对底盘轨迹做出承诺的计划。

让这套调度成立的有两个机制。可学习的阶段嵌入告诉动作专家当前处于哪个阶段,使同一套权重能承担三种不同的生成角色;跨阶段 KV 缓存条件则把前序阶段的动作表示传递下去,让后续阶段可以细化与增补,而不是重新生成。这与「用不同掩码把策略跑三遍」有实质区别:条件化保住了阶段之间的结构依赖,而不是把它们切断。

结果

框架在六个真实世界的人形移动操作任务上评测,报告称显著优于现有模型。这一结论是相对性的——按这种方式改造的流匹配 VLA,胜过同族中未采用分层动作流的模型——而这恰恰是能把分层调度本身的作用单独隔离出来的正确对照。

局限

摘要没有给出逐任务成功率,没有说明「现有模型」具体是哪些基线,也没有交代六个任务各做了多少次试验,因此增益大小无从判断。六个任务、看起来是单一平台,对于一项全身控制的结论而言证据面偏窄;而且没有与「独立移动控制器 + 上层操作策略」这种常规分层方案对比——那才是多数团队今天真正会部署的方案,也是最有说服力的替代解释。阶段顺序(先移动、再腰、后操作)是固定的设计决策;在手臂必须领先的任务里(例如接住物体、用手撑住墙面),这个顺序未必适用。此外,动作专家继承自移动操作 VLA,方法也就继承了那个模型的数据分布,而克服这一错配究竟需要多少人形专属数据,文中并未说明。

产业启示

人形团队在移动与操作之间的接缝上花了不成比例的工程力气,通常做法是建两个控制器再加一个切换。如果「接缝可以搬进单个预训练策略内部」这一结论成立,并且只要安排好去噪阶段的顺序就足以让上半身保持稳定,那就意味着一种更便宜的架构:一个模型、一个动作空间、一份反映物理依赖链的调度表。实际收益是更少的定制接口,以及从一个机型换到另一个机型时更少的逐平台调参——因为语义与视觉能力由继承来的 VLA 承担。机制本身也不限于人形:阶段嵌入加跨阶段 KV 缓存条件,对所有「维度之间存在天然层级」的高维动作空间都适用,而这样的空间其实是大多数。