VioLA：用人类运动数据训练通用的全身人形控制策略
让一个人形机器人用全身跟随指令，会同时撞上两堵墙：它的动作空间大而强耦合，腿、臂、手必须在维持平衡的前提下协同运动；而人形示范又极其稀缺，导致现有通用策略开箱即用不了，必须针对每个任务用遥操作示范微调。VioLA 改变了通用策略去预测的对象——它不再输出关节指令，而是预测身体与手部的运动隐变量，交由预训练的身体控制器与手部控制器在真机上执行；配套的运动编码器把人类运动和机器人运动映射到同一隐变量空间，于是一段人类录制天然就带着策略动作空间下的标签。这让一个 1.406 亿帧、其中 93.2% 来自人类的训练池变得可用。由此得到的策略能在真机上零样本跟随移动指令，成功率达 100%，而 GR00T N1.7 为 16.7%、Psi_0 为 0%；在无需任务级微调的情况下，操作成功率也达到 88.6%，且同一套做法可跨两种 VLA 与一种世界动作模型骨干复用。
原文 · arXiv:2610.12435人形机器人有一个硬件从不宣传的数据难题：它们需要学会的动作，以人类活动的形式已经大量存在，但人的动作并不是机器人的指令，而弥合这道形态鸿沟一直很昂贵。VioLA 的判断是，这道鸿沟是一个接口问题，而不是数量问题。
背景
教人形机器人用全身跟随指令，会同时遇到两个障碍。第一，它的动作空间既大又强耦合：腿、臂、手指必须在保持平衡的同时协同运动，使关节层面的动作很学。第二，人形示范稀缺，因此现有通用策略无法开箱即用地跟随新指令，部署前都要用每个任务的遥操作示范微调。相比之下，人类示范的数量要大得多，但人的动作不是机器人指令——最显然的数据来源，恰恰是不能直接插上的那一个。
核心创新
VioLA 通过改变通用策略「预测什么」同时移除了这两个障碍。策略不再输出关节指令，而是预测身体与手部的运动隐变量；一个预训练的身体控制器与手部控制器在机器人上执行这些隐变量，而它们对应的运动编码器把人类运动和机器人运动映射进同一隐变量空间。由于策略的动作空间如今是一个共享的运动隐变量空间，一段人类录制按定义就已经带标签——它本就处在策略所作用的那个空间里。正是这一变化，让一个 1.406 亿帧、其中 93.2% 为人类的训练池，从「必须逐任务重新定向的代理数据」变成了真正可用的策略数据。
结果
- 策略在真机上零样本跟随移动指令，无需任何任务级微调，成功率达 100%，而 GR00T N1.7 为 16.7%、Psi_0 为 0%。
- 在无需任务级微调的情况下，操作成功率达到 88.6%。
- 同一套做法可跨两种视觉-语言-动作骨干与一种世界动作模型骨干工作。
- 仅用人类示范训练的通用策略即可在真机上零样本完成移动任务。
- 代码与检查点计划公开。
局限
摘要给出了醒目的成功数字，却没有交代评测规模：指令数量、试验次数、任务多样性都未说明，因此 100% 与 88.6% 背后的鲁棒性难以判断。该方法依赖预训练的身体与手部控制器，以及能把人类与机器人隐变量对齐的运动编码器，所以其表现受限于这些部件能推广到什么程度、以及人类语料在隐变量瓶颈中能保留多少信息。实时闭环的延迟与算力没有报告；这里的「零样本」指的是开箱即用的指令跟随，而不是在人类数据池之外的任务或接触上的能力。同样缺席的还有失败分析——对移动类结论而言，这一点尤其重要，因为那里的一次失败就是一次硬件事故。
产业启示
可操作的结论是：人类运动这座大山，也许不必再按任务逐一向机器人缴「重定向税」。如果「预测运动隐变量而非关节指令」正是让人体视频能在策略动作空间中自我标注的关键，那么人类数据与机器人控制之间的接口，就是每一家人形公司的一等设计决策，而非实现细节。与 GR00T N1.7、Psi_0 之间那样的差距，足以改写路线图：能以人类数据为主训练通用行为的团队，竞争的将是数据获取，而不是稀缺的遥操作。对采用方而言，真正待解的是那些不性感的工程问题——实时开销、接触密集型任务的鲁棒性，以及当动作落在人类数据池之外时，这个共享隐变量空间会以多优雅的方式退化。