ViT-H：用视频生成人形动作，再用跟踪反馈把它变得可执行

人形机器人的行为多样性受制于数据。动捕棚能给出高质量参考动作，但成本与场地决定了它无法覆盖日常行为的分布；互联网上的单目人类视频则几乎无限，问题是怎么把它变成机器人能执行的关节轨迹。

主流做法是”重建-重定向-跟踪”三段式：先从视频估计人体运动，再把人体骨架重定向到人形机器人的连杆结构，最后训练跟踪策略去跟随这段参考。问题在于三个阶段分别优化——重建阶段追求视觉上像人，重定向阶段追求运动学上可行，跟踪阶段才发现某些参考根本跟不住。误差在阶段之间累积，而跟踪阶段的失败信号没有办法回流去修正前面的参考动作。

核心创新

ViT-H把这个链条压成了”生成-跟踪”两段。

直接生成人形参考动作。 扩散模型从视频直接输出人形机器人的参考运动，跳过人体运动重建与重定向两个中间阶段，也就不存在需要对齐的中间表示。

用跟踪结果做偏好优化。 生成器生成候选参考动作，交给运动跟踪器执行，跟踪的成败与质量构成偏好信号，再用直接偏好优化（DPO）对生成器做后训练。这一步是整篇工作的关键：参考动作不再只以”像不像视频里的人”为目标，而是以下游可执行性为目标被优化。

自回归实时变体。 作者进一步给出自回归版本，把视频流逐帧转成人形动作，实现延迟低于 400 毫秒的实时视频遥操作。

实验结果

• 在 Unitree G1 上，ViT-H在动作质量与可执行性两方面均优于当前最优的重建-重定向-跟踪流水线。
• 随模型规模扩大、预训练与后训练数据规模扩大，性能呈良好扩展趋势。
• 来自运动跟踪的反馈在不同跟踪器上都能稳定提升可执行性，说明收益来自参考动作本身变好，而不是对某个特定跟踪器的适配。
• 自回归变体支持亚 400 毫秒的实时遥操作。

局限性

摘要给出的是相对结论，未列出动作质量的具体指标、跟踪误差数值或失败案例分析，因此增益幅度无法从摘要独立判断。方法依赖可用的运动跟踪器来提供偏好信号，生成器可能过拟合该跟踪器的偏好；评估集中在 Unitree G1 单一平台，跨本体迁移未知。实时变体的延迟指标也缺少在真实网络与感知噪声下的验证。

行业影响

如果视频可以直接变成可执行的人形动作，那么”动作数据”的来源就从动捕棚扩展到整个互联网视频语料，这对人形机器人厂商的数据成本结构是结构性改变。更值得注意的是DPO这一环：它把”参考动作好不好”的定义权从视觉相似度交给了机器人自身的可执行性，这正是过去三段式流水线缺失的闭环。工程上，这意味着参考动作生成器与跟踪控制器可以解耦演进，而实时变体则给低成本遥操作和远程示教提供了一条不需要动捕服的路径。