InternW0-Δ:以 2 万小时以上开放数据连接预测动力学与动作的世界动作模型

· Editorial Team estimated
世界动作模型 机器人操作 视觉-语言-动作 视频预训练 混合Transformer 开放数据

通用操作希望用同一个模型既预测场景将如何变化、又决定该采取什么动作,但有价值的先验——视觉动力学、场景语义、几何与运动——通常分散在若干各自独立的预训练模型中。InternW0-Δ 用混合 Transformer(MoT)把它们融合进一个世界动作模型:视频专家与动作专家在一个冻结 VLM 的语义引导下交互,一个预训练的 4D 基础模型通过仅训练期使用的蒸馏注入几何与运动先验,而 Causal Imprint 模块学出与未来相关的场景变化,推理时完全不推出未来视频。它在作者称为同类中最大开源规模的 2 万小时以上异构语料上预训练,并在仿真基准与真机平台上报告了性能提升,同时承诺开源代码、权重与数据。

原文 · arXiv:2609.31394

一个把视频预测、3D/4D 几何与动作生成揉进同一模型的操作基础模型,并承诺开源其两万余小时的训练语料。

背景

通用机器人操作越来越依赖同时表示视觉动力学与驱使其变化的动作的模型,也就是世界动作模型。反复出现的困难并不在于缺少某一种先验,而在于有用的先验彼此分散:大型预训练模型早已编码了合理的视觉动力学、场景语义、度量几何与运动,但要把它们折进同一个动作生成框架、又不破坏任一组件,仍是一个开放问题。简单拼接往往让某一模态占据主导,而靠推理时推出未来视频来获得预见,对闭环控制而言又太慢。

核心创新

InternW0-Δ 在混合 Transformer 内部拼装这些先验。预训练的视频专家与专门的动作专家,在一个冻结的视觉-语言模型的语义引导下交互,因此语言与物体级的语义会影响这种交互,而无需重新训练 VLM。一个预训练的 4D 基础模型提供几何与运动先验,但仅通过训练期蒸馏注入,使推理保持轻量。一个名为 Causal Imprint 的组件从仅训练期可用的未来监督中学出与未来相关的场景变化,并把预测性表示直接交给动作专家——于是模型在没有推理时视频推出的情况下,也能感知”即将发生什么变化”。

训练数据本身也是一项贡献。作者构建了一个异构语料:机器人演示、UMI 数据、第一人称人类演示以及 Ego2Robot 数据,它们在统一的状态-动作表示下被筛选与对齐,累计超过 2 万小时的已处理训练数据,作者称其为同类中最大的开源语料。

实验结果

  • InternW0-Δ 在多个仿真基准与真机平台上报告了优于既有方法的性能。
  • 预训练语料超过 2 万小时已处理训练数据,横跨四类数据、共用同一状态-动作表示。
  • 与未来相关的监督只在训练期使用,推理阶段无需推出未来视频。
  • 作者表示将在许可允许的范围内开源训练代码、模型权重、基础设施、数据处理管线与处理后数据。

局限性

摘要给出的结论是定性的——“优于既有方法”——却没有一个量化数字、任务清单或基线名称,因此提升幅度无法据此判断。其可复现性依赖于带”许可允许范围内”限定条件的未来发布;对于一个混合了人类第一人称数据与第三方数据的语料而言,这一限定可能是真实约束,而非形式上的措辞。成本一侧同样未提及:在 2 万小时以上数据上预训练一个混合 Transformer,并把一个 4D 基础模型蒸馏进去,意味着可观的算力开销,而摘要未说明推理延迟、模型规模,也未说明冻结 VLM 的语义引导在其词表之外的任务上表现如何。

行业影响

如果开源承诺兑现,这既是一项架构贡献,也是一项数据与权重贡献:一个覆盖四类数据、统一状态-动作表示的 2 万小时语料,正是让较小团队无需重新采集数据、就能训练出可用操作策略的那类资产,并直接冲击着让视觉-语言-动作模型昂贵的样本效率瓶颈。其架构取向同样在工业上务实——让预测与动作共处一个模型,但几何与运动先验靠蒸馏而非推理期获得,从而在不为控制回路支付视频生成延迟的前提下买到世界模型的预见能力。对于构建通用操作栈的人而言,发布之后最值得追问的是:所报告的广度有多大比例能在基准分布之外成立,以及商业用户在各自许可下究竟能用到这份语料的多大一部分。