OSWAM:一次去噪就够了的世界动作模型
世界动作模型靠迭代去噪生成动作,几十步的采样开销让实时控制难以实现。OSWAM不再从随机噪声起步,而是用"想象令牌"为扩散过程提供物理先验与动作条件表示,并通过带未来条件的特权信息蒸馏增强生成质量,使高质量动作序列在单步去噪内完成。在自动驾驶与具身控制任务上,它与需要数十步的基线持平甚至更优,速度约为其3倍,在RTX 5090上编译后推理延迟低至40毫秒。
原文 · arXiv:2610.35850世界动作模型正在成为端到端策略之外的一条可信路线:它不先生成未来视频再反推动作,而是直接产出动作,同时保留一个关于世界如何演化的学习模型。直接策略版本之所以高效,正是因为它跳过了显式的视觉预测。但它本质上仍是扩散模型,扩散就意味着几十次去噪迭代。对机械臂或汽车来说,每个控制周期跑几十次网络前向,决定了它是演示还是产品。
最直觉的捷径——直接把步数砍掉——已被证明行不通。扩散轨迹是靠许多次细小的修正来解析多峰动作分布的,一旦压缩,更新就会变得粗糙,动作质量随之塌陷。
核心创新
OSWAM给出的解释是因果性的而非经验性的:模型之所以需要很多步,是因为它从无结构的高斯噪声出发,网络不得不在每次采样时从零重建物理情境与动作结构。换一个更好的起点,迭代次数就不再是承重结构。
用想象令牌做初始化。 扩散过程不再从纯噪声开始,而是由一组可学习的令牌初始化,这些令牌编码了物理先验和以动作为条件的表示。去噪器因此从”合理动作”的流形附近出发,而不是从远处出发——这正是单步也能落到有用位置的原因。
带未来条件的特权信息蒸馏。 训练阶段还把特权信息在未来条件下蒸馏进模型,使其生成的动作用于”接下来会发生什么”的一致性更好,而不只是当下看起来合理。
把单步生成作为部署形态。 最终得到的动作生成器,推理只需一次去噪前向,这也让编译后的实时执行成为可能。
实验结果
- 在自动驾驶与具身控制两类任务上,OSWAM的表现被描述为与需要数十步去噪的直接策略WAM、联合世界动作模型持平甚至更优。
- 相对直接策略WAM基线约有 3倍 加速。
- 在 NVIDIA RTX 5090 上,编译后推理延迟低至 40毫秒,达到所考虑控制回路的实时水平。
加速是在同类模型之间比较的,因此收益来自步数减少,而不是换了个更小的主干。在去掉迭代的同时保住质量才是实质主张;而40毫秒这个数字,才让它变成一个工程上可选的东西。
局限性
摘要点明了两个应用领域,却没有给出具体基准、数据集或成功率指标,“持平甚至更优”是定性表述,缺少逐任务数值与方差。单步生成很可能压缩动作模式的多样性,而这恰恰在最需要多峰性的地方最要命:指令歧义、对称抓取、拥挤场景。训练依赖特权信息与未来条件,这些在推理时不需要,但训练管线里必须拿得到;方法对该信号质量的敏感程度没有报告。40毫秒是在旗舰桌面GPU上测的,板载与嵌入式平台的延迟仍然未知。
行业影响
对任何要把学习型策略交付出去的人来说,推理成本都是一阶约束:它决定控制频率、硬件物料清单和散热预算。一个40毫秒的单步动作模型会改变部署架构——策略可以直接待在控制回路里,而不必异步跑在回路之外,再靠一个足够长的预测时域去吸收抖动。它也打开了车载场景:规划器必须在一个控制周期内反应,而且模型可以和感知共用一块GPU。对采购方而言,剩下的问题正是单步分布是否稳健,而这恰好要靠目前缺失的定量评估来回答。评估这类模型时,应当索取单步设置下的逐任务成功率与模式覆盖数据,而不只是总体持平。