RealtimeWAM：单步异步的世界-动作模型
世界-动作模型借助视频生成骨干的视觉表征来引导动作预测，近期的高效方案采用 Mixture-of-Transformers 架构，把视频表征只计算一次、供动作专家复用。但推理效率仍被两处瓶颈拖累：专家内的迭代，即动作专家的多步去噪；以及专家间的等待，即视频专家与动作专家只能先后串行执行。RealtimeWAM 把这两处一并移除。它提出的「教师锚定一致性蒸馏」（TACD）针对一个局部-全局误差差：仅有较低的局部一致性误差，并不保证最终动作准确，因此 TACD 在局部一致性之外，额外用冻结教师的多步 rollout 终点做显式监督，从而实现准确的单步动作生成。随后「跨专家波前流水线」（CEWP）通过分块共享视频 KV 缓存来重叠两个专家，只在对应的动作注意力即将消费它之前才同步。在 LIBERO、LIBERO-Plus 与 RoboTwin 及 Fast-WAM、Faster-WAM 等变体上，RealtimeWAM 在近乎无损（下降不到 1%）的同时，于 H100 上取得约 25 倍的端到端加速，并开源了代码与权重。
原文 · arXiv:2610.06617世界-动作模型之所以在机器人控制上有吸引力，恰恰是因为它把视频模型的预测性表征引到了动作上。但这份承诺带着一份延迟账单，而且大多要付两遍：一遍是动作专家分多步去噪，另一遍是视频专家与动作专家轮流上机、而不是共享算力。
背景
世界-动作模型（WAM）借助视频生成骨干的视觉表征来引导动作预测。近期的高效 WAM 采用 Mixture-of-Transformers（MoT）架构，把视频表征只计算一次、供动作专家复用，从而省掉了一部分冗余计算。但仍有两项成本顽固存在。其一是专家内的迭代：动作专家仍要做多步去噪，每一步都带来延迟。其二是专家间的等待：视频专家与动作专家只能先后串行执行，一方工作时另一方空转。这两项成本是 MoT 设计的结构性产物，而非偶发开销，它们叠加起来，就足以把一个本已高效的模型挡在实时控制之外。
核心创新
RealtimeWAM 是一个面向「单步动作生成 + 异步推理」的 WAM 变体，并为每一处瓶颈配套了一项技术。为削减专家内的迭代，它提出「教师锚定一致性蒸馏」（TACD），针对的是一个局部-全局误差差：仅有较低的局部一致性误差，并不保证最终动作准确；于是 TACD 在局部一致性之外，额外用冻结教师的多步 rollout 终点做显式监督——正是这条额外锚点，让单步生成的精度足以配得上那份加速。为消除专家间的等待，它提出「跨专家波前流水线」（CEWP），通过分块共享视频 KV 缓存让视频与动作两个专家重叠执行，只在对应的动作注意力即将消费该缓存之前才同步。二者互补：TACD 减少动作端所需步数，CEWP 则让剩余工作重叠而非串行。
结果
- 在 LIBERO、LIBERO-Plus、RoboTwin 等多样基准以及 Fast-WAM、Faster-WAM 等模型变体上，RealtimeWAM 保持近乎无损，性能下降不到 1%。
- 它带来显著的端到端加速，在 H100 上约为 25 倍。
- 代码与权重通过 LightX2V 仓库开源。
局限
评测以「相对下降不到 1%」的形式给出，而非绝对任务成功率，因此该方法所保住的性能上限从摘要中并不可见。加速是在 H100 上测得的，摘要没有报告实时机器人控制常用的嵌入式或边缘硬件上的延迟，因此「上机可用」这一含义是被推断出来的，而非被展示的。此外，这些技术是针对具备可分解「视频专家 + 动作专家」的 MoT 式 WAM 定制的，能否迁移到其他世界模型架构，文中没有回答。
产业启示
对机器人团队而言，关于世界-动作模型的决定性问题从来不是它预测得好不好，而是它能否在机器人所携带的硬件上跑得足够快。RealtimeWAM 的贡献正落在这条轴上，而它最有用的性质是：加速近乎无损，且能与现有 MoT 式 WAM 组合，因此可以被当作一项优化来采纳，而非一次重构。开源代码与权重进一步降低了门槛。需要为采用方指出的提醒是：所报加速是在数据中心级 GPU 上取得的；瞄准边缘部署的团队应先在自家硬件上复测，再假设有同样的加速比，并把「近乎无损」当作一个排行榜相对结论，在自己的任务上重新核验。