Long-WAM：把长视觉历史真正用起来的世界动作模型

实时机器人控制有一个时序上的两难：策略需要足够长的视觉历史来判断运动与任务进度，但每多看一帧，就要付出相应的延迟。世界动作模型承诺把大视频模型的预测能力迁移到动作学习上，但这份承诺目前大多是在很短的上下文里兑现的。Long-WAM 的判断是：这个领域一直在优化一个错误的量。

背景

世界动作模型（WAM）试图把视频预测的先验迁移到动作学习，背后的直觉是：能想象近未来的模型，应当比只看当下的模型做得更好。真正的障碍是吞吐。实时控制的预算很紧，而把策略条件在很长一段历史帧上，正是那种会直接表现为卡顿的开销。于是，部署中的 WAM 往往把历史压得很短，通常被解释为延迟上的取舍。

核心创新

本文的核心发现重新定义了这个取舍：能访问历史，和真正用上历史，是两回事。当视频基座用自回归方式预训练时，更长的历史带来的收益要大得多；而双向预训练的初始化在同一段额外上下文上几乎没有净增益。Long-WAM 正是围绕这一点搭建的。它先在无动作标签的机器人视频与第一视角视频上学习因果预测，再在把模型适配成世界动作控制器的过程中，保留这种「历史到未来」的结构，使动作条件的训练不会把让长上下文真正有用的因果时序结构抹掉。为了让长上下文可负担，系统还引入了流式观测编码、异步执行和针对硬件的加速，让预测与控制并行推进，而不是互相等待。

结果

• 在 RoboCasa GR-1 上，上下文从 0.0 秒增加到 19.2 秒，成功率从 63.3% 提升到 78.7%。
• 机器人领域的自回归预训练进一步提升了 GR-1 与 LIBERO-Long 上的峰值成功率。
• 在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上，均取得所比较方法中的最佳结果。
• 可在 RTX 5090、DGX Spark 与 Jetson AGX Thor 上部署而不损失未来预测；在 RTX 5090 上，每个动作块（含未来视频隐变量预测）耗时 107.4 毫秒。
• 在 Unitree G1 与 YAM 上的实时部署支撑了动态与长程操作，动态叠杯子达到 95% 成功率，而 Pi0.5 与 Fast-WAM 在 20 次尝试中无一成功。
• 作为「记忆知情」的执行器，它还能与更高层的规划互补，处理组合式任务。

局限

证据集中在一小组基准（RoboCasa GR-1、LIBERO-Long、RoboTwin 2.0、DOMINO）和少量真实任务上，跨形态的广泛鲁棒性尚未展示。自回归预训练的优势只与一种双向控制做了对照；这一收益如何随预训练视频的数量与多样性变化、对机器人域偏移有多脆弱，均未报告。延迟数字是特定设备下的，部署案例也都是单一平台。动态叠杯子的对照很醒目，但范围很窄，摘要也没有给出失败分析。此外，论文没有区分收益究竟有多少来自上下文长度、多少来自具体的预训练配方，而这正是采用方需要回答的问题。

产业启示

对任何做实时机器人策略的团队来说，可操作的结论是：延迟与历史之间那个标准取舍，有相当一部分是训练方式的产物，而不是物理定律。如果长上下文只有在自回归预训练下才兑现收益，那么预训练配方就是一个一等一的设计决策，而非细节——双向预训练的团队可能正在不知不觉地丢掉性能。工程那一半同样重要：流式编码、异步执行和逐设备加速，才是把一个规模化结论变成能在 Jetson 级模块上闭环运行的东西。最清晰的商业信号，是在动态叠杯子上对 Pi0.5 与 Fast-WAM 的 95% 对 0%——如果这一点成立，它直接关系到工厂与家庭里真实存在的动态操作任务。