AD-WM：让世界模型学会分辨动作，而不只是预测下一帧

隐空间世界模型已经悄悄成为学习式机器人控制的重要底座：编码场景、在候选动作下向前推演、对想象出的结果打分、执行最好的那个。但让这类模型奏效的训练信号，其实是从生成建模那里继承来的，而不是为控制设计的——它奖励的是「把下一帧预测对」。而规划本质上是一个比较行为：它需要模型回答「这几个动作里哪个更好」，这两个诉求并不等价。

背景与问题

标准做法是把世界模型训练成预测真实发生的状态转移：给定当前隐状态和「实际执行的那个动作」，预测接下来会发生什么。问题在于，模型完全可以靠「学会忽略动作细节、输出一个泛泛的合理后继」来把这个误差压到很低。当同一个模型被交给模型预测控制（MPC）时，它面对的是另一个问题——在同一个状态上比较不同动作——而一个准确但对动作不敏感的模型，在这里什么也说不出来。论文把这对矛盾讲得很直白：事实预测误差低，与候选动作分辨能力差，是可以同时成立的。

核心创新

AD-WM 是面向反事实 MPC 的「动作可判别」联合嵌入世界模型，在标准隐空间动力学骨架上加了两件东西：

• 残差隐空间动力学。 模型预测的是叠加在当前隐状态上的残差，而不是完整的后继状态，这让学到的动力学更专注在「变化了什么」上。
• 预测器层面的动作可恢复正则化。 在预测器上接入一个逆动力学目标，加上一个有条件互信息动机的归一化恢复目标。逻辑很直接：如果一段预测出来的状态转移对规划要有价值，它就必须仍然包含足够的信息去反推出产生它的动作。这两个目标一起把「对规划有用的转移」推向保留动作信息。
• 辅助头在测试阶段被丢弃。 正则化只活在训练里；部署时把头拿掉，MPC 主循环完全不变。这是一个很关键的工程性质——方法改善的是「想象」，而不改变消费这些想象的控制器。

结果

• OGBench-Cube，hard-start 成功率：3.7% → 52.0%，对照的是匹配过的 LeWM 基线，这个跨度大到无法用调参噪声解释。
• 五个仿真环境中有四个的平均成功率优于复现基线。
• 规划诊断。 事实预测误差与「全候选池动作排序」并不能跟随闭环成功率的顺序，而 CEM 对齐的精英遗憾值与成功率的相关性明显更好。这是本文最可迁移的发现：常用的代理指标并不等于真正重要的指标。
• 零样本真机迁移。 使用冻结的 V-JEPA 2 编码器并做匹配的 DROID 后训练后，AD-WM 在作者自建的 Franka 平台上把基础抓放成功率从 42.2% 提升到 71.1%，且没有任何针对实验室的适配。

局限

动作恢复目标引入了额外的辅助头，以及至少一个「恢复项—动力学项」之间的权衡权重；摘要没有给出敏感性分析，因此这个平衡有多脆弱仍是未知数。真机证据只覆盖单一任务（基础抓放）和单一机械臂，远窄于仿真上的扫描范围。能恢复动作只是「动作可判别」的代理，并不保证规划所需的全部差异都被保留，论文也没有给出把恢复质量与反事实排序质量联系起来的理论界。模型的感知来自冻结的 V-JEPA 2 编码器，所以零样本迁移的结果里有一部分应该归功于这个编码器而不是 AD-WM。关键诊断指标「CEM 对齐精英遗憾值」是交叉熵法（CEM）规划器专属的，且在更长时域上尚未验证。此外，全文没有给出推理或规划延迟数据，而 MPC 本身是一个实时闭环。

行业启示

对任何在构建学习式控制器的人，最实际的一课是：用来训练和挑选世界模型的指标，应该是那个能预测任务成败的指标。团队通常盯着预测误差，因为它便宜且稠密；这项工作报告了一个反例——预测误差可以几乎不动，而闭环性能大幅变化，同时精英遗憾这类信号与成功率的相关性更好。这会直接改变「模型该在哪个 checkpoint 上被选中」这件事。第二课是架构层面的：动作感知可以训练进去、再在部署时编译掉，因此控制栈不需要新增任何运行时机制就能受益。对机器人厂商而言，最强信号是那个零样本迁移数字——在没有任何实验室特化适配的前提下，硬件上从 42.2% 到 71.1% 的差距，正是「研究演示」与「可落地系统」之间的分野。剩下要做的是广度：更多任务、更多机械臂，以及在延迟数据明确之前，世界模型 MPC 还难以成为产线的默认选项。