DirectWAM:把「先生成未来、再决定动作」的级联模型压成单步,延迟降 28 倍
级联式世界动作模型(WAM)用预测的未来画面来条件化动作,但继承了扩散预训练专家的迭代采样成本。DirectWAM 先问了一个更基础的问题:单步预测的未来需要保留什么,才能支撑单步动作预测?作者发现重采样视频噪声对下游动作几乎没有影响,而把两条流粗暴截断到一步会显著掉成功率,且视觉预测误差对动作精度的影响极不均衡。据此提出 action-sufficient distillation,把预训练的视频与动作专家转成无随机采样的单步预测器,并用「从自己预测的未来解码动作、把示范动作误差反传穿过专家」来训练未来预测器。结果在四个 LIBERO 套件上平均 97.1%、RoboTwin 2.0 上 85.4%,三项真机任务同样有效,推理延迟相比完整迭代教师下降 28.0 倍。
原文 · arXiv:2610.28122「预测未来」听起来很贵。DirectWAM 的贡献是先搞清楚未来里到底哪一部分在替动作做决定,然后只保留那一部分。
背景
世界动作模型(WAM)近两年成为具身通用策略的一条主线:模型先预测未来的视觉演变,再据此生成动作。相比直接从观测映射到动作的 VLA,这种显式的「未来→动作」级联有一个概念上的好处——策略被迫对「动作会导致什么」建模,而不只是记住观测到动作的映射。
代价是推理成本。这类模型通常建立在扩散或流匹配骨干上,生成一段未来需要多步迭代去噪,然后动作头再进行一次(或多次)采样。在仿真里跑基准无所谓,但要放到真机上以控制频率闭环运行,几十步的采样延迟直接不可接受。已有的加速方案多在采样器上做文章——减少步数、换更快的求解器——但很少回答一个前置问题:级联里的「未来」究竟需要多精确?
核心创新
作者先做诊断,再做方法,这个顺序是全文最有价值的地方。
第一个实验:重采样视频噪声,观察下游动作是否变化。结论是对动作几乎没有影响。也就是说,未来的随机多样性并不是动作质量的来源。
第二个实验:把视频流与动作流都朴素地截断到一步。成功率显著下降。这说明「一步」本身不是问题,问题是一步里丢了东西。
第三个实验是局部敏感性分析:视觉预测误差对动作精度的影响高度不均衡——某些区域的预测误差几乎无害,另一些则会直接毁掉动作。于是问题被重新定义为:单步预测的未来,必须保留那些对动作有因果影响的成分,这被称为 action sufficiency。
DirectWAM 据此把预训练的视频专家与动作专家转成单步预测器,不做随机采样,但保留显式的未来→动作级联,这一步叫 action-sufficient distillation。更关键的是未来预测器怎么训:先学一个单步动作模型,然后让未来预测器从自己生成的未来里解码动作,把示范动作的误差穿过冻结的专家反传回去,可选地再加一个未来隐变量重建损失。这样,学生生成的未来不是靠表征匹配来评价,而是靠它在 downstream 控制上的后果来评价。
结果
- 四个 LIBERO 套件平均成功率 97.1%,RoboTwin 2.0 上 85.4%。
- 在相同的「每条流只评估一次」预算下,优于 Flash-WAM。
- 优势延续到作者设计的三项真机任务。
- 相比完整的迭代教师,推理延迟下降 28.0 倍。
局限
方法依赖一个已经训练好的强教师:蒸馏的上限是教师,教师若在某些任务族上本身薄弱,学生不会更好,而论文没有给出教师失败模式的分解。三个真机任务由作者自行设计,规模与难度未在摘要中量化,因此真机结论的泛化边界不清楚。单步未来在某些本质上多模态的场景里可能不够——例如接触前存在多个同样合理的接近方式时,把分布压成单点会丢失教师在迭代采样中本可探索的备选;而论文的敏感性分析恰恰是在其选定的 WAM 上做的,换一个骨干,误差敏感性的分布可能不同,action sufficiency 的具体实现也需要重新校准。此外,28 倍加速是相对完整教师而言,绝对延迟是否满足具体机器人控制频率,摘要没有给出毫秒级数据。
产业启示
对打算把世界动作模型上真机的团队,这篇工作的价值是给出了一个明确的工程取舍点:未来预测的随机性可以砍,未来的决策相关信息不能砍。这意味着加速不应该从「少采样几步」盲目开始,而应该先做一遍误差敏感性分析,找出哪些预测成分真正影响动作,再针对性地设计蒸馏目标。这个诊断流程本身可以复用。
从部署角度看,28 倍延迟下降把 WAM 从「离线评估工具」推向了「可闭环运行的控制策略」。此前很多团队把 WAM 当作数据增广或策略评估器,就是因为推理太慢;如果单步化之后能在控制周期内跑完,WAM 与 VLA 的边界就会模糊——策略可以既快又保留对未来的显式建模。需要注意的是,蒸馏路线意味着每次基座模型升级都要重做一遍蒸馏与校准,工程上应把这条流水线当作常设基础设施而不是一次性脚本。另外,97.1% 这类仿真高分在真机上的含义仍然有限,三个自建真机任务只能证明可行性,不能证明鲁棒性。