LoopWAM：让部署中的成功与失败共同改进通用机器人策略
仅靠扩充专家演示，无法让通用机器人策略从部署中提升；而真实 rollout 是成功、次优行为与失败的混合体——全盘模仿会强化糟糕行为，丢弃失败又会丢掉物理后果的证据。LoopWAM 是一个闭环世界-动作模型，直接从这个完整的质量谱中学习，数据既有它自己的 rollout，也有其它已部署策略的。它用与来源相关的噪声采样统一行为学习与动作条件的世界建模，用质量引导与质量加权监督在全部质量上保留完整视频监督、并调节动作模仿，且视频与动作 token 在并行去噪全过程中持续交互。在 RoboChallenge Table30-V2 上，三轮部署训练把成功率从 23.67% 提升到 43.33%（最终得分 56.80）；无需额外具身预训练，RoboTwin 2.0 平均成功率 94.5%，RoboCasa365 为 49.5%；叠衬衫任务成功率从 13.20% 提升到 55.56%。
原文 · arXiv:2610.18873每一台部署中的机器人，都在源源不断地产生成功、平庸与失败。这篇工作把三者都当作训练信号，而不是把失败的丢掉。
背景
仅靠扩充专家演示，并不会让通用机器人策略在实际部署中获得提升。真实 rollout 是混合体：成功、次优行为、失败。把记录下来的每个动作都照单模仿，会把糟糕行为一并强化；而把失败过滤掉，又丢掉了物理交互及其后果的证据——而后者恰恰是策略避免重蹈覆辙所需的知识。这篇工作要问的是：如何从完整的质量谱中学习，而不是只学被精选出来的那一小段。
核心创新
LoopWAM 是一个闭环的「世界-动作模型」，直接从这个完整的质量谱中学习，用的既有它自己的 rollout，也有其它已部署策略的 rollout。它用「与来源相关的噪声采样」把行为学习与动作条件的世界建模统一起来；再用质量引导与质量加权监督，在全部质量上保留完整的视频监督，同时调节策略对动作的模仿程度。视频 token 与动作 token 在并行去噪的全过程中持续交互，因此学到的物理后果能直接参与动作生成，而不必经过一个单独的阶段。其结果是：策略可以被部署中的日常流量持续改进。
结果
- 在 RoboChallenge Table30-V2 上，三轮「部署—训练」把成功率从 23.67% 提升到 43.33%（+19.7 个百分点），最终得分 56.80。
- 在无需额外具身预训练的情况下，RoboTwin 2.0 上平均成功率 94.5%，RoboCasa365 上总体成功率 49.5%，在三个基准上都取得对比方法中的最佳整体结果。
- 在叠衬衫任务上，单任务后训练之后再做两轮部署驱动的改进，成功率从 13.20% 提升到 55.56%。
- 这些增益在多任务学习与单任务后训练两种设定下都成立。
局限
其核心机制是一条部署闭环，运行成本高昂，且没有真实机群在野外就难以复现——增益是用一轮轮真实交互换来的。绝对数字也说明了问题：最困难基准上的最终得分只有 56.80，RoboCasa365 上为 49.5%，即便已是对比中的最佳，也表明通用操作离解决尚远。「领先」的表述是「在对比方法中」，因此是相对作者所选的基线集合而言。方法还预设了用于引导监督的质量标签或质量信号，而这个信号的来源，正是整套配方所依赖的隐性前提。
产业启示
它真正的论点在于：一支已部署机群的日常活动本身就是训练数据。你不必等待一份精选的专家数据集，也不必把失败的回合扔掉；质量加权监督与质量引导，正是让运营方在「从杂乱的生产日志中学习」这件事上放开手脚、又不会把策略教坏的机制。对机群运营者来说，这就是「策略在实地中逐渐退化」与「策略越用越利」之间的差别，它把运行时间从成本变成了一种可复利的资产。