SmolWAM：小到能跑在边缘设备上的世界-动作模型
世界-动作模型会同时预测机器人该做什么、以及这些动作将带来怎样的观测，但最强的模型依赖视频扩散 Transformer，对边缘设备来说重得无法承受。SmolWAM 从 2B 参数的 Cosmos Policy 出发，保留其预训练主干、重建推理接口，得到一个潜在世界-动作模型：单帧视觉潜变量、可保留主干注意力汇（attention sink）的缓存文本特征、28 个 Transformer 块中只取 12 个，以及 1,008 个 token——动作与未来视觉潜变量都在一次整流流（rectified-flow）步骤中读出。它只需 3.6 GPU 小时训练，在 400 个 LIBERO 回合上成功率 95.5%，每个 16 动作块的推理耗时 57 毫秒、算力 2.3 TFLOP、显存占用 2.4 GiB；相比教师模型约快 11 倍、FLOPs 少 18.5 倍、显存少 3.2 倍，而世界预测头仍然能预测场景运动。
原文 · arXiv:2610.13740一个必须从数据中心里服务出来的世界-动作模型，没法陪着机器人一起动。这篇工作问的是：要同时预测动作和它所造就的未来，这样的模型究竟能小到什么程度？
背景
动作条件化的世界模型同时做两件事：预测机器人该做什么，以及事后世界会变成什么样。正是后一种预测，让策略评估与规划不必每次都惊动真实机器人。最强的世界-动作模型靠视频扩散 Transformer 做到这一点，但它们对算力的开销极大，根本跑不动真正装在机器人上、资源受限的边缘设备。于是就有了一个熟悉的困局：好用到有价值的模型，恰恰重到无法部署到机器人所在的地方。
核心创新
SmolWAM 是从 2B 参数的 Cosmos Policy 蒸馏出的潜在世界-动作模型。它的关键动作是：保留预训练主干不动，转而围绕它重建推理接口，而不是从头训练一个更小的模型。重建后的接口用单帧视觉潜变量取代视频堆叠，用缓存文本特征保留主干的注意力汇（attention sink），28 个 Transformer 块中只取 12 个，并只保留 1,008 个 token，动作与未来视觉潜变量都在一次整流流（rectified-flow）步骤中读出。因为主干被保留，蒸馏成本很低——只需 3.6 GPU 小时；因为世界预测头被保留，模型仍在产出未来预测，而没有退化成普通的反应式策略。
结果
- 在 400 个 LIBERO 回合上成功率 95.5%。
- 每次推理 57 毫秒，每个 16 动作块 2.3 TFLOP，显存占用 2.4 GiB。
- 相比教师模型约快 11 倍，FLOPs 少 18.5 倍，显存少 3.2 倍。
- 训练只需 3.6 GPU 小时，且世界预测头仍能预测场景运动。
局限
这些亮眼数字来自 LIBERO 这一仿真操作基准；论文没有给出与之匹配的真机评测，因此在真实传感器与执行器动力学下的实际成功率与时延尚未确立。蒸馏自特定教师也把结果绑定在 Cosmos Policy 上，论文未说明「重建接口」这一配方能否迁移到其它主干，或迁移到更长时限、接触更重的任务上。只保留 28 个块中的 12 个、只用一次整流流步骤是相当激进的压缩，95.5% 的成绩也留下了一个悬念：教师模型在评测套件之外的更广泛通用性，究竟保留了多少。
产业启示
最直接的启示是，机器人端的世界建模已经从「研究愿景」变成了可以交付的工程目标：2.4 GiB 显存、每个动作块 57 毫秒，落在现实边缘算力的内存与时延预算之内，而 3.6 GPU 小时的训练成本让迭代变得便宜。对正在评估世界-动作模型的团队而言，教训是：包在预训练主干外面的那层接口，其重要性可能不亚于主干本身——一条能保住世界预测头的压缩路径，远比只是给反应式策略提速要有价值。对任何团队来说，顺理成章的下一步检验，是在自己机器人的本体与任务时限上复现这套配方，再决定要不要把它押进产品里。