DreamTrue：既忠于动作又能从反事实中学习的机器人世界模型

一个世界模型只有在它「听动作的话」时才有用。而真实机器人数据集有两个不易察觉的属性会破坏这一点：不完美的标定让动作与画面之间的对应变得模糊，失败的近乎缺席则教会模型「一切都会成功」。DreamTrue 把这两者当作可以训练的缺陷，而不是既定的局限。

背景

机器人世界模型之所以值得拥有，是因为它让系统能在真正动手之前先预测一个动作的后果，从而支撑规划、数据增广与策略学习。然而在现有机器人数据集上训练这样的模型会遇到两个障碍。第一，标定不精确会削弱对动作的跟随，使预测出的未来并不真正服从所下达的动作。第二，数据集过度偏重成功的交互，把预测导向成功结果，并让模型对安全性最关心的那些失败视而不见。

核心创新

DreamTrue 是一个围绕这两个障碍设计的多视角、跨形态世界模型。为改善跨形态的动作跟随，它把动作轨迹渲染成图像空间的条件，并引入离线几何标定，把这些条件与目标视频对齐，使模型所依据的动作信号在空间上与其必须预测的画面一致。为拓宽交互覆盖，它引入反事实后训练：改写录制的动作轨迹，在更广的动作与接触配置下生成未来视频，直接人为制造出数据集所缺的失败情形。为了给那些没有配对真值未来的预测提供反馈，它构建了一个覆盖机器人、物体与交互缺陷的人工标注视频数据集，并据此训练一个具身视频奖励模型，用其打分把强化学习后训练导向更符合物理的交互结果。

结果

• 在 AgiBot 上取得当前最好的动作跟随。
• 把人工评估的交互缺陷率从 48.12% 降到 6.25%。
• 在 AgiBot World Challenge 2026 的世界模型赛道中排名第一。
• 人工标注的缺陷数据集与具身视频奖励模型，是在没有配对真值未来的情况下引导后训练的核心。

局限

主要评测集中在 AgiBot 上，因此「跨形态」这一主张所依赖的标定与渲染选择只在这一规模上得到演示；摘要没有说明模型在其他平台上的表现，也没有说明缺陷率这一指标在所训练的人工标注集之外如何迁移。奖励模型会继承标注者的偏见以及所给缺陷分类体系的偏见；反事实后训练则取决于一条未被量化的边界——轨迹可以扰动多远，生成的未来才会失去物理意义。48.12% 到 6.25% 是一个醒目的单一数字，但它是单一形态上的人工评分指标；泛化能力、算力开销与推理延迟均未报告。

产业启示

世界模型正在成为机器人学习的基础设施，而 DreamTrue 提醒人们：它们最有价值的修复，往往发生在数据层而非架构层。反事实这套做法，正切中所有依赖车队数据训练者的一个顽疾——失败恰恰是你最想学习、也最容易被漏记的东西。把这个缺口变成一条刻意的增广与奖励信号流水线，其价值可以超出这个模型本身。它对人工标注缺陷数据集的依赖，也是一个诚实的成本信号：目前要得到物理上合理的预测，仍需要人参与判断，团队在算力之外还得为标注留出预算。对采用方而言，实操结论是：在扩大模型规模之前，先审计标定与失败覆盖——这里的缺陷率大幅下降，来自对数据的修正，而不是把网络做大。