WorldLine：在机器人动之前，先预测操作结果的视频世界模型
机器人学习的瓶颈，既在于采集经验的成本，也在于在真机上验证候选行为的代价。视频生成有望提供一种「执行前先预测结果」的视觉仿真器，但现有模型往往为了画面逼真而牺牲了对动作的忠实跟随与连贯的机器人—物体动力学；而依赖动作条件的仿真器，又需要稀缺的、与特定本体绑定的数据。WorldLine 把「可迁移的动力学学习」与「异构动作的落地（grounding）」解耦：它从超过 10,000 小时无动作标注的机器人视频中学习操作动力学，再用跨越十余种本体、超过 2,000 小时的动作轨迹把它落地，并以图像空间的动作表示作为共享控制接口。多视角与失败富集训练配合同关系正则化，强化了对交互敏感片段的预测；面向机器人的少步蒸馏则让因果推演足够廉价。在失败轨迹上，它把机器人掩码 IoU 相对最强基线提升 0.1626；在 RoboTwin 与 AgiBot 上以 74% 的平均准确率预测轨迹成败；并且在不做任何 RoboTwin 训练或适配的前提下，其推演把任务成功率相对直接执行策略最多提升 21.4 个百分点。
原文 · arXiv:2609.38059一个世界模型，只有当它的预测能改变你下一步做什么时，才值得去做。视觉仿真器的考验不在「想象的画面像不像真的」，而在于「照着它行动，能否避开一次失败试验、挑出更好的策略」。
背景
真实世界的机器人学习，受制于评估，程度不亚于受制于数据采集：每一个候选行为，在真机上跑一遍都很贵。如果一个视频生成器能在动作执行前就模拟出它的后果，策略就能在「想象」中迭代。但今天的模型有两处令人失望。其一，它们往往把画面逼真看得比忠实跟随动作、比连贯的机器人—物体交互更重要，于是想象出来的未来很好看，却并不对应动作真正会造成的结果。其二，真正以动作为条件的模型，需要稀缺的、与特定本体绑定的数据，而不同机器人的控制空间互不兼容，数据很难共享。结果就是：仿真器要么好看但不忠实，要么忠实却无法共享。
核心创新
WorldLine 的解法是把问题的两半分离开来：一边是可迁移的动力学学习，另一边是异构动作的落地。它从超过 10,000 小时「无动作标注」的机器人视频里学习操作动力学——这类素材之所以充沛，恰恰因为它不带动作标签——再用跨越十余种本体、超过 2,000 小时的动作轨迹把这些动力学落到实处。连接这两半的桥梁，是一种图像空间的动作表示，它充当共享控制接口，也就是一套能把不同机器人的控制信号映射进去的「共同语言」。为了让预测对关键时刻足够敏感，WorldLine 加入了多视角与失败富集训练，并配以同关系正则化，使交互密集、易失败的片段被更细致地建模。最后，面向机器人的少步蒸馏让因果推演足够高效，可以日常使用，而不只是演示。
结果
- 在失败轨迹上，WorldLine 把机器人掩码 IoU 相对最强基线提升 0.1626——这直接衡量了它把机器人渲染到「实际所在位置」的能力。
- 在 RoboTwin 与 AgiBot 上，它以 74% 的平均准确率预测轨迹成败，比最强基线高 1 个百分点。
- 在不做任何 RoboTwin 训练或适配的情况下，其推演将下游任务成功率相对直接执行策略最多提升 21.4 个百分点。
- 在留出集与域外场景中，它保持了较强的画面质量与机器人运动一致性；少步蒸馏也保留了因果推演所需的关键动作信息。
局限
成败预测的上限约在 74%，因此作为「这条轨迹行不行」的筛子它有用，但并非决定性的：大约四分之一的预测是错的。各项增益都是相对特定基准上的特定基线而言的；作为头条数字的 21.4 个百分点是在不做 RoboTwin 训练的条件下测得的，这既是迁移能力的有力信号，也意味着该数字与那套具体实验设定绑定。系统依赖一个极大的无动作视频语料和数千小时的轨迹；没有同等数据的团队无法直接照搬这套配方。此外，视觉仿真器建模的是外观与运动，而非接触力或隐藏的物理过程，因此以力敏感或可变形交互为主的任务，落在它可以可信预测的范围之外。
产业启示
如果仿真器能在动作碰到硬件之前就给它打分，机器人研发的经济性就会改变：策略迭代从「真机试验」——缓慢且消耗机器人机时——转向「想象试验」——廉价且可并行。真正实用的是它的解耦设计：把庞大的无标签视频池与较小的有标签轨迹集拆开，意味着昂贵的标注数据可以被多种本体摊薄，而不必为每种机器人重复采集。对要交付策略的团队来说，最直接的用途是回归测试与安全筛查：先在仿真器里跑候选策略，抓住那些在总体指标里看不出问题的失败，再把真机机时留给真正有希望的候选。预测中残余的错误率则提示：应把它当作分诊工具，而不是预言机。