把世界模型建在三维粒子上

· 编辑团队 estimated
世界模型 学习型动力学 粒子仿真 操作 规划

GPWM 放弃像素空间的视频预测,改为在三维空间直接生成粒子与刚体的运动,用一个物体感知的多分辨率 Transformer 同时覆盖刚性、形变、布料与颗粒四类物质。在 2550 万帧语料上训练后,它在六个物理域上平均降低 31% 的预测误差,单套权重即可匹敌甚至超过分域专家模型;同一模型还能通过在潜噪声空间而非动作空间搜索来完成富接触操作规划。

原文 · arXiv:2611.08338

过去两年,机器人学习一直在借视频生成的工具造世界模型。逻辑很直观:一个能想象未来几秒画面的模型,看起来就像是理解了动作后果的模型。但视频世界模型的优化目标是像素逼真,容量大部分花在纹理、光照和背景运动上,而控制器并不关心这些。更关键的是,它的输出是二维图像,而决定抓取成败的量——接触、穿透、物体位姿——都是三维的。

GPWM 从相反的一端出发。它不预测外观、让物理关系隐含其中,而是在三维空间里直接预测粒子与刚体的运动。场景是一组会动的点,模型的任务是生成这些点的轨迹,外观根本不在建模范围内。

核心创新

一套表示覆盖四类物质。 刚体、形变体、布料和颗粒介质通常由不同的仿真器和不同的学习模型处理,因为它们的动力学结构不一样。GPWM 用单一的对象感知多分辨率 Transformer 作用在粒子上:刚体作为相干点群整体运动,自由粒子则描述一切会流动、会变形的东西。架构把 flow matching 与 diffusion forcing 结合起来,这种搭配让模型能够生成远超训练时域的长程连贯轨迹,而不是滑向噪声。

规模,以及一次关于「是否还需要专家模型」的检验。 作者构建了 ParticleWorlds,一个 2550 万帧的语料,覆盖不同几何、材质、交互和机器人本体。这份数据才是真正的使能条件:统一模型只有在见过足够异质性之后,共享权重才站得住脚。随后论文做了那个真正有意义的比较——单个 Unified GPWM 对阵各分域基线,也对阵作者自己的专家模型。结果是一套权重在多数分域上超过专用基线,并在六个域中的两个上超过了自己的专家模型。

在噪声空间里规划,而不是在动作空间里。 学到的动力学模型只有能被反推到目标才有控制价值。GPWM 学习了执行器与物体联合运动的生成先验,于是规划变成对模型潜噪声的搜索:优化器寻找一个噪声向量,使其解码出的轨迹把物体带到目标位置。这与传统的动作空间优化是不同的搜索空间。论文报告,在推和抓取这类正确接触序列很难通过局部动作扰动发现的任务上,潜噪声搜索明显优于动作空间搜索。

结果

在六个物理域上,GPWM 相对此前最好的学习型动力学基线平均降低 31% 的预测误差,而且是每个域都赢,不是靠互相交换胜负。统一模型还能泛化到未见过的几何、物理属性、物体数量和 rollout 时域——这才是判断它学到的是物理还是训练分布的实用标准。

更有启发性的是规划结果。由潜噪声搜索产生、在仿真中开环执行的计划,不需要参考动作轨迹,也不需要目标专用策略,就能完成目标导向的操作。这意味着一种不同的操作栈组织方式:原本由任务策略承担的工作,交给了世界模型。

局限

所有实验都在仿真里。没有真机验证,规划是开环执行的,当真实世界偏离想象轨迹时没有闭环重规划。开环恰恰是模型误差累积最快的地方,所以这些结果与可部署系统之间的距离并不小。

粒子表示本身还带着摘要没有展开的假设:场景必须被分解为物体和自由粒子,这意味着推理时需要分割或资产信息。而颗粒与布料恰恰是这种分解最困难的情形。

此外,2550 万帧的训练语料是相当可观的数据与算力投入,论文也没有声称模型能以控制频率运行。一个足够准但查询太慢、无法放进控制回路的世界模型,是仿真器,不是控制器。

产业启示

战略判断在于机器人世界模型应该放在哪一层。如果单个模型能覆盖刚性、形变、布料和颗粒交互,那么仿真、合成数据生成和规划就不再是三套独立技术栈、三套独立资产管线。对任何同时维护「训练用仿真器」和「评测用仿真器」的团队来说,这种合并本身就是价值。

还有一层数据论证。能预测物理结果的模型,可以在遥操作昂贵或危险的地方生成经验,也可以在不实际执行的情况下给候选计划打分。两者都直接冲击真实数据采集成本——而这一直是操作任务最硬的约束。

需要提醒的是,这些价值只有在模型针对具体真实工位完成标定之后才会兑现。一个在互联网级仿真数据上训练出来的通用粒子世界模型,仍需要针对每次部署辨识质量、摩擦和执行器延迟,它的计划才敢放到硬件上执行。