PhysCanvas：把视觉与触觉放进同一个世界模型，让策略评估不再靠真机硬跑

世界模型最容易骗人的地方，是它把接触画对了。PhysCanvas 的答案是把触觉拉进来，再用真机结果给模型打分。

背景

机器人策略的评测与后训练，一直卡在「必须真跑」这件事上。每一条 rollout 都要占用硬件、消耗人工、承担磨损，样本量因此被压得很低，评测结论的置信区间也就很宽。动作条件世界模型被寄予厚望：如果模型能当交互式仿真器，策略就可以在里面低成本地滚动、打分、更新。

问题在于，视觉上合理的预测并不等于物理上正确。接触密集的操作恰恰是视觉最容易含糊的地方——手指是否真的压住了物体、是否在打滑、插入时的反作用力有多大，这些在 RGB 画面里可能只体现为几个像素的变化，而它们决定了任务成败。此前不少工作靠「事后物理沉降」修补，结果常常是场景看着对、一动就崩。

核心创新

PhysCanvas 的第一个决定是把模态摊平到同一个视觉空间，而不是为每种模态设计专用编码器。多视角 RGB、触觉图像、标记点位移、任务状态与动作全部进入统一表示，共享同一个视频 VAE 与预训练生成骨干。这样做的好处很实际：所谓「光学触觉」（通过标记点位移读出接触形变）可以直接复用模型已经从海量视频里学到的视觉与时间先验，而不必从零学习一套触觉动力学。

第二个决定是动作条件的构造方式。作者用正运动学加相机投影生成「运动图像」，让动作在空间上与画面像素对齐；再配合初始 RGB 锚点与滚动更新的参考观测来约束序列生成，避免长序列漂移。这解决的是世界模型常见的「动作与画面各自为政」问题。

第三个决定，也是最能体现工程判断的一个：一致性后训练。作者冻结了三个奖励模型——Scene Reward Model 负责场景保持，Modality Reward Model 负责视觉与触觉的相容性，State Reward Model 负责与真实任务结果的一致性——用它们来监督世界模型。换句话说，模型不是被要求「生成得像」，而是被要求「预测的结果跟真机一致」。

结果

• 在四项真机操作任务上，加入 State Reward Model 监督后，世界模型成功率与真实成功率之间的任务级 Pearson 相关均值从 0.602 提升到 0.885。
• 用该世界模型做闭环策略 rollout 评估，并以其生成的交互与奖励做 GRPO 策略更新。
• 在该模型内后训练后，π0.5 的真机平均成功率从 59.1%（SFT 基线）提升到 70.8%。
• 统一的多模态建模与一致性后训练，被作者列为上述两项收益的共同来源。

局限

证据面只有四项真机任务，任务级相关系数取的是算术平均，意味着个别任务上的一致性问题可能被平均值掩盖；0.885 也远不是可以替代真机评测的精度，用它做策略筛选仍会漏掉真机失败。触觉模态的引入依赖具体硬件（触觉图像与标记点位移），换一套夹爪或换一种触觉传感器，模型需要重新适配，跨本体的可迁移性未被验证。三个奖励模型是冻结的、且需要真实任务结果来训练，这等于把一部分真机成本前移到了奖励模型的构建阶段——总成本未必下降，只是从「每条 rollout 都要真跑」变成「一次性标定 + 模型内滚动」。此外，摘要没有报告世界模型在分布外物体、未见过的接触模式或长时程任务上的表现，而这正是评估器最需要可信的区间。

产业启示

对做操作类机器人的团队，这篇工作的实用价值在于它把「世界模型能不能当评测器」这个问题变成了可量化的指标：不是看生成视频像不像，而是看模型内成功率与真机成功率的排序相关性。0.885 这个数字给了工程上一个可操作的判据——如果自己搭的模型相关性低于这个水平，就不该用它来筛策略。

更值得注意的是「评估器同时是训练器」的闭环。同一个模型既给策略打分，又提供想象的交互与奖励做 GRPO 更新，真机成功率因此提升 11.7 个百分点。这意味着世界模型的质量提升会有复利效应：模型越准，策略筛得越干净、训得越好；策略越好，又能产出更高质量的真机数据来校准模型。对那些真机数量有限、但又必须做接触密集任务的团队，这条路径把硬件从「训练必需品」降级为「校准与验收工具」，是当前最现实的降本方式。前提是愿意投入一次性成本去构建与标定那三个奖励模型，并且接受它只在已覆盖的接触模式内可信。