RoboJEPA：为机器人隐空间世界模型建立规模定律

隐空间世界模型已经能较好地预测未来状态并在真实世界中规划，但这个领域一直无法有原则地说清：随着模型变大，它究竟能好多少。RoboJEPA 的贡献，是给出一个让这个问题可以被回答的度量，以及一个大到足以检验它的模型。

背景

世界模型把环境压缩进一个隐空间，向前 rollout，再据此规划。联合嵌入预测架构（JEPA）的做法是在表征空间而非像素空间里预测，这通常比像素级预测更省算力，语义也更稳定。真正的难题是预测能力本身：如果不能可靠地刻画能力如何随模型规模、数据与算力变化，进展就只能靠猜，而每一次真机评测都很昂贵。本文的目标，就是为多形态机器人场景补上这一刻画。

核心创新

RoboJEPA 是一个基于 JEPA 的世界模型，训练于覆盖 12 种机器人形态的大规模数据集。支撑结论的有两个设计选择。第一，数据集横跨多种形态，因此规模化的结论并不绑定于单一机器人。第二，也是本文最核心的一点，作者证明「想象误差」——模型隐空间 rollout 的误差——随算力呈二阶幂律。这条定律是预测性的，而不只是描述性的：它使作者能在远超拟合所用算力规模的范围内预测模型质量。下游机器人规划性能同样随算力可预测地提升，且与想象误差强相关，于是这个误差信号就成了昂贵真机评测的可用替代。

结果

• RoboJEPA 的想象误差随算力呈二阶幂律，支持超出拟合规模的外推。
• 下游规划性能随算力可预测地提升，并与想象误差强相关。
• 该模型可作为机器人智能体被零样本部署，朝单张目标图像规划，在真实硬件上完成需要长程规划的任务。
• 拥有 80 亿参数，是目前训练过的最大 JEPA 预测器。
• 全部模型检查点，连同训练与机器人部署代码，均已公开。

局限

「首次为多形态机器人世界模型建立规模定律」这一说法，其分量取决于底层 12 形态数据集本身的广度与质量，而摘要并未详细刻画：各形态的配比、任务多样性、每种机器人贡献多少，都未说明。零样本部署只展示了朝单张目标图像规划，这只是真实规划需求中很窄的一角，摘要也未给出这些真机任务的成功率或任务长度。幂律是在有限算力区间内拟合的，外推是对拟合曲线的承诺，而非对真实世界的保证；二阶拟合在拟合窗口之外可能很脆弱。此外，想象误差在分布偏移下是否仍是好的代理指标，尚未得到验证。

产业启示

对需要决定把训练算力花在哪里的机器人机构而言，一条想象误差定律就是一个规划工具：它把模型质量从「事后测量」变成「事前预测」，并用廉价的隐空间信号替代昂贵的真机评测。这正是团队在拥有真机集群之前就必须下预算时所需要的杠杆。多形态的设定同样重要，因为一条在 12 种形态上都成立的规模定律，比只针对单一平台调出来的结果更有用，它暗示结论关乎架构与数据体系，而非某台特定机器人。公开 80 亿参数的检查点与部署代码，降低了他人拿自己的工作流去对照一个强开源基线的门槛，而这是最快找出该代理指标何时失效的方式。