H-JEPA：面向视觉规划的层次化世界模型端到端学习

隐空间世界模型的承诺是在「想象」中规划，但多数模型只按一个节拍走。这与真实任务并不匹配：真实任务的结构同时活在好几个时间尺度上——上层是缓慢的任务推进，下层是快速而嘈杂的运动。H-JEPA 的主张是，这个层级应当被学习出来，而且是整体地学出来。

背景

用学到的隐空间世界模型做规划，需要在多个时间尺度与抽象层级上推理：一个目标要在长时程里被追求，而真正重要的细节却在短得多的尺度上变化。现有的任务无关 JEPA 世界模型，要么只为单一时间尺度而建，要么把多个预测时域装进同一个共享隐空间。后一种设计把一切都塞进同一个表征，于是模型不得不把容量花在对长时程推进无关、且快速不可预测的细节上，也没有在「粗粒度计划」与「执行它的细粒度行为」之间留出清晰的接口。

核心创新

H-JEPA 是一套端到端训练「动作条件化 JEPA 层级」的方案：每一层都在自己学到的隐空间里预测得更远。由于各层拥有分离的隐空间与分离的预测时域，每一层的表征都能各司其职。规划随自上而下进行：顶层优化朝目标推进的进度，而每一层的预测成为下一层规划器的子目标。作者强调的机制是：当数据中的因素在彼此分离的时间尺度上演化时，高层会自然丢弃快速、不可预测的细节，只保留较慢、任务相关的状态——层级在这里不只是调度上的便利，而是一种把表征容量分配到恰当时间尺度上的方式。整个堆栈是端到端训练的，而非由若干分别训练好的部件拼装而成。

结果

• 在四个仿真导航与操作环境中，分层规划均优于扁平的 JEPA。
• 在 Visual AntMaze 上，三层层级把成功率从 18% 提升到 73%，同时规划算力更低。
• 消融实验把收益同时归因于时间分解与高层目标表征，而非仅仅多了参数。
• 借助逆动力学监督，该方法可扩展到 DROID 中多样的真实机器人视频，在更低规划算力下提升离线规划保真度。

局限

主要结果是在仿真中测得的，而真机证据是 DROID 视频上的离线规划保真度，而非硬件上的闭环控制，因此这些收益尚未被证明能经受活体机器人的检验。该机制还依赖数据中确实存在「在分离时间尺度上演化的因素」；不具备这种结构的环境里，层级也就没有可挖掘的东西，而摘要并未刻画它在什么情况下失效。消融只以汇总方式给出，因此层数、各层时域与目标表征各自的相对贡献，无法直接读出。

产业启示

规划算力与长时程一致性，是把世界模型放进真实控制回路时两个长期障碍，而 H-JEPA 提供了一条在改善后者的同时降低前者的路径。对于基于 JEPA 类隐空间模型做开发的团队，可迁移的思路是：时间分解应当放进学到的表征内部，让它把短时噪声的容量释放出来，而不是交给外部的调度器。这套方案还有一个诱人之处——它完全由动作条件化数据端到端训练，天然契合团队本就在采集的大规模、异构视频语料。与世界模型类结果一样，实际的问题仍在于这些改进能否在真机闭环控制下成立，而这被留给了后续工作。