让人形机器人学会预测：身体与地形如何一起变化

一台机器狗上楼梯时做的事，比它看起来要微妙。某块地形重不重要，不是深度图自身的属性，而取决于机身在哪、哪只脚受力、移动多快、以及接下来要做什么。同样一个 20 厘米的台阶，可能是落脚点、是障碍、也可能完全无关。所以真正有用的学习问题不是「把视觉和本体感知融合起来」，而是「学习身体与地形的联合状态，并学习动作如何改变它」。

已有工作在上一半做得不错。地形感知的传感融合与跨模态预测，改善了深度和本体感知如何结合、如何关联。但特征聚合本身并不指明策略该学哪些跨模态关系；而在同一时刻用一种模态预测另一种，也没有约束这对状态在动作下如何演化。一个策略可以拥有极好的融合表示，却仍然不知道下一步落脚会发生什么。

核心创新

用可学习 query 构建紧凑的策略状态。 多组可学习 query 把深度 token 和本体感知 token 聚合成少量特征，构成策略状态。这是有意的瓶颈：控制器不需要整张深度图，只需要与下一次决策相关的那一部分。

双向掩码跨模态预测。 训练时遮住一种模态，让可见模态去预测它的潜特征，两个方向都做。用深度预测本体感知潜变量，会迫使视觉表示编码与身体相关的几何；用本体感知预测深度潜变量，会迫使身体状态编码它所站立的地形。这比对比式对齐更强的监督信号，因为它明确指定了哪种关系必须可被恢复。

以动作为条件的下一融合状态预测器。 第三个部件把当前策略状态与已执行动作映射到下一个融合状态，目标用指数滑动平均，且直接定义在策略表示空间里。这是把「表示」变成「可用于控制的东西」的关键：它教策略的是自己的动作会对身体-地形关系做什么，而不只是这个关系此刻是什么。

整个框架单阶段训练，这一点在工程上很重要——不需要单独的世界模型预训练，也不需要蒸馏调度。

结果

在仿真中，该框架在地形通过性上优于所比较的融合方案与消融配置。更有信息量的是退化实验：在深度丢失和深度延迟两种条件下，两个预测目标都带来帮助。这与「策略学会了在视觉不可用或过时时，依赖本体感知中关于地形的证据」这一解释相符。

硬件结果是最亮眼的部分。在一台使用板载传感器的 23 自由度 Noetix E1 上，策略在 100 次试验中成功 98 次，覆盖楼梯、40 厘米平台、70 厘米沟槽、踏石，以及背后地形不可见时的倒退下楼梯。最后这个场景最能说明问题：倒退下楼意味着机器人正要踩上去的地形根本不在深度传感器的视野里。这还能成功，只能是因为本体感知与学到的动力学先验真的携带了关于脚下会遇到什么的信息。

局限

证据来自单一机器人平台和单一策略。100 次里成功 98 次对研究论文来说很强，但对任何安全论证来说样本都很小，而且试验是在多种障碍上聚合报告的，没有按条件给出置信区间。

论文没有量化的 sim-to-real 分析：它说策略未经真机微调就迁移成功，但没说相对仿真损失了多少性能，也没说哪些条件退化最严重。对一篇卖点是「学到的动力学先验」的方法来说，仿真差距的大小恰恰是读者最需要知道的。

方法还假设深度传感可用且标定合理。深度丢失实验显示了优雅退化，但如果相机被遮挡、或深度尺度本身错了，就超出了被测试的包络。

产业启示

人形运动控制在十八个月里，从「能不能不摔倒地走路」走到了「能不能在楼里干有用的活」。约束条件也随之从平衡能力，转移到客户现场那种具体地形上的可靠性——装卸平台、边缘开放的夹层、踏步高度不一致的楼梯。

一个显式建模「动作如何改变身体-地形状态」的策略，是这类可靠性工作更好的起点，因为它能预判的失效模式包含了自己运动导致的那一类。它也产出一种更容易监控的表示：如果预测的下一状态与观测到的状态出现偏离，那就是出问题的信号，而这正是运行时安全检查的原料。

商业上的提醒是验证成本。五类障碍、100 次试验，是演示，不是安全案例。把人形机器人部署到人旁边，需要逐场地的地形刻画和远更大的试验量；这篇论文的方法并不能免除这项要求，它只是让策略更有可能扛过这项要求。