当指令只是在检索轨迹：诊断并缓解 VLA 模型的泛化失效

一个 VLA 策略可以在同分布任务上拿到 90% 以上的成功率，却在「同一句话、换一个位置」时彻底失灵。这篇工作要问的是：当语言不再决定动作时，究竟是模型没看懂，还是它把指令当成了一把检索熟悉轨迹的钥匙？

背景

视觉-语言-动作模型已经成为机器人操作的主流配方：把语言指令、当前观测与机器人状态一起喂给一个多模态骨干，直接回归出动作。这类模型在同分布任务上的成功率经常超过 90%，也能扛住那些「不影响正确动作」的干扰，比如换个光照、换个背景。问题在于，这类聚合指标会把另一种更隐蔽的失败盖住：当环境发生反事实变化——同一个场景里，同一句指令要求的是另一个动作——策略会照着老动作继续执行。任务看起来完成了，但在需要真正听懂指令的场合，它并没有做到。

核心创新

作者把这种现象称为「指令-动作绑定」失效，并用行为分析给出了它的画像。对微调后的 π0.5 与 GR00T-N1.7 逐一复盘失败的 rollout 后可以看到两种典型模式：要么固守原任务的轨迹族，要么切换到另一个演示过的任务。关键在于，这两种模式都说明语言信息并未被丢弃——模型确实读到了指令，只是把它当成了对「熟悉轨迹族」的检索线索，再用视觉反馈去微调执行。进一步的读出与干预实验把这种选择钩连到任务条件化的内部状态，说明这不是随机的抖动，而是一种可定位的机制。

原因则被追溯到模仿学习目标本身：如果演示数据里条件动作的支撑太窄（同一句话后面总是跟着差不多的一类动作），那么「真正依据场景接地气」的解与「只凭指令检索一条熟悉轨迹」的解，在训练损失上几乎没有差别，模型没有动力去学前者。等变反事实训练（ECT）正是从这一点切入。数据层面，它为同一条指令配上在可区分场景中要求不同动作的有效演示；损失层面，它让每条演示与其对应样本在同一次更新中成对训练，从而把「接地气」与「只检索」两类解在梯度上分开。ECT 的作用点在于训练配方，而不是换一个更大的骨干。

结果

• 在受控的 LIBERO-PRO 对比中，完整 ECT 把 π0.5 的平均位置交换成功率从 36% 提升到 59%。
• 在 CALVIN 上，仅靠 ECT 损失（配对样本本就在原始数据中出现）即可改善五任务完成率，无需新增演示。
• 在真机 UR5e 上，固定演示预算下，完整 ECT 把未见位置的成功率从 8% 提升到 88%。
• 诊断与缓解都建立在已有的 π0.5、GR00T-N1.7 与标准模仿流程之上，改动集中而明确。

局限

论文的修复强依赖能否构造出「同指令、异动作、且场景可区分」的反事实配对；在真实数据里这类配对并不天然存在，需要额外的场景设计与采集，成本随任务复杂度上升。受控的定量对比以位置交换这一种反事实为主，其他类型的反事实（例如目标身份变化、工具替换）是否同样受益，文中并未系统展开。真机结论落在单台 UR5e 与固定演示预算上，8%→88% 的跃升很有说服力，但它说明的是「在这一设定下有效」，距离跨本体、跨任务的普遍适用性仍有距离。语言的「检索」解释来自细致的机制分析，却也提示模型内部仍可能留有未被此次干预覆盖的捷径。

产业启示

对一线团队而言，最实用的提醒是：通过了干扰鲁棒性测试，并不等于通过了反事实测试。部署前的评估应当把「干扰」与「反事实」分开统计，否则一个在扰动下依然稳的模型，可能在真正需要听懂指令的场景里悄悄执行错误的动作——在共享空间、多任务产线这类安全敏感场合，代价会很高。第二层含义落在数据整理上：ECT 表明，与其无脑堆量，不如为关键指令补上成对的、场景可区分的反事实演示，并让它们在训练中成对出现。这为「数据配方」提供了一个比「更大模型」更便宜、更可直接落地的改进方向。