P²:不用外部大模型,用 VLA 自己的激活值判断它是否跑偏
部署 VLA 策略需要运行时监控,但现有方案外挂视觉语言模型来监督策略,复杂且昂贵。P² 换了个思路:在演示数据上对策略自身的激活值训练线性探针来估计任务进度,再据此标记偏离预期的执行。在开源 VLA π0.5 上的仿真与真实操作任务中,它的失败检测能力与基于 VLM 的监控器相当或更好,也优于需要失败数据训练的方法。
原文 · arXiv:2610.31613视觉-语言-动作模型能从图像和自然语言直接执行多样化的操作任务,但它们会犯错,而且错法难以预测。要撤掉人盯着,就必须有一个运行时监控器,在策略偏离轨道时报警并触发接管或重规划。
现有做法大多是外挂一个视觉语言模型来评判策略的行为。这条路能走通,代价却很实在:多一个基础模型的推理开销,多一层系统复杂度,而且监控器的判断与策略内部实际在想什么并无关系。P² 提出的问题很直接:VLA 自己的内部激活值,是否已经包含了监控所需的信息?
核心创新
P² 的答案是肯定的,而且需要的工具极简。
方法在演示数据上对策略的激活值训练线性探针,用来估计任务进度;执行时,若实际进展持续偏离由探针给出的预期,就把这段执行标记为异常。整个过程不需要外部模型,不需要帧级进度标注,也不需要收集失败数据——训练信号完全来自成功演示。
这一点值得强调。此前不少工作要靠失败轨迹来学习”什么算失败”,而失败数据在真实部署中恰恰最难获得、成本最高。P² 把监督信号退回到”只有成功演示”这个最常见的起点,工程含义很直接:任何已经采过示教数据的团队,都可以在不追加采集的情况下训练监控器。
实验结果
论文在开源 VLA π0.5 上做了评测,覆盖仿真与真实世界操作任务:
- 在任务失败检测上,P² 与基于 VLM 的监控器相当或更好;
- 同时也优于那些需要失败数据来训练监控的方法。
换句话说,一个线性探针加上策略内部信号,达到了外挂基础模型的判别水平。对于部署成本敏感的场景,这个替换的性价比很高。
局限
- 摘要只给出定性的”相当或更好”,没有具体的检测指标(如 AUROC、误报率、提前预警的步数),难以判断实际可用性。
- 探针在演示数据上训练,其进度估计隐含了”执行轨迹与演示分布相近”的假设。遇到全新的物体、光照或布局,探针本身可能失准,而这恰好是监控器最该起作用的时刻;摘要未评估这类分布外情形。
- 评测集中在 π0.5 一个模型与操作任务,跨模型、跨本体(如人形全身控制、移动操作)的迁移性未知。
- 监控器只判断”是否偏离”,摘要未说明它能否区分失败类型或给出恢复建议。
产业意义
对准备把 VLA 推向无人值守运行的团队,这篇工作给出了一个成本极低的基线:先看策略内部,再考虑外挂模型。
这背后的判断是,VLA 的激活值里已经编码了任务进度这类状态信息,只是没有被显式读出。如果这个判断在更多模型上成立,运行时监控就会从”再加一个大模型”变成”在策略上挂几个探针”——延迟增加可以忽略,也不引入第二套失效模式。对于算力受限的机载平台,这是能否上监控的分水岭。
同时它提示了一种更一般的设计原则:可监控性可以是策略本身的属性,而不必是外部附加的能力。如果后续工作能在训练阶段就把”可读出进度”作为目标之一,监控精度可能进一步提升,而不牺牲策略性能。
需要观察的是分布外表现。真实的产线或家庭环境不会停留在演示分布里,监控器在陌生场景下的误报与漏报,决定了它是能减少人工干预,还是只是把人工干预换成了处理报警。