Self-Adaptive VLA:硬件漂移时,让 VLA 策略自己重新校准
视觉语言动作(VLA)模型的操作能力令人印象深刻,但它们天生「无记忆」,因此在测试时环境变化面前很脆弱——尤其是由磨损或标定不准带来的硬件偏移。让这类策略在部署过程中自适应、而无需持续现场重新标定,是能否大规模落地的一个关键瓶颈。Self-Adaptive VLA 是一套后训练方案:它让策略把自己产生的 rollout 当作上下文,迭代地适应部署期的硬件偏移。具体做法是先刻意注入硬件偏移并采集 rollout,再把基座策略原有的训练数据「预补偿」成带偏移条件的专家示范;随后用一个轻量、可插拔的上下文编码器,把偏移环境下的视觉观测、本体感觉与动作压缩成一个隐上下文 token,通过自适应层归一化(AdaLN)调制策略。这些上下文 token 还可以被集成(ensemble),让策略逐步自我纠正、逐帧缓解失败。在四个精度敏感的双臂与灵巧操作任务上,Self-Adaptive VLA 在作动偏置、关节编码器偏移等硬件偏移下恢复了基座策略 80% 以上的性能,并且相比基座策略能更稳健地部署到新的工位。
原文 · arXiv:2609.30092过去三年的机器人学习几乎被一个问题统治:策略能不能泛化——跨场景、跨物体、跨指令、跨本体?而另一个更安静的问题得到的关注少得多:策略能不能扛住它所附着的那台机器?物理硬件不是静止的。作动器会产生偏置,关节编码器会漂移,而「同一型号」的机器人从来不会拥有一模一样的标定。一个在训练所用机器上表现准确的策略,一个月后在同样的机器上,或者在产线上下一台整机上,都可能悄悄退化。
背景与问题
视觉语言动作(VLA)模型是目前最强大的通用操作策略之一,而它们的设计天生「无记忆」:每个动作都从当前观测与指令产生,不携带任何关于机器人自身状态的历史。这恰恰是它们面对测试时环境变化时脆弱的原因。由磨损或标定不准带来的硬件偏移尤其麻烦,因为它在画面里根本看不见——相机看到的是同一个物体,但「指令动作」到「实际动作」的映射已经变了。常规的补救是定期现场重新标定,这种做法在规模化机队上不成立,而它正是阻碍大规模真实世界部署的那部分维护负担。
核心创新
Self-Adaptive VLA 是一套后训练方案,让策略把自己产生的 rollout 当作上下文,迭代地适应部署期的硬件偏移。四个组成部分:
- 在注入偏移下采集 rollout。 让策略在刻意偏移的条件下运行,从而暴露出该偏移所诱发的失败模式。
- 带偏移条件的专家示范。 把基座策略原有的训练数据,通过对专家动作做「预补偿」来抵消已知的注入偏移,从而转换成带偏移条件的专家示范。也就是说,对偏移的已知信息被用来合成策略所需的监督信号。
- 轻量、可插拔的上下文编码器。 把偏移环境下的视觉观测、本体感觉与动作压缩成单个隐上下文 token。该 token 通过自适应层归一化(AdaLN)调制策略——这是给冻结主干打的一个小补丁,而不是重新设计模型。
- 可集成的上下文 token。 由于 token 可以集成,策略能够逐步自我纠正,不是一次性压注某个偏移估计,而是逐帧缓解失败。
结果
- 在四个精度敏感的双臂与灵巧操作任务上进行评测。
- 在包括作动偏置、关节编码器偏移在内的硬件偏移下,Self-Adaptive VLA 恢复了基座策略 80% 以上的性能。
- 相比基座策略,它还能在新工位上实现更稳健的部署。
「精度敏感」这个限定很重要:双臂与灵巧任务正是「小的标定误差会被放大成抓取失败」的场景,因此在注入偏移下恢复 80% 以上基座性能,是一条有含金量的线。
局限
证据来自参数已知的注入偏移,评测指标是任务成功率,而不是在长期运行的机队上观察真实磨损的演化。这个区别很关键:现场实测的作动漂移未必匹配注入时用的分布,而预补偿变换要求(至少近似地)知道偏移量。评测覆盖的偏移类型很少(作动偏置、关节编码器偏移),因此对回差、热漂移、柔顺性变化或作动器退化等情形能否成立尚未验证。摘要没有报告每种偏移需要多少条 rollout、后训练需要多长时间,而这决定了它是「日常维护工具」还是「出厂工序」。也没有与更便宜的基线(如定期重新标定、或简单的本体输入缩放)做对比,因此相对现有维护实践的边际收益并不清楚。最后,四个任务都是精度敏感的双臂或灵巧作业,对长时程移动类或与行走相关的策略是否同样有效,尚未测试。
行业启示
对任何打算把 VLA 铺到「不止几台」机器人上的人而言,这篇论文触及的是「再高的策略精度也无法消除」的那部分成本:让每台机器保持标定。它的经济学主张是,硬件漂移可以在软件层被消化——用一个可插拔编码器从策略自身的 rollout 里学出当前机器状态,再调制一个冻结模型,而不是派人去逐工位重新标定。有两点让这个方案在运维上很有吸引力:基座模型不被重训,因此改动可回滚、发布成本低;而上下文 token 的集成机制,把「适应」变成了一个增量的自我纠正回路,而不是一次性的前置猜测。自然的产品形态是一个部署包:新工位上线时跑一遍短的自适应阶段,而不必手工标定。需要注意的前提是——只有当它经得起真实磨损、长时间、且偏移是「估计出来」而非「注入进去」的考验时,它才真正成为解决方案,而这正是这条线上下一篇文章该做的研究。