PEARS：以低成本实现接触式操作的实机自适应

凡是尝试过用实机试验去修好已部署策略的团队都清楚，真正的代价不是算力，而是失败——掉落的零件、溅出的样本、被刮花的表面。PEARS 是一次结构清晰的尝试，力图让这些失败换来尽可能多的改进。

背景

从示范预训练出来的策略，其表现上限取决于训练时所处的条件；部署中遇到的分布外情形会让性能明显退化。自然的补救办法是通过实机交互做后训练，但强化学习式后训练通常需要大量环境交互。在操作任务里，这一负担尤其沉重：每次试验都可能缓慢、昂贵甚至具破坏性，因此决定实机自适应是否可行的，是交互预算，而非算法的渐近表现。于是 PEARS 瞄准的问题不是「如何自适应」，而是「如何用远为更少的昂贵回合去自适应」，并把触觉反馈作为关键的新信号引入。

核心创新

PEARS 是一个以物理先验引导的混合强化学习框架，由两个协同组件构成。第一个是「物理引导的力推理」（PFR）模块：每回合结束后，它利用视觉语言模型中编码的物理先验，从视觉结果与触觉交互历史中诊断失败，并更新合适的接触力上下界；随后一个高频力-位混合控制器在接触过程中执行这些界，把诊断变成即时且物理上落地的修正。第二个组件是触觉条件的扩散转向强化学习，它调整冻结的流匹配策略的隐噪声，以修正自由空间运动与接触时机上的错误。关键在于，这种转向并不更新基础模型，因而适配成本低、昂贵的预训练权重得以保持完整。两半互为补充：力上下界管住接触区间，扩散转向管住运动与时机。

结果

• 在仿真中，PEARS 把成功率相比各任务最强基线提升 12.4 至 37.4 个百分点。
• 相比最快的基线，它把达到给定成功率阈值所需的交互回合数最多减少 53.2%。
• 在真机上，白板擦拭达到 95% 成功率，移液吸液达到 90%。
• 该方法需要触觉反馈，但不更新基础策略网络。

局限

PEARS 假定触觉感知可用，这会带来不是每个平台都具备的硬件与集成成本。其力推理模块依赖视觉语言模型来诊断失败，而这类诊断可能脆弱甚至出错——摘要并未刻画其失效方式；一旦误诊，控制器随后执行的力上下界就会被污染。真机验证只覆盖两个任务——白板擦拭与移液吸液——有用但相对宽容，摘要也没有报告在未见物体上的表现或该方法如何失败。交互回合的减少是相对「最快基线」而非绝对量给出的，且增益是相对各任务各自基线，这使得跨任务家族的稳健性更难判断。

产业启示

接触丰富的操作——装配、实验室自动化、清洁、检测——恰恰是最需要实机精修、也最让实机试验昂贵的领域。PEARS 直接针对这份精修成本下手，而它最可迁移的特性是「冻结策略也能适配」：团队可以通过转向隐噪声、调整力上下界来改进已部署的模型，无需重训，也无需一整轮重新部署，这对任何必须在持续服务中不断改进的机队而言都是实实在在的运营差异。反之也有真实的集成要求——必须有触觉感知，且要信任视觉语言模型去诊断接触失败——因此采用方应把感知投入与交互节省放在一起权衡，并且在把它放进控制回路之前，先验证失败诊断这一步。