把强化学习的控制力，蒸馏进只看图像的策略

从少量视觉演示里学灵巧操作之所以难，原因说起来简单、解决起来很难：策略要同时学会两件事——图像里的场景长什么样，以及如何精确地驱动高自由度的手去建立和断开接触。模仿学习只能把第二件事教到演示覆盖的范围为止，而演示很贵。仿真里的强化学习能发现丰富的控制行为，但它依赖特权信息：物体位姿、接触状态、力，这些在部署时任何相机都给不出来。

常见的折中是先在大规模语料上训练视觉-语言-动作模型，再按任务微调。这条路有效，但它把数据花在数据最稀缺的地方，而且全参数微调往往会覆盖掉模型本来具备的控制能力。

核心创新

把控制与感知分开，并按成本最低的顺序学。 第一阶段是特权预训练：仿真中的大规模强化学习 rollout 被蒸馏进一个 flow matching 动作解码器，条件输入是本体的 proprioception 和一个潜任务上下文。解码器从不看图像，它学的是从紧凑上下文到动作块的生成映射——精确的、富接触的行为就住在这里。

第二阶段是视觉适配。解码器被冻结，作者学习一个视觉接口，把图像映射到解码器期望的潜上下文。关键在于，这个接口只用动作监督训练：没有特权标签，也没有对潜变量本身的回归目标。图像编码器不需要复现某个内部状态，它只需要产出「能让冻结解码器输出正确动作」的上下文。

一个解码器，多条手臂。 因为解码器的条件是潜上下文而不是某个本体的关节布局，同一解码器可以通过学习协调的视觉上下文在双臂操作中共享。每路相机都为驱动双臂的上下文做贡献，这是在不需要单独的多臂策略架构的前提下拿到协调性的一种干净做法。

一个值得记住的设计结论。 论文比较了两条路径：直接把视觉映射到潜上下文，以及先预测特权状态、再送进解码器。前者适配更好、训练更稳。这个结论不大，但实用：那个看起来最自然的架构选择，并不是最好的选择。

结果

在三个仿真任务上，该方法在低数据区间超过 pi0.5 与 GR00T N1.7 的全参数微调。在开门和双臂装配两个任务上，它用 1/10 和 1/5 的演示数量，超过了用全量数据的基线。这些数字的分量在于：不是「同等数据下比微调更好」，而是「用一小部分数据，比全量数据微调更好」。

两项分析支持「解码器确实保留了强化学习获得的控制知识，而不只是当了一个好的正则项」。学到的表示对未见过的质量变化更稳健；接触力信息在解码器表示中比在一个纯视觉策略里更容易被线性读出。两者都与「解码器内化了一个懂动力学的控制先验」这一解释一致。

局限

评测只有三个仿真任务。灵巧操作恰恰是仿真到现实差距最大的场景——接触摩擦、肌腱柔性、传感器延迟、物体差异都会咬人。论文没有报告真机结果，所以核心主张是在特权预训练发生的那个环境里被证明的。

特权强化学习阶段不是免费的。它需要一个能设计奖励、且有足够并行度产生大规模 rollout 的仿真器，它的质量决定了下游一切的上限。冻结解码器同时也封住了视觉适配的上限：如果预训练分布里没有某种行为，再多的接口学习也补不回来。

另外，「用 5 到 10 分之一的演示超过全量数据基线」是一个很强的主张，值得配上逐任务的方差和随机种子数量。摘要只给了点对点比较，没有给这些。

产业启示

这篇论文暗示的成本结构很有吸引力。仿真里的强化学习是一次性资本开支：搭环境、设计奖励、跑 rollout。之后适配一套新相机、一条新手臂或一个新任务，就变成一个基于动作标签的小规模监督问题，比大规模采集遥操作演示便宜得多。

它也提示了机器人基础模型竞争的重心可能往哪移。如果控制能力可以被蒸馏一次、反复复用，那么差异化就不在动作头的规模，而在产生这个先验的仿真器质量和奖励设计——这些是专有的、难以复制的、且与机器人型号强绑定的资产。

实际的提醒是标定。用特权状态预训练出来的解码器，隐含了对本体感知质量和控制延迟的假设。把它部署到动力学不同的硬件上，需要确认这个冻结先验仍然对应真实手臂——而这恰恰是论文没有测试的那部分 sim-to-real 工作。