QF3：让流策略可被离策略强化学习训练

流匹配教会了机器人模仿。QF3 提醒人们：问题更难的另一半——通过经验去改进这些策略，而不烧掉一份在策略预算——才是真正的工程收益一直藏身的地方。

背景

流匹配已成为从示范学习机器人行为的标准策略类别，如今支撑着相当多的操作与运动学习工作。但预训练的流策略只是起点：强化学习依然关键，既用于改进从示范中学到的策略，也用于通过交互从零学习策略。问题在于，围绕流策略搭建的强化学习流程基本上都是在策略的，每一个梯度步都要消耗与环境的新交互。这在仿真中昂贵，在真实硬件上则近乎不可承受——正因如此，一种能够复用过往经验的离策略方案，一直是人们明显想要的东西。

核心创新

QF3（Fast Flow RL with Filtered Q-Gradients）是一种在线离策略算法，同时用两路信号训练流策略。第一路是流匹配，把策略锚定在行为目标上；第二路是评论家的动作梯度，而关键细节在于它如何获得——QF3 并不对完整的多步采样过程求导，而是让评论家梯度经由对流输出的一步预测反向传播。这让梯度计算变得廉价，但也使它在「评论家与一步预测和现实不符」的地方恰好不可靠。过滤步骤正是针对这一点：评论家梯度只作用于那些仍停留在回放动作附近的行为维度，从而把更新限制在两路信息能够共同被信任的区域。正是这一处设计选择，让「离策略流强化学习」从一个脆弱的想法变成真正能训练起来的方法。

结果

• 据作者所知，QF3 是首个从零训练人形机器人运动策略、并零样本迁移到硬件的离策略流强化学习方法。
• 配合一套高吞吐的离策略训练配方，它训练人形机器人运动与动作跟踪策略时，相比近期在策略流强化学习方法 FPO++ 取得 10 倍墙钟加速。
• 同一算法还能在 ABC-Sim 与 Robomimic 基准上微调预训练的流式操作策略，说明它既能从零学习，也能精修从示范中得到的策略。

局限

摘要以速度与覆盖广度开场，却缺少足以定论的数字。论文没有给出任务成功率或硬件失败次数，因此零样本迁移的说法仍是一句断言，而非多次 rollout 的分布。过滤阈值「接近回放动作」是如何选取的、训练对它的敏感度如何，均未分析——考虑到这一阈值正是全文的核心机制，这是个实实在在的关切。操作部分只覆盖两个仿真基准，且从已预训练的策略出发，因此微调能力究竟有多广并不清楚。又因为 10 倍加速被归功于算法「配合」某套高吞吐配方，人们也很难把算法贡献与训练基础设施的贡献区分开来。

产业启示

流式策略正从研究走进商用机器人技术栈，而改进它们的传统方式——在策略强化学习——恰恰是真实硬件上最难跑起来的部分。一种墙钟时间快一个数量级、并且已被证明能把运动策略迁移到硬件的离策略方法，改变了这笔经济账：对已部署策略进行在线改进变得可负担，从零学习也不再需要一份在策略预算。过滤梯度这个想法同样可以迁移——它是一条通用准则：只在该廉价的一步代理与评论家一致的地方信任评论家。这类可复用的技巧，往往会比它最初提出的那个基准活得更久。