PAKT：尊重机器人真实能力的示教式教学

把真实世界强化学习搬进制造业的说辞很直白：让机器人自己反复练习插入，失败时让人纠正，数据累积到成功率超过手调程序能达到的水平。真正在落地时卡住的并不是算法，而是人的接口——产线上的某个人，究竟要怎样示教和纠正一个策略，才不至于跟机器较劲。

拖动示教是工业界已经接受的答案：操作者抓住机器人手腕，把它带到该去的位置。它直观，也不需要额外硬件。它经典的毛病则是，操作者可以把机器人拖成机器人自己永远做不到的样子。

背景与问题

接触密集的工业操作同时提出三项要求：微米级精度、99% 以上的成功率、以及接近人力的节拍时间。利用示教与干预的离策略强化学习有希望同时满足，HIL-SERL 一类方法已经证明了这一点。论文指出的瓶颈在指导数据的采集接口上。无论算法如何，总得有人提供示教与纠正，而这种提供必须同时符合物理系统与策略的约束，否则采集到的数据会以很难察觉的方式变得不可用。遥操作是学界常见的答案，拖动示教是工业界常见的答案，本文选择后者作为出发点。

核心创新

PAKT 是一个用于强化学习的示教式教学框架，由两块相互咬合的设计组成：

• 导纳控制 + 尊重限制的参考生成器。 操作者通过导纳控制引导机器人，即把人施加的力映射为运动——这是人面对柔顺机器人时最自然的施力方式。随后，下游的参考轨迹生成器施加与策略执行时相同的运动学限制，于是从人的手上记录下来的轨迹落在机器人及其策略真正可复现的范围之内。这样，示教数据在构造上就是物理可实现的，而不是事后筛选或丢弃。
• 弥合频率与能力差距的控制栈。 强化学习动作是低频的，力矩控制是高频的。PAKT 引入参考生成器与阻抗控制器完成这一转换，其中参考生成器在保持阻抗控制器跟踪性能的同时，改善接触处理，并让策略动作更平滑。

第二块并非装饰。接触密集的插入需要一个在零件相碰时表现良好的控制器，也需要策略指令足够平滑，否则机械臂与工装会把每条指令都当成一次冲击来承受。

结果

• 基准： 四个插入与工业装配任务，其中包含一个数据中心算力托盘。
• 节拍时间： 相对 HIL-SERL 基线缩短 23% 至 48%。
• 干预次数： 累计干预次数相对同一基线减少 62% 至 86%。
• 论文提供了项目主页。

对部署决策而言，这恰好是两个对的指标。节拍时间决定吞吐，进而决定投资回收；干预次数则直接反映这个工位要占用多少操作者的注意力，从而决定一个人能看几个工位。

局限

摘要中只报告了 HIL-SERL 一个基线，所以这些提升是相对单一（尽管很强）的参照物而言，而不是相对一系列人在回路方法、或相对经典的力控装配程序。基准只有四个插入与装配任务、其中一个具体的工业例子；这套接口与尊重限制的参考生成器能否迁移到不同的零件几何、间隙、工装与控制器，这个任务集本身无法确立。论文开篇提出的微米级精度与 99% 以上成功率，是该领域的要求，而摘要并未报告绝对成功率——因此这里能证明的是节拍时间与干预次数改善了，而不是这些数字已经达到。拖动示教仍然需要有人在机器人旁边，这一角色的人机工程学、对技能水平的依赖，以及整套方法需要的总训练时长，都没有量化。最后，导纳控制把人的力映射为运动，这引出力上限与急停行为等安全问题，摘要没有涉及；而报告的干预次数也取决于「什么算一次干预」的定义。

行业启示

这件事之所以是工业成果而不只是研究趣闻，是因为它从工业界已有的接口出发。拖动示教正是今天的技术人员推着机器人走一遍动作时在做的事，而论文的关键观察是：被记录下来的这段运动，正在被机器无法执行的指令污染。在采集那一刻就把运行时同样适用的限制加上去，是一个很小的改动，却对「工厂实际能生成的数据是否训得动策略」影响巨大。

控制栈那一半对集成同样重要。把低频策略指令经参考生成器与阻抗控制器映射为高频力矩，是每一个严肃工业部署的形态；这一层能否输出平滑动作、能否处理好接触，决定了一个学习式策略是表现得像一台机床，还是像一段碰巧能跑通的脚本。对正在权衡「学习式装配」与「工程化装配」的团队来说，要盯的就是本文报告的那两个指标：节拍时间，因为它是回收期计算；每小时干预次数，因为它是人员配置计算。