SymmGrid：利用并行化对称性与第一人称-第三人称视觉感知加速机器人真实学习

背景

在物理机器人上直接进行深度强化学习——即机器人真实学习——仍然受限于缓慢的壁钟训练时间。基于仿真的方法受益于大规模并行化，但真实机器人以实时运行，每个动作都有无法加速的物理持续时间。现有提高样本效率的方法通常依赖基于仿真的预训练或大型离线数据集，限制了其在机器人需在线适应新环境场景下的适用性。

核心创新

SymmGrid 是一种受并行化对称性启发的轨迹级数据增强框架。核心洞察在于许多操作任务具有内在的几何对称性：例如，将插销插入场景旋转 90° 应产生同等有效的经验。SymmGrid 在对称树结构下对马尔可夫决策过程（MDP）建模，其中状态-动作对具有允许的并行化不变变换，构成几何网格结构。

对于视觉观测，该框架应用单应变换将第一人称和第三人称的相机视图与相应的空间变换对齐。这些并行化变换产生大量独特的对称等价经验，以多样且一致的体验填充回放缓冲区，显著提高样本效率而无需额外的真实世界交互。

实验结果

SymmGrid 直接在真实机器人操作接触任务上进行了评估：插销插入、缆线布设和物体重定位。与最先进的基线相比，它实现了：

• 壁钟训练收敛速度提升 1.37-2.17 倍
• 评估成功率提升 1.09-1.27 倍
• 最快训练收敛时间：插销插入 16.6 分钟、缆线布设 10.9 分钟、物体重定位 79.3 分钟
• 归一化 AUC 提升最高达 2.59 倍

局限性

该方法假设每项任务的对称结构已知或可估计。对于缺乏清晰几何对称性的任务——如涉及非刚性物体或非对称接触的任务——该增强框架可能无法直接适用。评估集中在相对受限的桌面操作任务上；向移动操作或双臂任务扩展需要处理更复杂的对称结构。

行业影响

在真实机器人上实现接触丰富的操作任务在 17 分钟内的训练收敛，将机器人真实学习从研究好奇推向实际部署。对于部署机器人集群的公司而言，在数分钟而非数小时内适应操作技能的能力意味着机器人可以在现场为新任务重新训练而无需将其移出生产线。对称性增强方法无需额外硬件且兼容标准强化学习算法，使其易于采纳。