EyeRobot 2.0：用主动注视在没有腕部相机的情况下完成精细双臂操作
腕部相机一直是精细双臂操作的可靠近距视角，但一旦抓持物挡住镜头便直接失效。EyeRobot 2.0 借鉴人眼，用一对可转动的视点主动把注视点对准场景中的三维目标，并以中央凹方式分配视觉 token；它用分层强化学习协调注视（低层伺服策略加任务进展驱动的目标选择器），并把夹爪信息规范化到与注视相关的 SE(3) 坐标系。在 7 真实 6 仿真任务、1000+ 真机与 1800 仿真试验中，仅用立体相机即比被动立体真实成功率高 40%、仿真高 20%，在腕部遮挡时成功率翻倍以上（48% vs 22%）。
原文 · arXiv:2610.03710精细双臂操作通常要贴着手的相机才看得清接触细节，可一旦抓起东西挡住镜头，这只相机就直接失效。EyeRobot 2.0 的思路是学人眼：不靠多装一只眼，而是靠一对会转的眼睛，把最敏感的注视点始终对准最需要看清的地方。
背景
精细双臂操作通常依赖腕部相机——贴近手部的近距离视角让遮挡下仍能看清接触细节。但腕部相机增加成本、布线与易损点，且一旦抓持物挡住镜头就直接失效。人眼并不靠「多装一只眼」解决这个问题，而是靠主动注视：转动眼球，把最敏感的区域（中央凹）对准当前最需要看清的点。
核心创新
EyeRobot 2.0 给机器人一对可转动的「眼睛」。系统先物理地对准场景中的三维注视点，把两个视点转向该点；随后用中央凹式处理，把更多视觉 token 分配给图像中心，把算力集中在与任务相关的特征上。协调这种主动视觉注视（AVF）是难点。作者分层求解：先训练一个低层注视伺服策略，以目标物体为条件；再训练一个目标选择器，根据任务进展发出注视目标。两者都在真实数据上用强化学习训练——伺服策略用稠密几何奖励，选择器则与夹爪的模仿（BC）策略联合训练，从而自行发现接近人类习惯的注视序列。系统还把夹爪信息规范化到与注视相关的 SE(3) 坐标系中，压缩动作分布的规模，让学习更简单。
结果
- 7 个真实、6 个仿真任务；1000+ 次真机、1800 次仿真试验。
- 撤掉腕部相机：仅用被动立体，真实成功率从 52% 掉到 27%。
- EyeRobot 2.0 仅靠立体就把这一缺口补上：真实成功率比被动立体高 40%，仿真高 20%。
- 当腕部视角清晰时，与「自我视角+腕部相机」策略相当（69% vs 64%）。
- 当抓持物遮挡腕部相机时，成功率翻倍以上（48% vs 22%）。
局限
主动注视依赖可转动的双视点机构，这套机械自由度本身就是新增的硬件与标定负担，而摘要没有给出其成本、功耗或长期可靠性数据。注视伺服与目标选择器都在真实数据上做强化学习，数据采集与训练成本不低。评测集中在 7 个真实任务上，跨任务、跨场景的泛化能力尚未量化。中央凹 token 分配策略对模型规模与部署算力的依赖也未展开。
产业启示
这篇工作的取舍很清楚：用一对会动的眼睛，替代一直贴在手上的腕部相机。对机器人厂商而言，被省掉的是每只手臂上的相机、走线和易损点，被换来的是一套需要精确运动与标定的注视机构，以及「抓起东西后镜头被挡住」这一老大难问题的实质性缓解。结论中「遮挡时成功率翻倍」是最有商业含义的一条——恰恰是腕部相机最脆弱的场景，主动注视的相对优势最大。任何在多指或大件抓取中受困于手部遮挡的团队，都值得研究这条路线，同时把新增的注视自由度纳入成本与可靠性核算。