EndoRSI:让机器人自己的实验来驱动策略研究

· Editorial Team estimated
手术机器人 自我改进 内窥镜 编码智能体 策略学习 物理实验

物理机器人的策略研究至今仍依赖人来解读实验失败、并决定该怎样修改控制器。EndoRSI 是一个由人监督、可自我改进的机器人研究系统:内嵌的编码智能体 EndoForge 以物理实验证据为依据,反复开发与改进内窥镜机器人策略,而物理执行被隔离在受安全约束的运行时中、并须经人类授权。在电动内窥镜任务中,这个闭环是实打实地在起作用:验证证据让智能体否决了最初的动作表示;后续的物理实验又否定了离线评估支持的插入策略,因为它暴露出源数据中不存在的危险闭环行为。把失败的物理 rollout 反馈进策略修订后,插入成功率从第一代的 2/21 提升到第四代的 17/21。冻结后的最终策略在视觉与硬件变化下仍保持能力,并在六份独立的离体猪标本上取得最佳自主策略表现。

原文 · arXiv:2610.13376

机器人策略研究者最宝贵的能力,是读懂一次失败的实验、并知道该改什么。这篇工作要问:能否让智能体承担其中一部分,而把物理实验作为它的证据?

背景

人工智能已经开始在科学发现的部分环节上自动化,但物理机器人的策略研究仍由人驱动。当控制器失败时,必须由科学家或工程师来解读失败、并决定修改哪一部分表示、数据或策略——这个循环既慢,也无法随候选策略的数量扩展。缺失的一环,是让机器人自身的实验成为驱动研究的证据,而不是依赖那些未必能预测闭环行为的离线指标。

核心创新

EndoRSI(内窥镜递归自我改进)是一个由人监督、可自我改进的机器人研究系统。内嵌的编码智能体 EndoForge 反复开发与改进内窥镜机器人策略,但它的证据来自物理实验,而不只是离线分数。物理执行被限制在受安全约束的运行时里,并且只在人类授权下推进,因此自主性是有意被限定的。这个闭环是实打实地在起作用,而非点缀:验证证据先让智能体否决了最初的动作表示;随后,物理实验否定了离线证据曾支持的插入策略,因为真实的闭环行为以一种源数据没有揭示的方式表现出危险。失败的物理 rollout 接着被折回策略修订——「证伪」本身变成了训练信号。

结果

  • 插入成功率从第一代的 2/21 提升到第四代的 17/21。
  • 冻结后的最终策略在视觉与硬件变化下仍保持能力。
  • 在六份独立的离体猪标本上,它是表现最佳的自主策略。
  • 该研究闭环曾否决最初的动作表示,并依据物理证据推翻了离线支持的插入策略。

局限

证据只覆盖单一任务族——电动内窥镜——因此递归自我改进闭环能否迁移到其它术式与本体,尚未得到检验。系统明确由人监督:物理执行须由人授权,闭环运行在受安全约束的运行时内,所以自主性是被设计限定的,所报告的增益反映的是这种人与机器的协作,而非无人值守的自我改进。样本量较小(每代 21 次试验、六份离体标本),论文也没有与人工设计或常规策略的基线做对比,因此它证明的是「这个闭环能变好」,而不是「它胜过专家驱动的开发」。泛化结论也仅建立在其评测设定内部的若干变化之上。

产业启示

对手术机器人及其它高风险领域而言,其意义既在结果、也在治理形态:一个负责提出与修订策略的编码智能体,配上对每次物理执行进行把关的安全运行时与人类授权,是「在自动化研究的同时、不把执行器交给一个无约束系统」的一种范本。它提示了一种务实的分工——机器负责跑大量候选实验、并从失败中挖掘信号,人握住授权这把钥匙。它同时说明:离线验证不足以作为闭环部署的证据。此处那条通过离线的策略,直到上了硬件才被否决;对任何准备部署「从未在闭环中被压力测试过」的策略的团队来说,这都是个警示。