从外科医生自己的器械里学手术:不依赖机器人采集示教的活体腹腔镜阑尾切除
微创手术至今仍以手持腹腔镜器械为主,而一台手术结束后,医生操作器械的运动信息几乎全部丢失——能留下来的只有内窥镜视频。本文搭建了一条端到端流水线,在手术室里把这段丢失的运动重新拿回来,并把它变成手术机器人的策略,并在活体动物上完成了验证。感知那一半是一枚卡在标准腹腔镜器械杆上的「器械状态记录器」:它靠惯性传感器、飞行时间传感器和霍尔传感器恢复器械的位姿与钳口开合状态,不需要任何外部相机或追踪器。数据流水线则逐一测量每个传感器通道相对机器人真值的延迟,在配对「观测—动作」之前先把各通道对齐。作者用这些示教训练了一个以微调 DINOv3 为骨干的扩散策略,其设计是通过一个由离体兔阑尾深度图重建出的物理仿真器做闭环 rollout 来选定的。策略随后用四只活体兔子采集的 849 条活体示教重新训练,并部署到另外四只活体兔子上,且电外科设备处于激活状态;在由外科医生选择手术阶段的前提下,策略在四只动物中的三只完成了阑尾切除。两套示教数据集均已公开。
原文 · arXiv:2609.25625微创手术至今大多仍是手工完成的:医生直接握着腹腔镜器械操作。而一台手术结束,能从中学到的东西也几乎同时结束——内窥镜视频被归档下来,医生双手究竟怎样移动器械,则无从查考。
这种不对称,正是本文的起点。一个学习手术的机器人需要「观测—动作」对,而在外科场景里,这类配对最自然的存在场所,是普通手术中外科医生的双手,而不是远程操作机器人的病例——后者容易录制,却极其稀缺。本文要问的是:在普通手术室里,用外科医生自己器械上采集到的示教,是否足以训练、筛选并部署一个双臂手术策略,并且真的在活体动物上跑起来。
背景与问题
手持腹腔镜器械仍是绝大多数微创手术的默认工具,原因并不是没有机器人可选,而是器械化的替代方案昂贵、且未必更好。这对机器学习带来的后果相当严重:一台手术常规留存下来的唯一记录,就是内窥镜视频。视频能看到组织,也能看到器械,却无法直接给出策略模仿所需要的器械位姿与钳口状态。仅凭视频反推这些状态并不可靠,而本文的前提是:与其从外部推断,不如让器械自己带上传感器。
核心创新
真正承重的设计有三个:
- 一体化的器械状态记录器。 记录器卡在标准腹腔镜器械的杆上,依靠惯性传感器、飞行时间传感器和霍尔传感器恢复器械的位姿与钳口状态,手术室里不需要任何外部相机或追踪器。这正是让「日常手术可被记录」成立的关键:除了把记录器装上,现有临床流程不需要任何改动。
- 做过延迟对齐的观测—动作配对。 流水线逐一测量每个传感器通道相对机器人真值的延迟,在把观测与动作配对之前先对齐各通道。这一环听起来不起眼,却是承重的——采样率与延迟各不相同的异构传感器,如果不做对齐,产出的训练数据会在时间上悄悄错位。
- 机器人同时只是时钟与执行者。 机器人是传感器标定的时间基准,也是执行手术的那一方,但它不采集任何示教。每一个训练样本都来自人类外科医生的双手。
在活体数据训练之前,策略的设计是通过一个物理仿真器的闭环 rollout 来筛选的,而该仿真器由一只离体兔阑尾的深度图重建而来。策略骨干为微调后的 DINOv3,接扩散策略头。
结果
- 示教规模: 从四只活体兔子上采集了 849 条活体示教。
- 部署: 重训后的策略被部署到另外四只活体兔子上,且电外科设备处于激活状态。
- 结果: 在由外科医生选择手术阶段的前提下,策略在四只动物中的三只完成了阑尾切除。
- 公开产物: 两套示教数据集均对外发布,以支持后续手术机器人学习研究。
这些数字的具体性值得留意。这不是体模研究,也不是尸体研究:策略在活体动物上、在能量器械处于激活状态下被执行,并且在其中大多数身上完成了整个术式。
局限
最显眼的局限是「四只中的三只」——摘要没有解释第四只发生了什么。活体组织上的失败模式,恰恰是落地团队最需要的细节,论文并未刻画。其次,手术阶段是由外科医生选择的:策略并不自主覆盖整个术式,而它对阶段边界判定错误的鲁棒性也没有报告。第三,来自四只动物的 849 条示教属于小规模、单中心量级的数据,因此跨外科医生、跨解剖结构、跨组织状态、跨器械选择的泛化,乃至动物到人的迁移,都尚未确立。第四,用于设计筛选的仿真器只由一只离体兔阑尾的深度图重建,作为代理是狭窄的,由它得出的结论应当视作设计指导而非验证。第五,标定链路依赖机器人在场作为真值,这在机器人执行部署中是成立的,但无法直接迁移到纯人工病例。最后,摘要没有给出与遥操作或替代策略的对比,也没有给出组织交互的安全性量化。
行业启示
战略要点在数据,而不在灵巧度。手术自主化的瓶颈是示教数据,而示教数据的瓶颈,是「必须有机器人病例才能采集」这个假设。一枚能融入日常临床流程的卡装记录器,把这个假设去掉了:任何一台腹腔镜手术都可以成为候选训练回合,而那间手术室本来就要被使用。数据问题由此从「购买机器人机时」变成了「给既有病例量装上传感器」。
对手术机器人领域的团队来说,更值得琢磨的是这里的推进顺序。这组作者不是先有策略再去找数据,而是先造器械状态记录器、用机器人验证其标定,再用重建出的仿真器做廉价的设计筛选,最后才投入活体训练与活体部署。并且两套数据集都公开了——在一个长期以数据集为护城河的领域里,这是一个刻意的选择。
诚实的定位是:这仍是临床前工作——四只中的三只、外科医生提供阶段边界、没有基线对比。但它证明了该领域最难证明的那件事:仅凭外科医生自己器械上的运动训练出的策略,可以带着电外科设备在一只活体动物身上把一个双臂术式做到完成。这件事能否跨过人类解剖、多外科医生与监管审查这几关,是下一个问题——而现在,它已经是一个值得问的问题了。