StenoVLA-3D：在消化道狭窄中导航的三维感知 VLA
在狭窄段自主导航的内镜，要求策略模型能从纹理贫乏的单目观测中预测动作、做出安全的控制决策，并在病灶离开视野后仍然保留证据。现有 VLA 主要依赖外观与短期上下文，几何接地与整段级报告能力有限。StenoVLA-3D 把点图经由「几何门控融合」注入 Cosmos-Reason 2 主干，并引入一条时序状态分支来建模通过进度；主干在输出动作的同时给出接地的推理，专用头则负责估计狭窄形状并生成最终的病灶报告。作者同时发布了 EndoCausal——一个带病灶标注、动作与时序接地推理的整段级数据集。在 40 段留出测试 episode 上，语义准确率 95.2%、动作准确率 83.4%；在实体 3 自由度内镜上，食管与结肠体模各 36 次试验的任务成功率为 88.9% 与 77.8%，明显优于所评测的基线。
原文 · arXiv:2609.24187内镜自主导航和工厂里的机械臂完全不是一回事。观测是纹理贫乏的单目图像，狭窄段能不能通过要靠几何而非外观判断，控制必须偏保守，而且病灶离开视野之后仍要能被回溯——这要求模型同时具备几何接地、安全控制和整段级记忆。
背景与问题
现有 VLA 强在语义理解与指令跟随，但主要依赖视觉外观与短期上下文，因而在两个方向上受限：一是缺少三维几何接地，在纹理贫乏的内镜画面里尤其致命；二是缺少「一段操作结束后给出结论」的能力，而这恰恰是临床记录所要求的。论文把问题拆成三件事：从贫乏观测里预测动作、做出安全的控制决策、以及在病灶离开视野后仍保留证据。
核心创新
- 几何门控的点图融合。 把点图（point-map）通过学到的几何门控机制注入 Cosmos-Reason 2 主干，让策略在推理时就带上三维结构信息，而不是只从 RGB 外观去猜几何。
- 时序状态分支。 单独一条分支建模「通过进度」，使模型知道自己在这段狭窄中走到哪一步，从而支撑前进、回撤这类需要全局进度判断的决策。
- 推理与动作同源，专用头分工。 主干在预测动作的同时输出接地的推理（为什么这么走），狭窄形状估计与病灶报告由专用头完成，把「控制」与「记录」解耦在同一个框架内。
- EndoCausal 数据集。 一个整段（episode）级数据集，包含病灶标注、动作序列，以及带时间接地的推理。
结果
- 留出测试： 40 段测试 episode 上语义准确率 95.2%、动作准确率 83.4%。
- 实体内镜： 在 3 自由度实体内镜上，食管体模任务成功率 88.9%、结肠体模 77.8%，各 36 次试验，明显优于所评测的基线。
局限
摘要没有说明基线具体是谁、领先幅度多少，也没有给出病灶报告的评测标准——报告由谁评判、是否经临床医生审核，都没有交代。实体实验只在体模上完成，每个体模 36 次试验，谈不上统计充分，距离动物实验或人体还很远。数据集 EndoCausal 的规模、标注来源与是否公开同样未提及。此外，点图从哪里来（单目深度估计，还是内镜自带的三维传感）决定了这套方法究竟是「换传感器」还是「换模型」，摘要没有说清，而这直接影响落地成本。
行业启示
手术机器人是少数几个「模型性能直接对应临床价值」的机器人细分领域，但它同时被监管与数据两头夹住。StenoVLA-3D 释放了两个值得注意的信号：一是把几何接地放进策略主干，而不是留给后处理——在纹理贫乏的内镜场景里这几乎是必需的；二是把「整段级证据留存」写进模型输出，这与临床对操作可追溯的要求天然一致。对做手术机器人产品的团队而言，真正可迁移的能力不是 95.2% 这个数字，而是「几何 + 时序进度 + 结构化报告」这一套输出契约，因为它恰好也是监管最看重的部分。