MedVLA:用「函数约束执行」把精密医疗操作成功率从个位数拉到 95%
精密医疗机器人需要在严格的安全、可解释性与执行约束下做自适应决策。视觉语言动作(VLA)模型虽然展现出很强的多模态推理能力,但其「连续动作生成」的范式并不适合精密医疗任务——在这种场景里,可靠的闭环运行往往还依赖非动作类的系统功能调用。MedVLA 因此提出一个层级式框架,把高层多模态推理与底层「函数约束执行」耦合起来,并配套一条可扩展的多智能体流水线,用于生成面向技能的思维链(CoT)数据以支撑结构化训练。该框架构建在多种多模态大模型主干之上,微调后均取得一致提升。在相同初始条件下进行的 100 次柔性电极植入闭环试验中,MedVLA 达到 95.0% 的任务成功率,在准确性、稳定性与安全性上显著优于代表性 VLA 基线(OpenVLA 8%、pi0 15%)。
原文 · arXiv:2609.25756通用机器人操作近两年最热的方向,是把视觉语言模型变成策略:让它看图、读指令、直接输出动作。这条路在开放环境里奏效,因为它换来了泛化。但把它搬到精密医疗场景,会发现泛化的价值被安全、可解释性和执行约束压过去了——在这里,「大多数时候对」等于「不能用」。更根本的问题是,手术室里一次可靠的操作流程,本来就不只是「输出动作」:它包含对系统状态的查询、对器械功能的调用、对安全边界的显式检查。一个只会连续输出关节角或末端位姿的策略,天然装不下这些东西。
背景与问题
精密医疗机器人要求策略在严格的约束下做自适应决策,并且决策过程要可解释、可审计。当前 VLA 的主流做法是把动作当作连续量回归或生成,这让「非动作类的系统功能调用」无处安放:要么被硬编码在策略之外,要么被隐式地学进动作里,两者都破坏了可解释性。论文因此把问题重新定义为:如何让高层多模态推理与底层受约束的执行分工协作,而不是让一个大模型同时承担两件事。
核心创新
MedVLA 是一个层级式框架,核心是「高层推理」与「底层函数约束执行」的解耦:
- 高层多模态推理。 负责理解场景、任务与当前状态,产出结构化的技能级决策。
- 底层函数约束执行。 把决策映射为受约束的函数调用与执行,使闭环运行中可以显式地包含非动作的系统操作,从而保证安全与可解释性。
- 可扩展的多智能体数据生成流水线。 用于生产面向技能的思维链(CoT)数据,为结构化训练提供监督。这一点很关键:医疗领域的高质量操作数据极其稀缺,靠人工标注难以规模化。
框架被构建在多种多模态大模型主干之上,微调后均获得一致提升——说明这是执行范式的改造,而非某一个模型的调参红利。
实验结果
- 在相同初始条件下进行了 100 次闭环柔性电极植入试验。
- MedVLA 取得 95.0% 的任务成功率。
- 对比代表性 VLA 基线:OpenVLA 8%、pi0 15%;MedVLA 在准确性、稳定性与安全性三方面均显著领先。
局限性
摘要没有说明「函数约束执行」所覆盖的函数集合是人工定义还是自动发现,这一点直接决定框架迁移到新术式时的工程成本。100 次试验全部来自柔性电极植入这一单一任务、单一平台,因此 95% 的成功率能否外推到缝合、切割、多器械协同等风险更高的操作尚无证据。对比基线(OpenVLA、pi0)都不是为医疗场景定制的通用模型,差距中有一部分可能来自任务与执行范式的错配,而非方法本身;缺少与专用医疗机器人系统的对照,使得「通用 VLA + 改造执行层」相对传统方法的优势仍不明确。此外,多智能体生成的 CoT 数据质量如何评估、错误标注会如何传导到策略,也未被讨论。最后,论文没有报告推理与执行延迟、失败模式分布,以及系统在异常状态下的降级行为——而这三项恰恰是临床评估的核心。
行业影响
这条路的行业含义,是给医疗机器人厂商提供了一种「不推倒重来」的升级方式:与其重新训练一个医疗专用大模型,不如改造执行层,把安全约束与系统功能调用显式地表达出来,再让通用多模态模型只负责它擅长的高层推理。95% 对 8% / 15% 的对比之所以重要,不是因为具体数字,而是因为它说明瓶颈不在模型规模,而在执行范式是否匹配临床约束。落到产品上,这直接对应三件事:可审计的操作链路(每一步都可以被记录和复核)、可验证的安全边界(约束在执行层显式表达,而不是隐式学出来的)、以及可复用的数据生成能力(用流水线弥补医疗数据稀缺)。真正决定它能否走出实验室的,仍是那几项论文尚未回答的问题——在更多术式上的泛化、在异常情况下的可靠性,以及监管层面如何认证一个「推理来自通用大模型、执行受函数约束」的系统。