离散动作何时能当好连续控制器?挑战机器人基础模型的连续动作范式

· Editorial Team estimated
动作表示 离散化 视觉-语言-动作模型 流匹配 扩散策略 机器人基础模型

当今主流机器人基础模型把动作表示为连续向量,仿佛这是理所应当的。这篇工作直接质问:连续动作参数化真的优于离散吗?作者在仿真与真实硬件上,对单步回归与多步流两类变体、从零单任务与多任务 VLA 训练两种设定下,系统比较了连续与离散策略。结论一致:离散动作预测——即便是最朴素的均匀分箱量化——都能在任务成功率上追平甚至超过连续策略。作者进一步指出,离散策略的瓶颈并非动作精度,而是跨时间与动作维度的乘积分布预测带来的分解误差。配合正确的干预(离散流迭代计算,或用无分类器引导锐化分布),这一弱点可被反转为优势,使策略在预测的动作块内做出更灵敏的动作变化。反之,试图把几何信息显式注入离散策略(如模拟连续流匹配的加噪过程)并不能带来稳定收益。

原文 · arXiv:2610.20429

机器人基础模型几乎都默认动作是连续向量。这篇工作把这条默认设定拿出来,认真检验了一遍。

背景

现代 AI 模型(如大语言模型)预测的是离散 token,而今天主流的机器人基础模型却把动作表示为连续向量。多数工作把这当作理所当然的设计,很少追问:对机器人动作而言,连续参数化是否真的更优?如果离散表示同样可行,那么机器人策略的架构选择,或许并不需要与其它 AI 领域分道扬镳。这正是作者要验证的问题。

核心创新

作者做了系统性的对照实验:在仿真与真实硬件上,比较单步回归与多步流两类变体、连续与离散两种策略,并覆盖从零开始训练的单任务与多任务 VLA 两种设定。在此基础上,作者提出了机制层面的解释:离散策略的挑战并不在动作精度,而在于跨时间与动作维度做乘积分布预测时引入的分解误差。顺着这一诊断,他们展示了两种干预手段——通过离散流进行迭代计算,或用无分类器引导锐化分布——能把这一弱点转化为优势,让策略在预测出的动作块内实现更灵敏的动作变化。此外,作者还检验了把几何信息显式注入离散策略(例如用模拟连续流匹配的加噪过程)的做法,结果并不稳定。

结果

  • 在所有实验设定下,离散动作预测——包括最朴素的均匀分箱量化——在任务成功率上追平甚至超过连续动作策略。
  • 离散策略的瓶颈被定位为分解误差,而非动作精度。
  • 配合离散流迭代计算或无分类器引导后,离散策略能在动作块内更灵敏地改变动作。
  • 显式注入几何信息并不会带来一致提升。

局限

摘要以成功率为主,未披露动作平滑度、抖动或执行能耗等连续控制常用指标,而这些恰恰是”离散能否替代连续”的关键之一。真实硬件实验的规模与任务覆盖面在摘要中未展开,因此结论在长时序、高精度接触任务上的强度仍有待确认。此外,“分解误差”这一诊断虽具启发性,但论文未在摘要中给出可直接套用到新方法的通用修法。

产业启示

如果离散动作足以比肩连续,影响是结构性的:机器人策略不必再依赖一套独立的连续控制设计,而可以复用大语言模型领域成熟的离散建模工具——下一 token 预测、分类器引导、离散扩散等。更低的上手门槛意味着更多团队能直接改造现有的语言模型来输出动作,也意味着推理与部署路径可能被简化。对做机器人基础模型的公司而言,这条结论值得在自家技术栈上复现验证,因为它动摇的正是”动作必须连续”这一默认前提。