VLALagBench:100 毫秒推理延迟就能让成功率腰斩,VLA 部署得先算这笔账

· 编辑团队 estimated
VLA 推理延迟 系统与算法协同设计 异步执行 机器人部署

VLALagBench 是一个系统研究 VLA 推理延迟如何影响任务成功率的基准,覆盖任务类型、物体运动速度、同步与异步执行方式以及多种 VLA 策略。核心发现是:仅仅 100 毫秒的推理延迟,就能让移动目标上的成功率接近腰斩,而敏感程度随任务和策略大幅变化。异步执行通过让推理与动作执行重叠,能挽回部分损失,代价是更高的推理请求频率。作者进一步用少量标定数据拟合出成功率预测模型,跨策略的均方根误差仅 5.7-7.8%,可用于在给定延迟和单机吞吐下选择最合适的算法配置。

原文 · arXiv:2611.03103

VLA 模型的论文通常这样组织:提出一个更大的模型或更好的训练配方,在若干基准上刷新成功率,再补一句”推理频率满足实时要求”。这句话往往没有依据。真实世界里,机器人在策略推理的那几十到几百毫秒里仍在运动,物体也在动;策略输出的动作,是针对一个已经过时的观测算出来的。

延迟到底值多少成功率,此前缺少系统的测量。VLALagBench 补的就是这块。

核心创新

把延迟当作自变量,而不是实现细节。 基准在受控条件下系统性地改变推理延迟,同时覆盖四类因素:任务类型、目标物体的运动速度、执行方式(同步还是异步)、以及具体的 VLA 策略。这样分解之后,“延迟敏感”不再是一句笼统的判断,而可以落到”哪类任务、在多快的目标上、对哪个策略、损失多少”。

同步与异步执行的对照。 同步模式下,策略必须算完才下发动作,机器人有一个明显的停顿;异步模式让推理与上一段动作的执行重叠,用更频繁的推理请求换取动作流的连续性。这两种模式在真实系统里都被广泛使用,但此前缺少同一套任务、同一批策略下的公平对比。基准给出了这个对比,也量化了异步的代价——请求数上升。

跨策略、跨任务的敏感度差异分析。 结果显示敏感度差异很大,论文把这归因于任务对精度和连续运动的不同要求。这一点很重要:它意味着延迟不是可以通过”统一加速推理”一次性解决的问题,某些任务天生就对延迟更敏感。

从少量标定数据外推成功率。 作者拟合了一个经验模型,用有限的标定数据预测任务成功率,跨多种 VLA 策略的均方根误差为 5.7-7.8%。给定推理系统的延迟和单机器人的吞吐,这个模型可以直接用来选算法配置:是上更大的模型、还是提高控制频率、还是换成异步——这是一个明确的工程权衡,而不是凭感觉。

实验结果

  • 100 毫秒的推理延迟,可使移动目标上的任务成功率接近减半。
  • 敏感度随任务类型、目标速度和策略显著变化。
  • 异步执行能挽回一部分损失的成功率,代价是更频繁的推理请求。
  • 成功率预测模型的均方根误差为 5.7-7.8%。
  • 基准覆盖多种 VLA 策略与同步/异步两种执行模式。

“接近腰斩”这个结论需要注意适用条件:它针对的是移动目标。对静止目标,100 毫秒通常不致命,因为观测虽然过期,但场景没变。真正被延迟惩罚的是动态场景——传送带上的工件、走动的人、被抛出的物体。这也解释了为什么敏感度在不同任务间差异巨大。

预测模型的价值要分开看。5.7-7.8% 的 RMSE 对于”要不要上这个配置”的决策够用,但对于”这个配置能不能达到 99% 成功率”这类问题还不够。它更像一个规划工具,而不是验收工具。

局限性

基准本身是测量工作,不提出新方法;它能告诉你延迟有害,但不能直接告诉你怎样把延迟降下来。评测主要在受控设定下进行,真实系统中延迟往往不是常数——会有抖动、会有长尾、会随负载变化,而摘要没有说明是否建模了这种分布特性。异步执行虽然挽回了成功率,但请求频率上升会推高功耗和多机部署时的服务端压力,这部分成本没有被折算进结论。此外,5.7-7.8% 的预测误差是在已有策略集合上验证的,遇到架构差异更大的新模型,外推能力未知。

行业影响

对准备把 VLA 落地的团队,这篇论文提供了一个部署前该做的计算:先量出你的推理栈在目标硬件上的延迟分布,再用这类模型估算成功率损失,最后决定模型规模、控制频率和执行模式。顺序反了——先选模型再看延迟——通常会在集成阶段返工。

对芯片与系统厂商,这是一个明确的信号:机器人负载的瓶颈正在从训练转向推理的确定性。平均延迟不是关键指标,尾延迟才是,因为一次超时会直接表现为一次失败的抓取。

对算法团队,异步执行的结果值得重视。它说明在同等算力下,调度策略可以买回一部分被延迟吃掉的成功率,而且不需要重新训练模型。这是性价比最高的一类优化,却最少被写进论文。