让代码智能体去造仿真:RoboWorld 的 25 套场景与 200 个强化学习环境

· 编辑团队 estimated
仿真 代码智能体 强化学习 VLA 基准测试

这篇论文把"造仿真"本身当成代码智能体的任务:按美国 GDP 数据挑选有经济价值的体力工作,用一套好仿真、好任务的定义加上对抗式创建—审核回路,做出 25 套仿真、25 个测试环境和 175 个训练环境。前沿模型在所有测试任务上平均奖励只有 0.06;论文随后给出上下文学习、特权教师、自辅助学习与代码策略生成示范四条改进路径,并用于训练 π0.5 这类 VLA。

原文 · arXiv:2610.40565

机器人学习这几年最不对称的一件事,是策略侧和环境侧的进展速度。策略侧每年都有新架构、新预训练目标、新数据配方;环境侧却仍然依赖少数几个大团队手工搭出来的仿真场景。想训练一个能在任意厨房里干活的模型,需要的是成千上万个物理上说得通、任务上说得清的场景,而不是又一个操作基准。

作者把这件事的因果关系挑明了:造仿真本质上是一项写代码的工作。既然写代码的能力在快速提升,那么仿真供给的瓶颈就应该随之下移。问题只在于,怎么让一个代码智能体造出来的东西既真实、又可评测。

核心创新

按经济价值挑选任务,而不是按研究趣味。 场景的选择依据是美国 GDP 数据中对应用人规模的体力工作,这让整套环境偏向真实的劳动结构,而不是研究者顺手的那几类抓取。这个选择标准看起来朴素,但它决定了基准能不能回答”机器人到底该先学会干什么”。

把”什么是好仿真”写成可检查的规范。 论文明确给出了好仿真与好任务的定义,再用一个对抗式的创建—审核回路,让每个生成的场景与任务逐条对照规范被检查。这一步是把生成式流程从”能跑就行”拉到”可以拿来当评测”的关键:没有审核,代码智能体很容易产出视觉上像、物理上一塌糊涂的场景。

RoboWorld:25 套仿真、25 个测试环境、175 个训练环境。 难度分层,训练与测试分离,形成一个可以长期使用的 RL 环境集合。

四条让前沿模型变强的路径。 重复尝试之间的上下文学习;读取仿真器状态的特权教师,在上下文中把知识教给学生;模型从自己的特权经验中做自辅助学习;以及用代码策略在不同场景里生成示范,去训练 π0.5 这类视觉—语言—动作模型。

实验结果

最能说明问题的是一个偏负面的数字:即便是最强的前沿模型,在 RoboWorld 的每一个测试任务上都失败,平均奖励只有 0.06。 这不是基准设计得太难,而是说明现有模型在”需要理解物理过程并规划动作”的场景里几乎没有可迁移的能力。

论文报告上述四种改进方式都带来了实质性提升。值得注意的是它们共同的形态:都不是改模型结构,而是改变模型与环境的交互方式——多试几次、给一个能看状态的老师、或者用代码生成大量示范。这与”造仿真”的动机是一致的:当环境变得便宜,提升就可以来自交互设计,而不是参数规模。

论文同时开源了流水线、RL 环境和基准。

局限性

摘要没有给出各条改进路径的具体增益幅度,只有”substantial”这样的定性描述,因此无法判断哪一条最划算。25 套仿真覆盖的是 GDP 加权的体力工作,这个口径偏向美国经济结构,对农业、建筑、护理等场景的代表性取决于权重如何落地,摘要未展开。GDP 加权还有一个隐含偏差:经济价值高不等于机器人技术可行,选择过程如何排除当前不可行的任务,论文没有说明。此外,代码智能体生成的仿真在多大体量上通过了物理真实性审核,缺少与手工仿真在迁移效果上的对照实验——而这恰恰是”智能体造仿真”最需要被验证的一环。

行业影响

对做具身智能的公司,这篇论文的价值主要不在 RoboWorld 本身,而在它示范的工程范式:把场景供给变成一条可以持续产出、可以对抗式审核的代码流水线。人工建模一个高质量操作场景的成本以人周计,而这条流水线一旦跑通,边际成本就变成推理成本。

第二个可迁移的点是评测设计。一个让所有前沿模型都拿到 0.06 平均奖励的基准,短期内不适合当排行榜,但非常适合当内部诊断工具——它明确告诉你,当前能力与”在经济上有意义的体力工作”之间还差多远。

第三是那四条改进路径的启示:在仿真便宜的世界里,性能提升可以来自上下文、来自特权信息蒸馏、来自自动生成的示范,而不必等待更大的模型。对预算有限、又想在真实任务上追赶的团队,这是成本结构上更现实的方向。