DataFarm:让 LLM Agent 顶替遥操作员,单条数据 0.8 美元
DataFarm 只向编码 Agent 提供一个目标场景下的机器人标定片段,就让它把整个任务在仿真里重建出来:写场景、写专家控制器、写成功判据;再用视频模型把每次 rollout 渲染成照片级的多视角视频,并附上仿真器给出的精确动作标签。只用这套数据训练的策略在五个真机任务上追平了遥操作数据训练的版本,在未见过的桌布与彩色光照下则明显更稳,论文给出的边际成本约为每条 0.8 美元。
原文 · arXiv:2611.05320机器人学习有一个模型架构解决不了的成本问题。模仿学习要演示,演示要机器人和人,而这两样都贵。一个任务往往要吞掉数周遥操作,策略才勉强能上线;换一个新任务,计时重新开始。对已有数据集做筛选和整理只能在边际上改善,因为数据本身的钱早就花掉了。
DataFarm 换了一个问法:能不能让编码 Agent 完全接过遥操作员的活,只不过它不在真机上干,而在仿真里干?
核心创新
人类输入只剩一个标定片段。 Agent 会收到一条数据需求和目标场景下的一个标定 episode,然后据此在仿真器里重建任务:写场景、写一个能解出任务的专家控制器、写一个判定 rollout 是否成功的判据。这是整套方法最关键的一次押注——它不去从像素里学策略,而是让系统生成一个能免费产出真值动作的程序。
专家住在仿真里,标签就是精确的。 每条 rollout 都自带完美动作标签、完美同步的多路相机视角,以及确定性的成功信号。不需要人工标注,不需要用逆动力学模型去猜动作,也不存在多视角之间的时间戳漂移。合成数据通常最大的软肋是”长得不像真实传感器画面”,这一块被单独处理。
视频模型负责补上视觉差距。 每次仿真 rollout 都由一个以标定片段真实图像为条件的视频模型重新渲染。关键在于所有相机视角是一起生成的,因此多视角画面在几何上保持一致,而不是把几张各自幻想的帧拼起来。产出的数据是”可直接上真机”的形态:同步视角加动作标签,拿去就能训策略、就能部署。
准入审核是显式的。 独立评审模型会先认证专家控制器,再认证每一条渲染出来的 episode,通过了才允许进入训练集。这一点比听上去重要。一个能生成无限条数据的流水线,也能生成无限条看起来很像样的垃圾;如果没有准入闸门,失败是静默的——策略在一堆自信的胡说八道上完成了训练。
实验结果
最核心的对比在五个真机任务上。只用 farm 数据训练的策略,100 次试验成功 93 次;用同等数量遥操作 episode 训练的策略是 84 次。零真机小时数追平遥操作,本身已经是很强的结果;更有意思的是鲁棒性那一组数字。换成未见过的桌布和彩色光照后,farm 数据训练的策略仍保持 87 次成功,遥操作数据训练的策略掉到 46 次。
这个差距是全文最可信的证据,因为它指向机制而不是榜单。用真实标定图像做条件、并随机化视觉上下文来渲染每条 episode,效果接近一种很强的数据增强,策略学到的是任务本身而不是桌布。而单一外观下采集的遥操作数据做不到这一点。
成本核算在这类文献里罕见地具体:每个任务约 21 美元的 API 费用用于自适应,5 美元的渲染合约,之后每增加一条 episode 约 0.8 美元,涵盖仿真、渲染与审核。一小时三视角数据全算下来约 107 美元,略低于论文引用的中国遥操作报价 117 美元,也远低于北美单纯人力成本 290 美元的说法。
局限性
最明显的一条:这仍然是仿真。视频模型能渲染出逼真的桌布,但渲染不出仿真器没有建模的接触物理。凡是力控、柔顺、形变、打滑占主导的任务,恰恰是 sim-to-real 差距最大的地方,而论文评估的五个任务并未被描述为接触密集型。
评审模型是单点故障。如果准入模型被系统性地骗过——渲染伪影,或者一个钻了仿真器漏洞的专家——流水线会开开心心地批量生产带认证标签的坏数据。论文没有报告评审的误接收率审计。
成本是按 API 价格算的,而 API 价格会变。0.8 美元也不含搭建和维护流水线的工程人力,并且假设标定 episode 本身便宜——这个假设只在”相对于完整遥操作”的意义上成立。最后,五个任务的样本偏小,尤其是鲁棒性那组结论,需要更多环境和更多物体类别来支撑。
行业影响
对任何在跑数据业务的人,真正值得注意的变化是成本落在了哪里。遥操作的成本随 episode 数量和真机小时线性增长。这套流水线的成本是任务搭建费加一笔很小的单条费用,也就是说任务一旦写好,边际数据几乎免费。这会把最优策略从”精打细算地采”改成”多写任务变体、批量生成”。
它也改变了谁能参与竞争。没有机械臂车队的实验室,只要能精确描述任务、做一次标定,就能生成大规模带标签数据集。稀缺能力变成了任务形式化——写场景、写专家、写成功谓词——这已经非常接近软件工程,而不是机器人运维。
给采用者的提醒是:不要把生成数据当成即插即用的替代品。把它用在视觉与几何变化占主导的任务上,保留一套渲染器永远碰不到的真机评测集,并且在相信标签之前先审计评审模型。