Steertuning:用五段人类演示、五分钟学会新任务
当前机器人学习配方需要海量演示,才能得到稳健、自适应的策略,这与「任务和环境不断变化」的真实部署格格不入。Steertuning 分两部分:其一,在 100 小时、稠密标注的自视角人类交互数据上预训练一个 4 亿参数的扩散策略——这段预训练让后续步骤耐受背景差异,并在新任务上实现空间与物体泛化;其二,给定新任务的 5 段演示,仅微调 2 分钟(2000 次更新),并在反向采样中用「观测最接近部署环境」的那段演示引导策略动作。配合一条面向本体迁移的数据流水线,它在 12 种新环境、12 个任务上取得 71% 成功率,环境从实验室延伸到新住宅的厨房,而整条流程从采集到部署不足 5 分钟。
原文 · arXiv:2610.18711学会一个新任务,通常意味着又启动一个数据采集项目。这篇工作主张:也可以只是五段演示,加两分钟训练。
背景
当前机器人学习的配方,需要海量机器人演示才能得到稳健且自适应的策略。这与真实部署的处境相悖:任务和环境一直在变,没有团队承担得起每换一次场景就重做一次大规模采集。于是问题变成——从一个足够宽的基础出发,学一个新任务到底需要多小的数据量、多短的算力。
核心创新
Steertuning 由两部分组成。其一,在自视角人类数据集上预训练一个 4 亿参数的扩散策略,该数据集包含 100 小时、稠密标注的随机交互;正是这段预训练,让后续的少样本步骤能够耐受背景差异,并在空间与物体层面泛化。其二,给定新任务的 5 段演示,只需微调 2 分钟(2000 次训练更新),并在反向采样过程中,用「观测与部署环境最接近」的那段演示来引导策略动作。此外,一条面向本体迁移的数据处理流水线,把人类预训练数据与机器人衔接起来。
结果
- 在 12 种新环境、12 个任务上取得 71% 成功率,环境从实验室延伸到新住宅的厨房。
- 从为新任务采集数据到机器人策略部署,全过程不到 5 分钟。
- 100 小时人类数据的预训练,是背景鲁棒性与新任务上空间/物体泛化的来源。
- 数据集、模型权重、代码库与机器人视频均计划开源。
局限
71% 是可观但并非满分的结果,摘要也未逐项说明剩余失败的来源。引导步骤假设存在一段「观测接近部署环境」的演示;一旦没有这样的演示,机制便无从引导。这 12 个任务并未按时长或接触复杂度加以刻画,因此该配方能否适用于长时序、力敏感的作业,仍是未知。最后,成本并未消失,只是转移了:100 小时、稠密标注的预训练语料才是「两分钟微调」的前提,而构建它是笔大额的前期投入。
产业启示
真正关键的数字是「五分钟」。它把机器人部署的经济学,从「每个任务数周采集」重写成「一杯咖啡的时间」,也让瓶颈从单任务的演示数量,转移到一份共享的预训练语料加上一道轻量引导。用最接近的演示来引导,是一种廉价且对部署友好的环境漂移吸收方式——不必重训策略,恰是现场工程师能执行的操作。对家庭与厨房操作这类「任务与环境多样性即核心难点」的场景,这已经接近一款产品所需要的形态。