重构、练习、走向真实：面向具身智能体的引导式自我改进
让机器人在众多任务上具备可靠能力，通常要耗费大量人力：开发并维护技能、设计奖励、再把感知接入控制。RPG（Reconstruct, Practice, Go Real）是一个在不更新任何模型权重的前提下让机器人执行系统自主改进的框架。它先从离线数据集中识别出系统本就潜藏的可操作能力，再在仿真中构造相关的练习任务；练习过程中，它借助执行反馈、特权仿真状态与可用的数据集视频来诊断失败，据此开发新的可复用符号技能、精修既有技能，并修订自身的系统提示词。跨任务评测会对单个候选改动以及合并后的修订逐一放行，只有通过才予以保留。测试时，一个多模态大语言模型依据最终的系统提示词与技能库来协调感知与机器人控制。在 22 个操作任务的留出初始化上，成功率从第一轮练习后的 28.6% 提升到第十五轮后的 95.0%，超过所评测的全部基线，包括 ASPIRE（75.5%）与由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。在统一的标定与硬件适配流程之后，冻结的系统在全部 30 次物理试验中成功，三个任务各十次。
原文 · arXiv:2610.02204大多数机器人系统只有在别人重新训练它时才会进步。RPG 问的是另一个问题：一个系统能否重构它已经掌握的东西、为自己设计练习，并且在某个改动真正赢得检验之前拒绝将它保留下来？
背景
让机器人在众多任务上都具备可靠能力，人力成本很高：技能要有人编写与维护，奖励要有人设计，感知还要与控制对接。这些环节通常每一步都需要工程师参与，而且一旦任务分布发生偏移，结果往往很脆弱。如果一个系统能够利用它已经拥有的数据来改进自己的执行栈、且完全不触碰模型权重，那就能显著压低这套成本，并让同一个冻结的模型覆盖更长的操作任务长尾。
核心创新
RPG 把自主改进组织为三个动作。第一步是「重构」：它扫描一个离线操作数据集，识别出系统已经能够表达的能力，并围绕这些能力在仿真中构造相关的练习任务。第二步是「练习」：它利用执行反馈、特权仿真状态以及可用的数据集视频，诊断尝试为何失败，并据此开发新的可复用符号技能、精修既有技能、修订那个支配技能如何被选择与排序的系统提示词。关键的纪律是跨任务评测——任何候选改动或合并后的修订在被保留前，都要先在多个任务上接受检验，于是系统积累下来的只会是能泛化的改动，而不是对练习场景的过拟合。测试阶段，一个多模态大语言模型读取演化后的系统提示词与技能库，协调感知与机器人控制；而底层的模型自始至终保持冻结。
结果
- 在 22 个操作任务的留出初始化上，任务成功率从第一轮练习后的 28.6% 提升到第 15 轮后的 95.0%。
- 超过所评测的全部基线，包括 ASPIRE（75.5%）与由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。
- 在统一的标定与硬件适配流程之后，冻结的系统在全部 30 次物理试验中成功，三个任务各十次。
- 技能构建、技能精修与提示词修订都在不更新模型权重的情况下完成。
局限
整个改进循环都活在仿真里：练习、诊断与放行都依赖硬件上并不存在的特权仿真状态，因此仿真保真度是决定这些增益能迁移多远的一级依赖。物理结果真实但有边界——只有三个任务上的 30 次试验，而且要在一套显式的标定与硬件适配流程之后才成立；「30 次物理试验全过」这个数字应当与该流程一并解读，而不是当作即插即用的迁移。评测覆盖 22 个仿真任务加 3 个物理任务，摘要没有报告失败案例、算力开销，也没有说明当符号技能抽象面对难以离散化的连续、富接触控制时会如何表现。当练习任务与部署任务错配时，系统会继续进步、进入平台期还是退化，文中也并未刻画。
产业启示
对从业者而言，真正有意思的主张不是某个单一数字，而是这个循环的形态：一个冻结的模型加上一套会演化的技能库与提示词，直接挑战了「每一次能力提升都需要一次微调」的直觉。这会重新分配改进预算的去向——钱和精力应当投向仿真保真度、数据整理与严格的跨任务评测台，而不是为权重更新烧 GPU 时间。手上已握有大规模离线操作数据集的团队尤其应当注意：RPG 把这些数据集当作自造练习的原材料，而非被动的训练输入。对特权仿真状态与硬件适配流程的依赖，也正是它诚实标出的成本线：这个循环越是倚重仿真真值，仿真到真实的落差就越会成为它能发现之物的天花板。