InterEvolve：面向人形全身操作的任务奖励程序测试时演化
一个从未为某个任务训练过的控制器，其实往往已经握有该任务所需的大部分能力。针对人形全身操作（loco-manipulation），InterEvolve 把测试时演化当成一个接口设计问题来处理：只要给规划层一个足够有表达力、又足够可执行的接口去对接一个通用控制器，执行反馈就能引导系统去搜索新的行为。它的第一个组件是一个物体感知的前向—后向（forward-backward, FB）行为基础模型：在被冻结的身体先验之上叠加物体残差，就能在测试时把一个关于身体或物体的新奖励转化为全身操作行为。第二个组件把任务表达为「奖励程序」——带完成条件与可调常数的分阶段奖励；一个 LLM 智能体借助执行反馈与一个已验证程序库在上下文中修改程序结构，同时由数值优化器调整其中的常数。每个候选方案都会被放到并行的仿真场景中验证，通过后才被保留，于是程序不断发现新的方式去诱导、复用与组合控制器已有的运动能力。人工设计的奖励会让基础模型的大量操作能力闲置，而演化出的程序把它们释放出来，有时甚至给出全新的策略；它能为多种任务、复杂场景与长程组合生成行为，并在一台真实的 Unitree G1 上、仅凭第一视角机载感知自主运行。
原文 · arXiv:2610.02196一个人形控制器很少需要从零学习新任务——它通常已经握有那份运动能力，真正的难题是写出一条能够触达它的奖励。InterEvolve 让这条奖励变成机器可以自己改写的东西。
背景
人形全身操作难以规模化，是因为过去每来一个新任务，往往就意味着重训一次控制器，而奖励工程正是这个循环里的瓶颈：人写的奖励脆弱、依任务而定，而且很少能点亮一个通用控制器的全部能力。本文的前提是：一个通用控制器其实已经包含新任务所需的大部分东西，而这份潜在能力只有在一种特定的规划—控制接口下才可被触达——它既要足够有表达力，能刻画富接触、多阶段的交互，又要足够可执行、可度量，以至于执行反馈能够反过来引导规划。
核心创新
InterEvolve 用两个组件搭出这个接口。第一个是物体感知的前向—后向（FB）行为基础模型：在被冻结的身体先验之上叠加物体残差，就能在测试时把一个关于身体或物体的新奖励转化为全身操作行为，从而在不重训的前提下复用控制器。第二个组件把任务表达为「奖励程序」——带显式完成条件与可调常数的分阶段奖励。一个 LLM 智能体借助执行反馈和一个已验证程序的技能库，在上下文中修改程序结构；同时数值优化器负责调优其中的常数。关键在于，每个候选都会先放到并行的仿真场景中验证通过才被放行，于是搜索得以持续探索新的方式去诱导、复用与组合控制器已有的运动能力，而不会漂移成一堆无法验证的尝试。
结果
- 人工设计的奖励会让 FB 模型的大量全身操作能力闲置，而演化出的程序能够释放它们，有时甚至给出全新的策略。
- InterEvolve 能在仿真中为多种任务、复杂场景与长程组合生成行为。
- 演化出的技能可以在真实的 Unitree G1 上，仅凭机载第一视角感知自主运行。
- 对每个候选在并行仿真场景中逐一验证，是这套搜索可靠性的核心。
局限
摘要中的证据偏定性：增益被描述为「释放了闲置能力」「能为多样任务生成行为」，却没有给出正面对比的数字、成功率或基线表格，因此相对人工设计奖励的改进幅度在此并未被量化。整个循环仍锚定在仿真中，尽管在真实 G1 上有板载执行，摘要并未报告做了多少次物理试验，也没有说明当仿真与硬件出现偏差时演化出的程序表现如何。随任务复杂度增长的可扩展性、并行场景验证候选的成本，以及 LLM 改写出的奖励结构是否可能固化仿真环境中的伪影而非任务本身的意图，都仍是开放问题。
产业启示
对做人形平台的团队而言，真正的收获是这个重新框定本身：如果通用控制器已经握有能力、瓶颈在奖励，那么杠杆就从重训流水线转移到奖励程序的搜索与验证基础设施上。把奖励结构当成一件可编辑的产物——由 LLM 提出、由仿真器把关——是一条通往任务长尾的可信路径，尤其适合那些小到或杂到不值得专门开一次训练的任务。它对「每个候选都要在并行场景中验证」的强调，也点出一个现实的成熟度要求：这类测试时演化的价值，与仿真吞吐量、以及仿真对接触的保真程度直接成正比。拥有 Unitree G1 的团队可以把硬件结果读作一个强信号——这套接口是可以部署的；同时也要注意，摘要把仿真到真实的账留给了后续工作。