Value as Memory：把价值预测当作记忆，让通用机器人策略在真实世界在线进化

一个通用策略在实验室里再强，也只是个起点——真正的考验是它上车之后还能不能继续学。

背景

通用机器人策略的真实世界后训练面临两个纠缠在一起的问题。其一，部分可观测性让动作选择变得有歧义：同样的观测往往对应多种合理动作，策略需要从历史中推断任务进展。其二，离线的后训练方法延迟了来自部署经验的反馈——机器人在真实环境中遇到的失败，要等到一轮训练结束后才能被利用，这段时间里错误会反复出现。要解决这两个问题，既需要一种能压缩历史的状态表示，也需要一条能把在线经验即时转化为策略改进的通路。

核心创新

Value as Memory（VaM）用”价值缓存 + 在线真实世界强化学习”来同时应对。价值缓存把最近的价值预测重新喂回策略，作为任务进展的记忆来条件化动作——控制器因此能”记住”任务走到了哪一步，而不必依赖越来越长的观测历史。在线更新部分，VaM 把三类数据源统一起来：离线示范提供初始的合理行为，离策略干预纠正部署中的明显错误，在策略 rollout 则持续探索并利用稀疏奖励。三者共同构成一个样本高效的适应循环，使系统从离线强化学习热身平滑过渡到在线自主学习。工程上，数据采集与训练并发进行，减少了等待时间。

结果

• 在涉及可变形物体与接触密集操作的长时任务上，价值缓存带来平均绝对成功率 29.4% 的提升。
• 在线自主学习相比匹配的离线训练，进一步带来 32.8% 的提升。
• 相同的梯度预算下，在线调度执行的策略迭代次数是原来的 8 倍，单梯度步的记录时间降低 2 倍以上。

局限

摘要没有披露具体任务数量、失败模式分布，以及不同初始离线数据集质量下的表现差异。稀疏奖励与离策略干预的引入也意味着系统对奖励设计与干预质量存在依赖；摘要未说明真实世界运行时的安全约束与干预触发策略。长时任务的训练成本与实际收敛所需时间同样未被量化。

产业启示

“部署之后还能继续变强”是通用机器人落地最关键的缺口之一：真实环境中的长尾情况无法在实验室穷举，唯一的出路是让机器人从自己的部署经验里学。VaM 的价值在于把这条路径做得足够工程化——价值缓存解决”记不住任务进展”，在线循环解决”反馈太慢”，而并发采集训练则直接压缩了时间成本。29.4% 与 32.8% 的提升说明两处改动都真实有效，8 倍的迭代效率则说明它在算力有限时也可行。对已经部署通用策略的团队来说，这是一份关于”如何把部署现场变成训练现场”的具体蓝图。