WholeBodyMem：人形机器人操作前，先把「看到过什么」记住

人形机器人做全身移动操作时，环境并不配合”当前帧”这个假设。机器人转身去拿工具，目标物体滑出视野；走近桌子的过程中，原本放在台面上的杯子被别人挪走；弯腰时相机被自己的手臂挡住几秒。这些信息在策略需要做决策的那一刻已经不在画面里了，而主流全身视觉-语言-动作（VLA）策略的输入只有当下这一帧。任务因此变成了非马尔可夫的：正确的动作依赖于一段已经消失的历史。

核心创新

WholeBodyMem 的做法是不去扩大上下文窗口，而是先决定哪些历史值得留。

系统用 SAM3 持续跟踪任务相关的物体，物体层面发生的事件（出现、被移动、被遮挡、重新出现）被用作因果线索，在一个自适应预算内挑选关键帧。被选中的帧不是原样塞进策略，而是编码成物体 token，携带三类信息：外观、几何、以及事件发生的时间。动作专家通过交叉注意力，把这些物体 token 与当前观测一起读取。

这个设计的取向很明确：留对的帧，而不是留更多的帧。均匀采样或固定窗口的记忆会随着时间被无关帧填满，真正决定任务成败的那几秒反而被稀释。按物体事件选帧，等于用任务语义给记忆做了一次压缩。

论文同时贡献了 HuMeGo 基准，包含 6 个仿真任务和 6 个真实 Unitree G1 任务，专门评测人形机器人在线索会消失的场景下的记忆需求。

实验结果

• 仿真环境：基础策略成功率 29.1% → 72.6%；
• 真实 Unitree G1：36.7% → 88.3%；
• 标准 SIMPLE 任务集上同样有提升：70.2% → 86.9%。

三个数字里，真机的 51.6 个百分点最值得注意——它说明失败不是仿真到现实的迁移问题，而是策略本身缺了历史。SIMPLE 任务上的提升则排除了”只在专门设计的记忆任务上有效”这一解释：即使是不以记忆为核心的常规任务，补上历史也有收益。

局限

• 摘要只给出成功率，未披露推理延迟与显存开销；按事件选帧、跑 SAM3 跟踪、再编码物体 token，这条链路在真机上的实时性是最现实的疑问。
• 依赖 SAM3 的跟踪质量。若物体长时间完全离开视野或被彻底遮挡，事件流会断，此时”选帧”退化为无帧可选，摘要未说明这类情况下的回退机制。
• 评测集中在一个平台（Unitree G1）与 12 项任务，跨本体、跨场景规模的泛化能力未知。
• 记忆预算的自适应策略如何设定、是否需要按任务调参，摘要未展开。

产业意义

这条工作指出了一个被低估的工程事实：人形机器人在真实场景里的失败，有相当一部分不是控制精度不够，而是策略在错误的信息假设下工作。堆模型规模解决不了”线索已经不在画面里”这个问题，加记忆才行。

对做全身 VLA 的团队，最直接的可借用点是”物体事件驱动选帧”这一层：它独立于策略主干，可以挂在现有 VLA 前面作为感知记忆模块，不需要重训动作头。HuMeGo 基准的价值也在于此——它把”记忆”从定性讨论变成了可测量的指标，让团队能判断自己的策略到底在哪一类线索丢失上翻车。

值得继续观察的是成本侧：如果 SAM3 跟踪与事件筛选能在机载算力上跑到控制频率，这套记忆会成为人形 VLA 的标配；如果必须依赖外部算力，那么它更适合作为数据采集与评测工具，而非在线模块。