JAMB：让动作与未来几何一起去噪的双臂操作扩散策略
双臂操作的核心难点在于两条手臂共享同一个三维场景，任一条手臂的动作都会改写另一条手臂所依赖的空间关系。JAMB 的做法是让动作与未来三维点轨迹在同一个 Transformer 里联合去噪：二者在每一轮去噪中相互修正——几何假设约束动作假设，动作假设又反过来塑造几何预测——而不是像此前的预测式扩散策略那样，把未来状态降级为辅助监督或固定条件。作者进一步把所有多模态表示统一到共享的时空坐标系，使跨模态交互在几何上有共同参照。在 RoboTwin 2.0 的十六个双臂任务上平均成功率 83.4%，高出最强基线 23.9 个百分点；在真实机器人上，相较纯动作策略与辅助几何预测方法分别高出 50.0 与 21.2 个百分点，并在杂乱场景与分布外背景下展现出更强的泛化。
原文 · arXiv:2609.25322把两条手臂放进同一个任务里，难处从来不在单臂本身，而在「共享」二字：任何一条手臂的移动都会改写另一条手臂所处的三维关系，抓取、遮挡、力传递全部耦合在一起。扩散策略是双臂操作目前最主流的骨架，但主流做法只生成动作，几乎不显式建模「这么做之后场景会变成什么样」。
背景与问题
少数带预测的扩散策略确实会预测未来状态，但通常只把未来当作辅助监督（多一个损失项）或固定条件（先预测、再生成动作）。两种做法都让动作与几何之间缺少真正的闭环：预测出的未来无法在去噪过程中反过来修正正在生成的动作，动作也无法反过来修正几何假设。论文的判断是，双臂操作的失败恰恰集中在「一条手臂的动作破坏了另一条手臂赖以成立的空间关系」这一类情形上，因此两者必须在生成阶段就对话。
核心创新
- 动作与未来几何联合去噪。 JAMB 把双臂动作和未来三维点轨迹放进同一个 Transformer，在同一条去噪轨迹上一起演化。每一轮迭代里，几何假设告诉动作「这样动会把物体推向哪里」，动作假设又把几何预测往可行的方向推。未来几何由此成为与动作地位对等的生成变量，而不再是被动的监督信号。
- 共享时空坐标系。 为了让跨模态交互在几何上有意义，所有多模态表示被统一到同一个时空参考系中，使动作与点轨迹在同一套坐标下相互约束，而不是各自为政。
- 对齐的对比设计。 对比对象既有纯动作扩散策略，也有不同状态表示、不同学习目标的未来预测式方法，从而把「联合去噪」本身的贡献与「只是多预测了东西」区分开。
结果
- 仿真： RoboTwin 2.0 的 16 个双臂任务上平均成功率 83.4%，比最强基线高 23.9 个百分点。
- 真机： 三个真实任务上，分别比纯动作策略与辅助几何预测方法高 50.0 与 21.2 个百分点。
- 泛化： 在杂乱场景与分布外背景下，JAMB 均优于所评测的基线。
- 项目主页：https://jam-bimanual.github.io/
局限
摘要没有报告真机任务的绝对成功率，也没有给出去噪步数、推理延迟或训练数据规模，因此「联合去噪带来的额外计算是否划算」暂时读不出来。另一个悬而未决的问题是监督从何而来：未来三维点轨迹通常依赖点跟踪或深度，论文没有说明这部分数据成本，也没有交代当物体透明、反光或可形变时系统如何退化。评测集中在桌面级双臂操作，尚未触及移动平台、人机共融或长时序任务——而这些恰恰是双臂走向部署时最难的场景。
行业启示
双臂操作的商业场景——装配、分拣、家用——反复确认的是一件事：两条独立训练的手臂拼在一起，并不会自动变成耦合系统。JAMB 的价值在于把「耦合」写进了生成过程本身：策略在给出动作时，已经用同一个去噪循环把场景推演了一遍。对做双臂产品化的团队来说，这指向一条具体的路线——与其在规划层反复修补两条手臂之间的冲突，不如让几何预测在策略内部成为一等公民。即便不整体采用 JAMB，共享时空坐标系与联合去噪这两个设计，也值得作为「预测式策略」的默认范式来考虑。