把抓取器算进摆放里:不规则物体的密集码放闭环系统
仓储场景真正想要的密集码放,一直停留在仿真里:既有工作大多把物体当成孤立的刚体,接触被理想化,抓取器往往只是一个事后的可行性检查,执行过程中累积的感知误差与接触漂移也没人管。这篇工作给出了一条在真机上跑通的闭环流水线,把感知、抓取器感知的摆放优化与力引导执行串在一起。优化器把物体和抓取器合成一个由层级球体树表示的复合刚体,在 GPU 上以 CMA-ES 搜索五个自由度,竖直方向则依据当前高度图解析求解;执行阶段监控力的垂直下压会在首次接触时停止,随后一次释放后的压实推压(consolidation push)用来消除抓取器感知规划留下的侧向间隙,而每次摆放之间容器都会被重新感知,使漂移不会累积。作者在 Franka Emika Panda 上码放 3D 打印的平面、曲面与凹面物体以及一部分 YCB 物体,并通过消融实验分别量化了抓取器感知优化、压实推压与网格几何对成功率、实际密度与计算开销的贡献,同时与高度图最小化方法做了对照。
原文 · arXiv:2609.22062仓储作业真正想要的不是「抓起来放下」,而是尽可能密地把不规则物体塞满容器。这件事在仿真里已经被做了很多年,落到真机上却始终不成立,原因也很具体:既有工作大多把被抓的物体当成一个孤立的刚体,接触被理想化;抓取器往往只在事后作为一次离散的可行性检查出现,甚至根本不在考虑范围内;而执行过程中由感知误差和接触造成的漂移,则完全没有被处理。结果是规划出的密集布局在真实接触、真实间隙、真实误差面前迅速退化。
核心创新
这篇工作给出的不是一个新的目标函数,而是一条把三个环节真正闭环串起来的流水线:感知 → 抓取器感知的摆放优化 → 力引导执行。
- 把抓取器算进摆放问题本身。 优化器不再把物体当作孤立刚体,而是把物体与抓取器合成为一个复合刚体,用层级球体树表示。抓取姿态因此从「事后检查」变成了「优化变量」——规划出来的位置,是机器人带着夹爪真的能到达、真的能放下去的位置。
- GPU 上的五自由度搜索。 复合体的位姿在 CMA-ES 框架下于 GPU 上搜索五个自由度;竖直坐标不参与随机搜索,而是依据当前高度图解析求解。这一分工是关键:把最容易被高度图直接决定的那一维移出搜索空间,既省算力,也避免了「悬空放置」这类不合理解。
- 力监控的下压与首次接触停止。 执行阶段改为监控力的垂直下降,在首次接触时停止,而不是按预定深度硬压。
- 压实推压补齐残余间隙。 这是作者对自身方法局限的正面回应:抓取器感知的规划不可避免地会留下侧向间隙,于是在释放后再补一次推压,把这点间隙挤掉。
- 每次摆放之间重新感知容器。 漂移不再被假设为零,而是通过逐次重新观测容器来阻止累积。
实验结果
- 平台为 Franka Emika Panda,码放对象包括 3D 打印的平面、曲面与凹面物体,以及一部分 YCB 物体。
- 消融实验分别隔离了抓取器感知优化、压实推压与由网格导出的几何对端到端成功率、实际达成密度与计算开销的贡献。
- 与代表此前不规则物体码放工作的高度图最小化方法做了基线对照。
局限性
摘要只给出评测维度,没有给出具体数值,读者无法判断在 YCB 子集这类更通用物体上,达成密度与失败的分布究竟如何。验证集中被码放的物体是已知的 3D 打印件与 YCB 子集,形状分布相对可控;对于可变形物体、易碎物体、表面摩擦差异极大的物体,或者需要在无序堆叠中先取再放的场景,摘要未提供证据——而后者恰恰是真实料箱抓取的常态。CMA-ES 加 GPU 搜索的计算开销虽然被列为消融指标,但绝对规划时间没有在摘要中说明,若单次摆放需要秒级以上的优化,节拍就会成为产线部署的硬约束。此外,压实推压意味着系统会主动推动已经放好的物体,这对易碎或需要保持姿态一致的工件是否安全,摘要没有讨论。
行业影响
密集码放是机器人操作里少数指标明确、需求真实、客户愿意付费的任务,它的瓶颈长期不在抓取,而在**「带着工具的规划」与「真实接触的执行」之间的缝隙**。这篇工作的价值在于把这两侧的缝隙具象化为两个可工程化的处理:一是让夹爪进入优化,二是承认规划会留下残余误差并用一次便宜的物理动作去补。对于做料箱码放、混合拆垛、空间受限装载的团队,这套结构的可迁移性很强——它不要求新的硬件,也不要求在更逼真的仿真里重新训练,而是承认执行必然带回误差,然后用重新感知和一次推压把它吃掉。值得留意的是它对「成功率之外还要报密度」的坚持:在码放这种场景里,密度就是钱,只报成功率的评测无法支撑采购决策。