I2CD:从单张图像直接预测可用于仿真的凸碰撞体分解

· Editorial Team estimated
仿真就绪几何 凸分解 图像到三维 碰撞检测 运动规划 生成模型

物理仿真与运动规划需要凸碰撞几何,而图像到三维生成模型输出的是稠密、常非流形的视觉网格,二者之间只能靠缓慢脆弱的「先重建再分解」流水线衔接。I2CD 直接从单张 RGB 图像预测凸分解:它冻结预训练的 Hunyuan3D-2,只训练一个 3800 万参数的交叉注意力头,让「凸槽」token 输出 K 个凸多面体的半平面参数,产出按构造即凸、可被物理引擎直接加载的几何,单张约 0.5 秒。在 227 个留出实例上体素 IoU 最高、端到端快 6 到 37 倍;真机 20 物体场景生成可规划几何 11 秒(最强基线 328 秒),抓放成功率相当。

原文 · arXiv:2610.03453

把真实物体搬进仿真,如今卡在一段谁都不愿多提的预处理上:生成的网格好看,却不是物理引擎能直接用的碰撞体。I2CD 把这段「先重建、再修复、再分解」的流水线,压缩成一次从图像到几何的前向预测。

背景

物理仿真器与运动规划器要求碰撞几何是凸的,而图像到三维的生成模型吐出的是稠密、往往非流形的视觉网格。要让两者对接,今天只能走一条又慢又脆的流水线:先重建网格,再修复、减面、做近似凸分解(ACD)。这条流水线既耗时又容易失败,还经常产出规划器无法接受的碎片几何。

核心创新

I2CD 把「重建—再分解」两步合为一步,直接从单张 RGB 图像预测凸分解。它并不训练新的图像到三维模型,而是冻结预训练好的 Hunyuan3D-2 图像条件扩散 Transformer 与形状解码器,只训练一个轻量级的交叉注意力头(3800 万参数,不足十个 GPU 小时)。这个头学到的「凸槽」(convex-slot)token 直接输出 K 个凸多面体的半平面参数。因此输出天然紧凑、按构造即凸,可以被物理引擎直接加载,无需任何后处理,单张图像约 0.5 秒。

结果

  • 在 227 个留出的 OmniObject3D 与 Google Scanned Objects 实例上,体素 IoU 在八条「重建再分解」流水线中最高,端到端速度快 6 到 37 倍。
  • 在 MuJoCo、PyBullet、Genesis、Isaac Sim 四个引擎的交叉研究中,每个引擎都能按交付状态直接使用 I2CD 几何;而原始生成网格虽然「处处能加载」,却在多数情况下被静默替换成另一种碰撞形状,或者需要数秒到数分钟的单物体预处理。
  • 在真机 xArm7 上,为一个 20 物体的杂乱场景生成可规划几何只需 11 秒,最强基线要 328 秒,而抓放执行成功率相当(100 次试验中 85 对 90)。

局限

I2CD 的凸分解质量仍受限于被冻结的 Hunyuan3D-2 先验——若上游生成器对某类物体本身还原不佳,轻量头难以凭空挽回。摘要报告的是体素 IoU 与引擎可用性,而非接触丰富任务中的物理保真度(如摩擦、柔顺接触的精度),也未见对薄壁、铰接等困难结构的专门评估。方法按构造输出凸体,因此对本身高度非凸、需要多块拼接的物体,其分解块数 K 与保真度之间的权衡仍有待检验。

产业启示

对任何把真实物体搬进仿真的团队,这条流水线一直是隐形成本:它慢、脆,而且失败方式还常是「悄悄换了个碰撞体」,让仿真结果失去可信度。I2CD 把这一步变成一次图像到几何的前向预测,约半秒一张,且交付即可用,把单物体预处理从数百秒压到十余秒。这直接降低了大规模场景构建与域随机化中「每换一个物体就要重跑一遍几何管线」的开销。对机器人厂商与仿真平台,其意义在于可用几何的产出速度不再取决于重建流水线的耐心,而取决于图像与算力;采用时的关键验证点是:目标物体类别是否落在上游生成器擅长的分布内。