FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning: 视觉-触觉世界模型用于层次化接触预测与规划

背景

人类通过想象候选动作的可能结果来规划物理交互。然而现有视觉世界模型主要捕捉外观动态，忽略了支配接触丰富交互的触觉状态，可能生成视觉上合理但物理上违反动力学规律的预测未来。

核心创新

FeelWorld是一个层次化视觉-触觉世界模型，联合预测未来视觉潜在特征和三种触觉状态。这些状态按层次组织为：接触状态（contact state）、三维触觉潜在编码（编码力相关信息）和滑动状态（slip state）。三种状态由一个共享的潜在动力学模型联合预测，并带有显式监督。

关键技术贡献包括：

• 接触门控非对称注意力：自由空间运动时保持纯视觉预测路径，接触后激活联合视觉-触觉动力学预测，避免无关触觉信号干扰视觉预测
• 自回归滚动与上下文噪声注入：增强模型对累积误差的鲁棒性
• 接触感知CEM规划：利用预测的接触和滑动状态支持零样本规划

实验结果

在芯片抓取、水果抓取和USB插入三项任务上：

• 10步LPIPS从0.084降至0.058
• 80步自回归滚动后LPIPS比纯视觉基线低61%
• 零样本规划平均成功率81.7%

局限性

触觉传感器的物理可用性仍是实际部署的障碍。当前方法依赖GelSight类视觉触觉传感器，这类传感器在真实工业环境中的鲁棒性和耐久性尚未充分验证。此外，触觉潜在编码的可解释性有待进一步提升。

行业影响

FeelWorld为接触丰富的操作任务提供了一种将触觉感知有效融入世界模型的新范式。在精密装配、电子制造和医疗机器人等领域，触觉感知对于成功操作至关重要。该工作打通了从触觉数据采集到世界模型学习的完整技术路径，对下一代灵巧操作系统的设计具有重要参考价值。