ViTacWorld：面向接触丰富机器人操作的视触觉世界模型规模化

背景与问题

接触丰富的机器人操作需要摄像头无法捕捉的物理交互信号，这使得触觉感知成为鲁棒控制的关键。然而，规模化视触觉机器人学习面临困难：真实触觉交互数据采集成本高、依赖特定硬件、且任务和场景多样性有限。此前没有任何工作展示过能同时从动作预测视觉观测和触觉反馈的世界模型。

核心创新

ViTacWorld 提出了一种基于动作条件的视触觉世界模型，能够根据机器人动作预测时间对齐的视觉观测和触觉反馈。其关键洞察在于：触觉信号直接扎根于物理接触，因此比纯视觉观测具有更小的仿真-现实差距，使得触觉数据的仿真到现实迁移更加可行。模型首先在大规模真实和仿真视触觉轨迹上预训练，然后通过真实世界策略 rollout 进行微调。据作者所知，这是首个将世界模型用于机器人视触觉-动作轨迹生成和策略评估的框架。

关键成果

ViTacWorld 扮演两个角色：合成 rollout 以改进下游触觉策略，以及通过预测受控动作序列下的视触觉结果来评估策略。在接触丰富操作任务上的实验表明，ViTacWorld 能生成物理上有意义的 rollout，通过可扩展的数据增强提升策略性能，并支持基于动作条件的策略评估。该框架同时利用公开真实触觉数据集和构建的仿真环境来实现数据规模化。

局限性

生成的触觉反馈质量取决于预训练时使用的触觉仿真器的保真度。该框架已在接触丰富操作中得到验证，但在高速动态任务（如冲击或滑动）中的适用性尚未验证。真实世界微调仍然需要一定数量的策略 rollout，尽管远少于从头训练。

行业意义

触觉感知是部署机器人执行精密接触任务的关键瓶颈——装配、手术辅助、食品处理和物料分拣。ViTacWorld 大规模生成合成视触觉轨迹的能力可能大幅降低触觉机器人的数据采集负担。其作为数据增强工具和策略评估器的双重角色，使其成为任何从事接触丰富操作研究的机器人实验室的实用工具，有望加速触觉感知在工业应用中的采用。