DexSim2Real：利用基础模型实现通用灵巧操作的虚实迁移

原文链接: DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation

研究核心创新点

DexSim2Real 是一个全新的机器人灵巧操作虚实迁移框架，主要解决了传统方法泛化能力弱的问题。其核心创新在于：

1. 基础模型引导的域随机化 (FM-DR)：利用视觉语言模型（VLM）作为“视觉真实性评估器”，通过闭环优化显著提升了模拟环境的真实度。
2. 触觉-视觉跨注意力策略 (TVCAP)：创新性地将跨注意力机制引入触觉和视觉融合中，实现了零样本的虚实迁移。
3. 渐进式技能课程 (PSC)：结合大模型（LLM）的任务分解能力，动态调整难度，极大提高了模型对复杂接触任务的适应性。

行业价值展望

该研究显著降低了机器人灵巧操作的“虚实鸿沟”，实验证明其在真实环境中的成功率高达 78.2%，将性能差距压缩至仅 8.3%。这对未来人形机器人、精密制造领域中需要复杂手部动作的场景具有重大的工业部署意义，有望大幅提升通用机器人的生产力和环境适应能力。