Splat2Act：一次手机扫描，把通用 VLA 策略适配到真实场景
一个在实验室里好用的通用操作策略，到了真实的家庭或办公室可能连一次抓取都做不成——论文中的强通用模型 π0.5 在未做适配的部署场景里抓取成功率为 0%，而在每个用户环境里采集真实演示的成本又高得难以承受。Splat2Act 只要求用户用手机扫描一次场景、并拍摄若干物体照片，就能用 3D 高斯泼溅加碰撞几何构建出照片级数字孪生，自动发现桌面与非桌面置物面、构造可行的抓取任务，并借助带有特权信息的仿真预言机批量生成成功演示。在 101 个校园环境中（可通行面积中位数 104.87 平方米），该流程产出 852 个置物面与超过 68,000 条抓取演示。对 π0.5 的两阶段微调——先在公开物体资产上适配，再在目标场景置物面上针对用户自己的物体个性化——在目标场景取得 62.5% 的整体抓取成功率；同一策略部署到真机 Stretch 3 后，在 12 个任务子集上达到 63.9%，与仿真中的 66.7% 十分接近。
原文 · arXiv:2610.13945一个在实验室里抓取几乎不出错的策略，可能在家里遇到的第一个架子上就彻底失灵。这篇工作要回答的是：不把机器人派到每个用户家里采集演示，该如何把它个性化到具体场景？
背景
通用视觉-语言-动作（VLA）策略已经成了灵活操作的主流路线：用一个大模型把语言、图像与机器人状态映射成动作。但「在宽泛数据上学到的通用性」并不会自动迁移到某栋具体的楼里。作者把这个落差直接量了出来——像 π0.5 这样的强通用模型，在他们采集到的部署场景中未做任何适配时，抓取成功率为 0%。如果靠在每个用户环境、针对每个用户的物体采集真实演示来补这个落差，成本高到不可行：成千上万的住宅和办公室不可能一个一个地手把手教。本文的前提就是，把「人在回路」里最贵的那部分压缩成一次手机扫描加几张照片。
核心创新
Splat2Act 是一条自动化的「实—虚—实」流水线。它从一次手机扫描出发，用 3D 高斯泼溅配合碰撞几何，为整栋建筑构建照片级的数字孪生。与以往只重建单个桌面的实-虚工作不同，它工作在建筑尺度：自动发现桌面与非桌面置物面，在其上构造可行的抓取任务，并借助带特权信息的仿真预言机生成成功演示。人只需要负责采集场景与物体，其余由规模来补足——在 101 个校园环境中（可通行面积中位数为 104.87 平方米），流水线产出 852 个置物面和超过 68,000 条抓取演示，这样的语料规模是人工采集无法比拟的。随后的微调分两阶段：第一阶段在数百个公开物体资产上做适配（这些资产可以只来自部署场景，也可以来自全部 101 个场景）；第二阶段在部署场景的置物面上，针对用户自己的物体做个性化。
结果
- 最强的个性化策略在目标场景的整体抓取成功率达到 62.5%，而未做适配的通用模型在该场景为 0%。
- 同一策略部署到真机 Stretch 3 后，在 12 个任务子集上取得 63.9% 的成功率，与仿真中同批任务的 66.7% 非常接近。
- 流水线在 101 个扫描环境上得到验证（每个场景可通行面积中位数 104.87 平方米、约 7 个置物面），共产出 852 个置物面与 68,000+ 条演示。
- 上述能力全部来自仿真预言机数据，目标场景中无需任何真实机器人演示。
局限
成功率可观但仍不完整：目标场景大约六成抓取成功，意味着这是相对「零」的一大步，而非已经解决的问题。方法仍依赖用户去扫描场景、拍摄物体，也依赖高斯泼溅数字孪生及其碰撞几何的质量——重建质量差的场景未必能生成可用的任务与演示。第二阶段的个性化是针对每个部署场景单独评估的，论文没有说明当训练后物体被新增、移动或替换时，个性化策略的稳定性如何。此外，两阶段配方会继承仿真预言机与公开物体资产自身的偏差，因为它们决定了演示的上限。
产业启示
最实用的信息关乎「个性化的经济学」。如果一次手机扫描加几张物体照片，就能把通用模型在用户自己的物体上从 0% 拉到约 60%，那么个性化就不再是「一个客户一个工程」的项目，而是一条能在车队规模上运转的数据流水线——这恰恰是消费级与办公机器人部署所需要的。它也改变了部署团队要交付的东西：不再是一个孤立的通用模型，而是「通用模型 + 自动化的场景采集与微调闭环」。残余错误率是必须提前规划的前提，它提示早期车队应保留兜底手段（遥操作或人工确认）。建筑尺度的数字孪生本身也是可复用资产：采集一次，就能为未来的多种策略与物体反复生成任务和演示。