HALO:在一千个虚拟住宅里学会的人形自主性
HALO 把视觉-语言-动作数据放到一千个程序化生成的住宅里合成,让训练语料的扩张跟着算力走,而不是跟着遥操作工时走。由此习得的能力集——坐椅子、按名称导航到物体、侧身穿半开的门、蹲下钻过桌子、推箱子——可以编排成长时程任务,并零样本迁移到真机:在六个未建图的真实环境中完成 360 次试验,成功率 91%,而训练集中没有任何一个真实住宅。
原文 · arXiv:2611.06908人形机器人的演示视频看多了,会发现它们最后都卡在同一笔账上:策略要把像素和一句自由语言映射成关节指令,就需要成对的监督信号——这个场景、这句话、这段运动。这种语料没有人真正大规模地拥有。造它的两条路都很贵:遥操作和可穿戴动捕,至少要用一小时熟练人力换一小时数据。于是想要覆盖家庭环境的全部变化,数据集还没做完,先变成了一个排班问题。
Apple AIML 团队的 HALO 选择去改这笔账,而不是去改策略。它不在真实住宅里录人,而是在一千个程序化生成的住宅里合成成对数据,再用人形自主系统在上面训练。语料随算力增长。这跟过去几年整个领域所处的扩展规律不是同一条。
核心创新
把程序化住宅当作数据引擎。 一千个生成出来的房子不是渲染技巧,而是一个覆盖性论证:布局、家具、物体摆放、门的状态、杂物密度都可以变,而且每种变化都自带真值几何与可被语言指代的物体列表。流水线把这些变成视觉-语言-运动三元组,正好补上遥操作只能以人的速度生产的那部分监督。
技能化,而不是赌一个端到端大策略。 HALO 学的是一套离散的物理技能:坐上椅子、按名称导航到指定物体、侧身穿过半开的门、蹲下并从桌子底下爬过、把箱子推开。每一项本身就是一个策略。长时程的复合行为来自技能编排,而不是指望单个庞然大物吞下所有切换。
难度其实在感知和身体包络上。 这份技能清单透露了真正的难点。侧身过门、钻桌底不是抓取问题,而是全身感知问题:机器人必须根据自身外形估计哪里是可以过去的自由空间。按名称导航则要求在一个从未见过的场景里做语言落地。这些恰恰是桌面抓放基准永远碰不到的部分。
结果
最硬的数字是零样本迁移,而且有分母:六个未建图的真实环境、360 次试验、91% 成功率,训练时没有见过任何真实住宅。六个环境、三百六十次试验,足以排除只在一个幸运厨房里成立的情况;「未建图」这个词也不是装饰——机器人不是在复述一张事先扫过的平面图。
这是摘要层面能给出的最强形式的证据,但也要看清它没有说什么。91% 是一个跨异质试验集的总体数字,如果试验配比偏向容易的技能,一个从未成功的技能可以被平均值藏起来。坐上椅子和从桌底爬过去显然不是一个难度量级,而摘要没有给分技能的成功率。
局限
摘要缺少分技能成功率、失败类型学,也没有训练算力和训练时长的数字。这些缺失对核心主张很要命:整篇文章的卖点就是语料随算力扩展,但读者目前无法判断,迁移能力究竟来自这一千个住宅的规模,还是来自十分之一的住宅配上更好的域随机化。
程序化住宅本身也是一个关于世界的特定假设:真正重要的变化是布局、家具和物体摆放。真实住宅还有更难采样的维度——光照、没有语义标签的杂物、会中途挪动物品的宠物和人、并不平整的地面。六个测试环境是真的,但只有六个。
能力集也被刻意限制在「移动 + 简单接触」之内。摘要没有涉及灵巧操作、力敏感交互,也没有涉及摔倒后的自我恢复。一个能钻桌底却爬不起来的人形机器人,还不是可以交付的产品。
产业启示
对人形机器人公司来说,这里真正的战略信息是成本曲线。当前主流打法是遥操作农场加可穿戴采集设备,本质是用资本按大致固定的人力小时对机器人小时的比例去换数据。一条随 GPU 时间扩展的合成流水线会改变这笔投资形状:再要一千个住宅,边际成本是一张算力账单;下一个「住宅」是一个新的采样种子,而不是又一轮操作员排班。
这并不意味着真实数据失去价值,而是它的角色从训练集变成验证集。可以预期这种分工成为标准架构:合成数据负责覆盖,小规模真实语料负责标定,以及负责仿真采不到的那些失效模式。
近期产品化的关键问题在分布外 Shift 下的安全与可靠性。91% 是研究结果;家用机器人需要的是把失败情形逐条列出来。论文自己「技能可编排」的框架也是正确的工程框架——它给了部署团队可以逐项设门槛、监控和回退的东西。