World In Your Hands：把上千小时「野外」人类操作数据开放出来

机器人操作有一个靠算法小聪明始终没解决的问题：数据。每个实验室都能在自己的硬件上采集演示，但这件事无法规模化——遥操作又慢又贵，还被绑在房间里那台具体的机械臂上；另一条看似充沛的路子是第一视角人类视频，可它既没有动作标注，身体也和人形之外的机器人对不上。World In Your Hands（WIYH）想绕开这两重限制：把「野外」人类操作数据的采集工业化，然后把成果开放出去。

背景与问题

教机器人做操作的标准流程，是把专家行为记录下来（通常是遥操作），再拿去训练。这条路可行，但代价按「每条演示消耗多少操作员小时」来算，而且演示与产生它的那个本体死死绑定。人类视频覆盖了海量日常交互，却缺少控制器所需的动作监督，呈现的也是人类运动学与外观，而不是夹爪的样子。结果是整个领域不断重建各自平台的小数据集，始终无法像语言模型那样叠加成一份共享语料。WIYH 的出发点是：真正稀缺的不是算法，而是物理上准确、带标注的人类操作数据。

核心创新

WIYH 的定位是生态而非单一数据集，由三个相互咬合的部分组成：

• Oracle Suite。 一套可穿戴采集套件，配一条自动标注流水线用于高精度动作捕捉，让演示可以在人们本来就在工作的场所采集，而不是非得进动捕棚。
• WIYH Dataset。 野外采集的 1000 小时以上多模态操作数据，覆盖数百种技能与多样化的真实场景。
• 标注与基准。 提供大量标注，支撑从感知到动作的各类任务——也就是说，这批数据不仅能用来预训练，也能用来训练和评测。

最关键的设计选择是「开放」：数据与硬件设计都放出来。采集套件只有别人能照着做才有社区价值，标注流水线也只有别人能在自己的素材上跑起来才真正有用。

结果

• 规模与精度。 超过 1000 小时野外操作数据，毫米级运动精度，覆盖数百种技能。
• 迁移到机器人。 把 WIYH 的人类视角数据接入训练后，杂乱场景下的机器人操作成功率从 8% 提升到 60%。
• 覆盖完整链路。 标注与基准据称覆盖从感知到动作的任务，且所有数据与硬件设计都将开源。

最值得盯的是那个迁移数字。在杂乱环境下七倍多的提升，说明这批数据的价值恰恰落在策略最常失败的地方，而不是现有语料里那些光线良好、动作干净的「简单演示」。

局限

8% 到 60% 的结果只报告了单一评测设置，摘要没有按技能类别、本体或场景类型拆分，因此很难判断这一增益的泛化边界。毫米级描述的是采集精度；自动流水线额外引入多少标注误差、这些误差又如何传导到策略表现，文中没有交代。人到机器人的迁移仍要解决本体差异，摘要也未列出已验证的机器人平台与形态。野外采集换来了多样性，也带来了噪声，但摘要没有说明如何处理变异性、失败尝试与未标注片段。最后，「全部开源」在写作时仍是承诺，其实际价值取决于放出的产物是否完整、是否有文档。

行业启示

对做操作系统的团队而言，最直接的后果是账本层面的：如果一份共享、开放的人类操作语料能替代掉相当一部分自建遥操作，那就等于砍掉了机器人学习中最大的一项经常性成本，也降低了付不起遥操作团队的实验室与初创公司的入场门槛。开放采集硬件会放大这一效应——别人能照着做的套件，把「一个数据集」变成了「一条流水线」，而流水线才是会复利的东西。战略层面的含义是：人类数据正在成为通用策略的一个规模轴，谁掌握采集与标注这套栈，谁就握有可持续的优势。真正悬而未决的是覆盖面：由一个团队采出的语料，能否泛化到商业落地真正需要的那些任务与本体。在跨平台、跨技能验证之前，WIYH 更像是一套强力基础设施加上一个漂亮的首发结果，而不是一个已经被解决的数据问题。