EgoLAP：用「语言动作」把人类视频转化为机器人技能

机器人学习领域想从互联网无穷无尽的人类视频里学习。这个梦想里较容易的一半是下载，而更难的则是跨越具身差距。EgoLAP 认真对待这道差距，并问了一个具体而有效的问题：人类动作里，究竟哪一部分才真正可以移植到机器人上？

背景

采集机器人示范既慢又贵，覆盖面也有限，这正是第一视角人类视频如此诱人的原因：它充足且廉价。麻烦在于，人手与机器人夹爪并不共享同一套运动坐标系。人类轨迹与具体具身绑定——关节角、接触点、动力学都不同——因此若简单地把它们当作机器人控制的监督信号，只会得到一个策略无法使用的分布。EgoLAP 的核心洞见是：尽管低级动作与具身绑定，其下方的运动意图却不然——意图承载着人与机器人共有的、任务相关的结构，而可迁移的正是这份意图。

核心创新

EgoLAP 是一个视觉-语言-动作预训练框架，通过一条共享的、基于语言的动作思维链，在人类与机器人轨迹上联合学习。它的核心表示把运动意图表达为结构化、时间上抽象的语言动作——既非原始低级控制，也非自由叙述，而是对「这段运动想达成什么」的中间层描述。这些语言动作配上扎根于场景几何、物理与物体可供性的运动级推理，使抽象始终与它必须作用的物理场景相连。由于人类数据与机器人数据都被映射到同一个语言动作空间，两者可以一起训练：人类数据提供规模，机器人数据把表示锚定到可执行的控制上。

结果

• EgoLAP 把人类经验迁移到机器人控制上的效果，优于其他动作表示。
• 它取得 80.1% 的真实世界平均任务进度，相比其他动作表示有 2.3 倍的性能提升。
• 运动级推理优于一种复合推理格式——后者把子任务、物体框与视觉轨迹推理叠加在一起。

局限

头条数字是「平均任务进度」，而非成功率，两者并不能互换——进度很高，任务仍可能失败。摘要没有交代涉及多少个真实世界任务或多少小时的人类数据，2.3 倍提升在各任务间如何分布，也没有给出在同等算力下 EgoLAP 与纯机器人预训练基线的对比；缺少这一对比，就很难把收益归因于人类数据，而非架构或推理格式。语言动作这一抽象必然会丢弃部分细粒度接触信息，而摘要并未量化这种损失在何处显现。方差与失败案例也未报告。

产业启示

对于正在筹备 VLA 预训练数据的团队，第一视角人类视频是手边最廉价的大规模来源，而 EgoLAP 传达的信息是：可用的信号是运动意图，而非轨迹本身。这重新定义了数据流水线的思路：与其一味追求人类到机器人动作的高保真映射，不如投入一个能抽象意图、可被标注与推理的语言动作层。第二个发现既是经验也是警示——运动级推理胜过了更繁重的子任务、物体框与视觉轨迹复合监督，说明监督越多未必越好，正确的抽象可能比辅助标注的数量更重要。任何搭建第一视角数据流水线的团队，都应把语言动作表示当作决定这批数据能否迁移的关键设计决策。