Open-AoE：面向具身学习的开源自我中心操作数据集与工具链
Open-AoE 是一个大规模的自我中心操作数据集，包含约2000小时的真实环境操作视频，提供完整的标注和工具链支持，降低具身智能研究的数据门槛。
原文 · arXiv:2607.14183论文概述
Open-AoE（Open-source All-in-one of Egocentrics）是由多家机构联合推出的开源自我中心操作数据集与工具链，覆盖从智能手机视频采集到模型训练的完整流程。首版发布包含约 2000小时 的操作视频，由 500+ 贡献者 使用 400+ 智能手机 在自然环境中采集完成。
核心创新
1. 规模化数据采集范式
不同于传统机器人数据集依赖昂贵的实验室采集设备，Open-AoE 采用 低成本智能手机采集方案，实现了大规模社区协作。500多名贡献者在日常环境中录制操作视频，极大降低了数据收集的边际成本，为具身智能研究提供了可扩展的数据生产范式。
2. 结构化的多层次标注
数据集提供四类标注信息：
- 文本描述：自然语言标注的操作内容
- MANO手部姿态：基于MANO模型的高精度手部骨架和形状参数
- 相机轨迹：自我中心视角的相机位姿序列
- 原子动作：时间定位的细粒度操作单元
3. 端到端工具链集成
Open-AoE 不仅是一个数据集，更是一套完整的工具生态：
- 数据预处理管线：时间动作分割、语义标注、手部重建、相机轨迹重建
- 下游适配工具：可视化、跨形态重定向、模型特定数据转换
- 训练配方：直接支持 VLA 策略、World Action Models (WAM) 和 World Models 的训练
产业价值与影响
Open-AoE 的出现具有以下几方面重要意义：
降低研究准入门槛：通过开放的贡献机制和标准化工具链，使得中小企业、高校实验室也能参与到具身智能数据生产与模型训练中。
打通人-机迁移链路：数据集提供的跨形态重定向工具，使得从人类操作视频迁移到机器人策略变得更加直接高效，有望加速人形机器人和灵巧操作系统的发展。
助力世界模型研究：2000小时的自然环境操作视频为构建具身世界模型提供了宝贵数据资源，有助于推动从”感知-决策”到”预测-行动”的范式演进。
结论
Open-AoE 代表了具身智能领域开源数据集建设的重要里程碑。其”低成本采集-众包贡献-标准化工具链”三位一体的设计理念，为解决机器人学习中的数据稀缺问题提供了切实可行的技术路径。随着未来版本的持续迭代，该数据集有望成为具身智能研究的公共基础设施。
论文链接: https://arxiv.org/abs/2607.14183 发布日期: 2026-07-15