Pixel:硬件、数据、控制、学习必须一起设计,通用移动操作才有解

· 编辑团队 estimated
移动操作 轮式人形 全身控制 遥操作数据采集 机器人基础模型

Pixel 是 CMU 团队做的一套全栈移动操作系统:低成本轮式人形本体、与人对齐的运动学、柔性夹爪、多种遥操作与无机器人的人类数据采集接口、统一的全身控制器,以及一条同时吃人类演示和机器人演示的策略学习流水线。在此之上再叠一层分层学习结构,支撑语言条件视觉运动控制和长程任务执行。论文按硬件、数据、策略三个层面分别评测,展示了需要灵巧性、主动感知、导航和全身协调的移动操作行为。

原文 · arXiv:2611.03648

移动操作这几年进展不慢,但真正能在家庭或非结构化环境里连续干活的全栈系统依然很少。原因不是某个模块不够好,而是模块之间的接口对不上:硬件按自己的指标设计,数据采集按另一套流程做,控制器只保证跟踪精度,策略则假设观测分布与训练时一致。任何一处错配,都会在系统集成时变成难以定位的性能损失。

Pixel 的出发点就是把这些错配摊到桌面上,用一套共同设计来解决。

核心创新

本体按学习需求倒推设计。 轮式底盘加人形上半身,配柔性夹爪。轮式牺牲了越障能力,换来的是稳定的基座和更低的价格——这直接影响数据采集的规模和策略学习的难度。运动学”与人对齐”是刻意的选择:人类的肩肘腕构型与机器人接近,人类演示才有可能被直接映射,而不需要经过一层误差很大的重定向。

数据采集接口不止一种。 论文提供了多种遥操作接口,以及不依赖机器人本体的真人数据采集方式。这一点值得单独强调:只用遥操作采数据,瓶颈永远是机器人的台数和操作员的排班;把部分采集挪到无机器人场景,才能把数据量做上去。代价是人类数据的动作空间与机器人不一致,必须在学习流水线里处理。

统一的全身控制器作为公共底座。 遥操作、人类数据映射、策略执行,最后都要落到同一套全身控制接口上。控制层统一之后,上层的三种数据源才有可能被同一条策略网络消化,而不是各训一个模型再手工拼接。

一条流水线同时吃人类和机器人演示。 这是全文最关键的工程主张。人类演示提供规模与多样性,机器人演示提供本体的真实动力学与接触特性,二者在同一条流水线里混合训练,最后再用分层结构做语言条件的长程执行——高层负责把指令拆成子任务,低层负责视觉运动控制。

实验结果

论文按硬件、数据采集、策略学习三个层面分别做了评测,并展示了若干需要灵巧操作、主动感知(比如为了看清目标而调整视角)、导航以及全身协调的移动操作行为。项目主页提供了行为演示视频。

需要说明的是,摘要没有给出任何成功率、任务数量或与基线的对比数字。这类全栈系统论文常见的做法是把证据放在视频和硬件参数上:能不能真的动起来、能不能连续完成一整套动作,本身就是一种验证。但从可复现性和可比性角度看,缺少量化结果确实是这篇摘要的短板——读者无法判断它在同样的任务上比现有系统好多少。

局限性

第一,量化证据缺失。没有成功率、没有任务清单、没有消融。全栈系统的每个设计选择(轮式而非足式、柔性夹爪、人形运动学)都伴随着权衡,但没有数据说明这些权衡在什么条件下划算。

第二,成本”低”是相对的。摘要没有给出整机 BOM 价格,而”低成本”是这个工作成立的前提之一——如果本体不便宜,多机并行采数据的逻辑就不成立。

第三,人类数据与机器人数据的混合比例、各自的贡献度未被分析。这是所有跨本体学习工作的核心问题:人类数据到底带来了泛化,还是只带来了噪声?

第四,长程任务的失败模式没有讨论。分层结构能延长可执行的任务链,但误差仍会在层间传递。

行业影响

对做人形与移动操作的团队,这篇论文真正可借用的不是某个模块,而是设计顺序:先确定数据从哪来、能采多少,再决定本体构型和控制接口,最后才是策略网络。反过来做——先定硬件再想数据——几乎一定会遇到”采不到足够数据”的死结。

对产业落地,最值得关注的是”无机器人数据采集”这一支。真实机器人采数据的边际成本极高,而人类演示的边际成本低得多。谁能把人类数据的重定向误差压到可接受范围,谁就能在数据规模上拉开差距。

第三点是对评测的提醒。全栈系统很难用单一指标衡量,但如果连分层评测(硬件能力、数据效率、策略成功率)都不给,外部团队就无法判断该复现哪一部分。这也是这类工作最容易被引用、却最难被复现的原因。