行业研究

行业深度报告、硬件 BOM 拆解、数据矩阵

Editor's Picks

重点推荐

最近 7 天 · 综合技术与产业价值
重点论文 重要性 89/100

PASSAGE:用 100 小时场景对齐人体动作,训练能在杂乱环境中穿行的人形机器人

PASSAGE 是一个感知条件化的规划器—跟踪器框架,用于人形机器人在杂乱场景中的穿越。作者用虚拟现实与惯性动捕采集了 1500 个杂乱场景中 100 小时场景对齐的人体动作;条件流匹配规划器依据运动历史、局部目标点与机器人中心多层高程图生成短时域参考,具备感知能力的全身跟踪器再以 50 Hz 带几何反馈执行。实时分块保证块间一致性,规划器在冻结的跟踪器之上做强化学习后训练以提升闭环性能。整套系统不需要技能标注,也不用为每种障碍单独训练策略:同一对规划器—跟踪器即可在下台阶、侧身挤过、低头钻过之间自主选择与组合。把采集数据从 6 小时扩到 100 小时,held-out 场景的平均无接触成功率由 48.1% 提升到 68.9%,加入经校验的场景增强后达到 70.3%;全机载版本集成第一视角三维激光雷达、在线占据栅格建图、6.25 Hz 规划与 50 Hz 控制,在 Jetson AGX Orin 上于 50 个未见真实布局中完成穿越。

穿越能力是人形机器人走出实验室的前置条件,而 PASSAGE 把能力扩展的瓶颈从「为每种障碍编写任务特定的强化学习目标或动作库」转移到了「采集更多场景对齐的人体动作」,给出了一条可规模化的数据侧路径。100 小时动作跨 1500 个场景、6 到 100 小时的数据扩展曲线、以及全部在 Jetson AGX Orin 上机载运行并在 50 个未见真实布局中验证的完整栈,使其在方法完整性、实证充分度与产业相关性上都明显领先本批次其他投稿。

重点论文 重要性 88/100

DexTacWAM:把接触动力学写进世界模型的视触觉灵巧操作框架

灵巧操作的成败由接触决定,而接触恰恰是相机看不全的部分:指尖压力、起滑瞬间、手指间的载荷转移,视觉几乎无法直接观测。当前的世界动作模型(World-Action Model)把预测式视频生成与动作生成耦合在一起,思路本来对路,但整体仍是「视觉中心」的,于是「预测出来的未来」里根本没有决定任务成败的接触动力学。DexTacWAM 让每个指尖独立编码,再用一个感知手指身份与手部姿态的触觉压缩器做聚合,最后把触觉 latent 注入视频扩散世界模型,使接触演化本身成为被预测的世界状态。在一个 22 自由度的双臂平台上,它在六个强接触任务上每一项都取得最高分,平均 70.6,对最强基线为 38.0;一个消融实验把「触觉世界建模」去掉而保留同样的触觉特征与动作专家,四项任务均值从 74.7 掉到 26.6,说明收益来自「预测接触」而非「用触觉做条件」。适配触觉只需约四小时、每任务约 100 条演示。

触觉是当前大型预训练机器人模型里尚未被吸收的、信息密度最高的感知模态,而这篇文章给出的答案是「不必从零训练触觉模型,把它接到已有的视频先验上」。几个设计决策都很具体、也站得住:逐指尖编码保留了手指的空间身份,感知手指与姿态的压缩器在降维时保住了接触结构,触觉 latent 直接进入世界模型,于是接触演化是被预测的对象而不只是动作的条件。最有说服力的证据是消融:在触觉特征与动作专家都保持不变的前提下移除触觉世界建模,四项任务均值从 74.7 掉到 26.6,干净地把「预测接触」与「感知接触」两个贡献分开了。效率数据(每任务约 100 条演示、训练快 2.26 倍、推理快 1.29 倍、视觉预测退化仅 0.5 dB)也让缺少大规模触觉数据的团队有理由尝试。

重点论文 重要性 88/100

LIMBO:把安全证书学进策略本身,让 29 自由度人形机器人贴着可恢复边界运动

安全全身控制要在高维非线性动力学下同时管住碰撞与平衡,而安全证书(控制屏障函数)通常是为某一类行为手工设计的,换任务就得重新设计、重新验证。LIMBO 把证书的合成从「设计」改成「学习」:在一个冻结的底层控制器周围学习状态-动作控制屏障函数,把安全判据写成基于状态的失败规范,从而在完整的残余动作维度上完成合成;合成阶段学到的安全价值函数还会引导风险采样,主动把样本撒向估计的可恢复边界附近。随后它充当教师,在任务学习阶段给出动作级的安全反馈,安全结构因此被内化进任务策略,部署时不再需要在线安全滤波器。作者在 29 自由度人形机器人上演示了躲闪球与低障碍下穿行两个任务,两者都迁移到真机且不带在线滤波;一个额外的发现是,在同一个安全规范下仅改变采样集中度,就能得到从下蹲到一种新的后仰钻越动作的策略谱。

这篇工作把安全证书从「运行时监督」搬到了「训练期教师」,再用蒸馏让策略自己承担安全结构,部署时去掉在线安全滤波器——这条路径直接对应人形机器人敏捷性与安全性的核心矛盾。它的技术含量集中在一个可迁移的判断上:把状态-动作证书放在任务策略的控制空间而非原始关节空间,才让高维全身控制下的合成变得可行。更有说服力的是风险引导采样带来的一组对照结果:同一个安全规范下只改采样集中度,策略就从下蹲切换到后仰钻越,说明「怎么探索可恢复边界」本身就决定了最终学会哪种化险方式。29 自由度平台加真机迁移,在同类安全强化学习工作中属于少见的完整闭环。

最新论文

ε4P:把不完美数据「升级再造」为高精度操作能力

general

高精度操作是视觉语言动作(VLA)策略最容易失手的地方,而它依赖的任务专用高质量数据通常来自遥操作,采集既慢又贵。ε4P 选择从数据侧而非模型侧解题:它把两类通常被直接丢弃的数据「升级再造」——目标任务上的低精度数据,以及任务不匹配的高精度数据——并且不是把它们均匀混进联合训练,而是控制每种数据在流匹配轨迹上的作用区间。低精度的目标任务数据用在高噪声段,保留任务层面的上下文;高精度但任务不匹配的数据用在低噪声段,迁移底层的动作精度。在真实机器人的亚毫米级高精度任务与粗粒度任务上,该方法把策略表现最多提升 31.7 个百分点,并且可以用不完美数据替换等量的任务专用高质量数据,平均仅损失 4.2 个百分点。

MATE:面向人形机器人协作数据采集的多操作者虚拟遥操作平台

humanoid

人形机器人需要关于协作的具身经验,但真机多机器人数据采集无法规模化:它需要多台机器人、专用场地,还要反复重置。MATE 用共享物理仿真替代硬件,让多位地理位置分散的操作者同时遥操作全身人形机器人,同时保留了人形机器人、物体与环境之间真实物理耦合的交互——而这恰恰是协作数据价值的来源。借助 MATE,作者构建了包含 24.1 小时、2500 个联合回合、五类长时序任务的多机协作数据集,覆盖物体交接、接力配送、环境交互与协同搬运;并提出 EAIS(执行对齐的交互采样)策略,优先采样推进任务进度与交互关键的行为。基于该数据训练的模仿学习与视觉语言动作策略学习效果良好,并能零样本迁移到实体人形机器人,无需真机微调。

Skytopia:用动作条件隐世界模型实现单目无人机导航

drone

机器人导航中的世界模型通常被设计成「要被执行」的:部署时先产生预测,再在每一个控制步把预测反馈给动作生成。Skytopia 认为这个契约本身是错的——策略真正需要的不是预测结果,而是产生该预测所必需的表示;因为在飞行中,已执行的动作几乎解释了相邻观测之间的全部变化,预测退化为「在已知位移下重投影一个静态场景」。于是策略建立在一个动作条件的隐世界模型之上,并用专门搭建的三维高斯泼溅平台训练:前向目标从意图运动预测下一观测的表示,逆向目标则从预测出的状态转移中恢复该运动。由于预测从不进入动作生成,预测器在部署时被直接丢弃,一个策略同时覆盖点目标、图像目标与无目标导航,成功率分别为 57.8%、66.0% 与 49.0%,同时把推理开销降低 59.4%。同一策略无需微调即可在实体无人机上飞行,覆盖室内、开阔室外与林地环境。

PredActor:可导向的机载人形机器人预测式动作扩散策略

humanoid

扩散模型能生成灵活多样的动作,但要把这种灵活性变成能响应反馈的人形机器人控制器,中间隔着不少麻烦:分层方案通过动作参考来引导,而参考动作可能超出单独跟踪器的能力,于是恢复与物理执行都落到了跟踪器身上;只生成动作的扩散没有显式的未来状态轨迹可供测试期导向;联合状态-动作扩散虽然提供了这条轨迹,但代表性的控制器依赖特权式的全身状态估计,而行为选择与测试期导向又分散在不同环节里。PredActor 把这些能力收进一个直接用本体感知观测驱动的策略:以本体感知历史与可选任务上下文为条件,联合生成可执行动作和一条内部未来状态轨迹,用无分类器引导强化文本条件下的行为选择,用分类器引导把预测状态导向测试期目标;执行时只执行动作,既不需要单独的动作参考跟踪器,也不把外部估计的全身状态作为策略输入。仿真中它到达全部 15 个目标点,文本检索得分 0.580,而条件式动作扩散为 0.373;配合滚动去噪与保算力的运行时优化,完整回调在 Jetson Orin NX 上达到中位 16.790 ms、p95 19.383 ms,都落在 20 ms 控制周期之内。策略已部署在宇树 G1 上。

像世界模型一样思考,像 VLA 一样行动:把世界模型表征蒸馏进轻量机器人策略

software

视觉-语言-动作(VLA)模型把观测映射成动作,训练目标里没有任何一项去刻画「世界会如何回应」,于是它的鲁棒性本质上被数据覆盖范围所限定:分布内可以很好,稍出分布就完全没有对「后果」的概念。世界模型恰好带着这个缺失的目标——它是被训练来预测下一刻会发生什么的,因此也更有物理根据——但把未来推进一步要花上秒级的计算,根本进不了控制回路。这篇文章主张二者本可分离:世界模型对物理场景的认知存放在它的内部特征里,而「生成未来」只是产生这些特征时所用的训练目标。于是接地能力可以被继承,生成机器则可以丢开。做法是在普通 VLA 训练中增加一项特征对齐损失:冻结的世界模型先在训练帧上跑一遍并缓存,学生只需去对齐这份缓存。训练时不加载教师,投影器用完即弃,部署策略与未蒸馏的基线完全相同,在消费级 RTX 5090 上仅 32 ms、1.86 GB。0.8B 的学生模型在 LIBERO 上达到 97.9%,把 RoboCasa-GR1 人形操作从 48.2% 提到 50.5%,并迁移到真实的单臂与双臂平台。

把抓取器算进摆放里:不规则物体的密集码放闭环系统

industrial-arm

仓储场景真正想要的密集码放,一直停留在仿真里:既有工作大多把物体当成孤立的刚体,接触被理想化,抓取器往往只是一个事后的可行性检查,执行过程中累积的感知误差与接触漂移也没人管。这篇工作给出了一条在真机上跑通的闭环流水线,把感知、抓取器感知的摆放优化与力引导执行串在一起。优化器把物体和抓取器合成一个由层级球体树表示的复合刚体,在 GPU 上以 CMA-ES 搜索五个自由度,竖直方向则依据当前高度图解析求解;执行阶段监控力的垂直下压会在首次接触时停止,随后一次释放后的压实推压(consolidation push)用来消除抓取器感知规划留下的侧向间隙,而每次摆放之间容器都会被重新感知,使漂移不会累积。作者在 Franka Emika Panda 上码放 3D 打印的平面、曲面与凹面物体以及一部分 YCB 物体,并通过消融实验分别量化了抓取器感知优化、压实推压与网格几何对成功率、实际密度与计算开销的贡献,同时与高度图最小化方法做了对照。

LunaDrive:把扁平无刷电机的母线电压推到 96V 的 GaN 驱动方案

components

动态机器人的动作速度最终受限于执行器的转速上限,而市面上多数伺服驱动器假定母线电压不超过 48V,这一约束直接压住了瞬时最高转速。问题在于功率器件本身的取舍:耐压与通流能力在半导体上是相互挤压的指标,传统 Si MOSFET 驱动器很难同时做到高压与大电流;GaN FET 虽被看好,但能贴在扁平无刷电机背面这种紧凑位置的驱动器仍然很少。这篇工作开发了一款面向高功率扁平无刷电机的 GaN FET 驱动器,并研究了超出额定工作范围的高速区间里延迟补偿的效果。实验在 96V 母线电压下实现 30A 连续电流(加装散热片)、80A 峰值电流与 3110 Hz 的最高电频率,并用 24S(100V)锂聚合物电池完成了一次高速举升负载实验,验证其在动态机器人场景下的可用性。

SafeHarness:让「不要碰到障碍」真正进入代码智能体的规划与接触

software

代码智能体正在成为机器人操作的一条新路径:语言模型把控制器写成程序,由此构建的智能体无需机器人专门训练即可驱动机器人。但这条路径是否安全,此前无人追问。作者为每个操作任务配一个「绝不能触碰」的障碍物,发现智能体在大多数情况下仍然撞上障碍;它在推理轨迹中明确讨论了障碍,提示词也早已禁止触碰,因此问题既不在感知也不在指令,而在规划——这条约束从未成为优先事项。作者把操作拆成「路径阶段」与「接触时刻」两段来定位失效来源,并据此提出 SafeHarness:以障碍感知的路径规划(把物体落成包围盒,在其上把候选路径画成路点序列,先规划、再校验、必要时重规划、最后执行)与障碍感知的接触执行(选择接触位置,使接触本身避开障碍)两副外挂,让模型把安全约束排到前面。结果是 71.9% 的任务成功率与 87.5% 的避障率,分别比此前 SOTA 高 6.5 与 27.0 个百分点,也是同一智能体不加外挂时的 2.3 倍与 1.5 倍。

GeoAAC:用去噪轨迹的几何形状,给 VLA 策略自适应决定动作块长度

humanoid

动作分块(action chunking)已成为视觉-语言-动作(VLA)策略生成与执行动作的常规做法,但现有方法普遍使用固定的动作时域。同一次执行中,不同任务阶段对动作连续性、控制精度与闭环反馈的需求并不相同,固定时域无法适应这种变化。作者提出 GeoAAC:一种面向流匹配(Flow Matching)式 VLA 策略、基于几何的自适应动作分块方法,按当前动作预测的可靠程度调整动作时域。其核心观察是,流匹配去噪轨迹的几何形状提供了刻画预测可靠性的过程级信息——动作前缀之间的几何变化量与预测不确定性正相关。GeoAAC 用这种前缀级几何构造「时域级几何剖面」,在单次生成内自适应确定动作时域,且不需额外训练。在 GR00T N1.5 与 π0.5 上、于 LIBERO、LIBERO-Pro、RoboCasa365 及真实机器人操作任务上的实验显示,方法一致优于固定时域基线与已有自适应方法:仿真中最多提升 8.7 个百分点,真实世界平均成功率从 53.3% 提升到 74.4%。

Agile-WAM:把触觉世界模型做「轻」——不必生成未来视频,也能预判接触

general

世界动作模型(World Action Model, WAM)通过同时预测未来的世界状态与机器人动作,让策略学到支撑控制所需的物理动力学,因而超越了传统的视觉运动策略。但近期的触觉 WAM 往往依赖大规模预训练的生成式主干来刻画接触丰富的物理动力学,代价是推理效率低、部署不灵活。本文提出 Agile-WAM,一个用于接触丰富操作的高效触觉世界动作模型:它把视觉与触觉观测编码进一个共享隐空间,并以该隐空间为起点做直接的「视觉-触觉到动作」流匹配,从而联合生成动作块的隐表示与未来的视觉、触觉隐表示。其关键观察是视觉与触觉信号的时间尺度本就不同——相邻视觉帧高度相似,而触觉信号在接触发生时会突变——因此提出多时域多模态预测:以更大的时间偏移监督视觉隐表示,同时只预测下一帧的触觉隐表示以捕捉精细接触动力学。在九个仿真与五个真实世界接触丰富操作任务上,Agile-WAM 在成功率上优于最强基线,同时保持低推理延迟;在五个真实实验中整体成功率相对提升 29.4%,推理延迟为 11.9 毫秒。

PointZero:把三维点轨迹补全当作预训练目标,学习可迁移的三维动力学

general

世界模型让感知系统能够预测场景在交互下如何演化,而这类模型最受益于大规模多样化数据。既有方法通常需要机器人动作标注才能学习「以动作为条件」的三维动力学,于是把网络视频排除在训练池之外。本文研究把三维点轨迹补全(3D point track completion)作为预训练目标,从而在没有机器人数据的情况下学习可迁移的三维动力学:给定一次 RGB-D 观测与稀疏的部分三维轨迹,模型需要预测所有已观测点未来的三维轨迹。作者贡献了一个覆盖可变形、铰接与刚性物体的 290 万帧合成数据集,并在其上训练了 Transformer 模型 PointZero。在下游的「以末端执行器位姿为条件的三维动力学预测」与「模仿学习」两项任务上,PointZero 在 PGND 三维动力学基准上优于基线,在 6/7 项仿真与真实机器人操作任务上优于或持平基线;作者还从零训练以分离架构、预训练目标与数据集各自的贡献,并公开数据集、检查点与完整训练配方。

VLA-ULAP:把云端 VLA 调用与端侧超轻量动作预测交替执行

software

十亿参数级的视觉—语言—动作(VLA)策略既需要可观的机载功耗,又受制于远程推理的通信延迟。VLA-ULAP 提出把远程 VLA 调用与一个超轻量本地动作预测器(ULAP)交替执行:ULAP 连同冻结的视觉编码器共约 740 万参数,一次性融合当前视图、本体感知与已执行动作历史来预测动作块,可独立训练,不需要 VLA 的隐状态、在线校验或服务端往返。在 Jetson Orin Nano 上,ULAP 单次推理为 19.9 毫秒与 0.183 焦耳,而 GR00T 在 RTX A6000 上是 284.3 毫秒与 50.55 焦耳。在三组仿真「基座策略—基准」组合上,所选工作点可去掉 48.8% 至 76.7% 的 VLA 调用,同时保留基线成功率的 95.0% 至 97.5%。在 SO-101 真机上,系统在已见与留出摆放上保留基线成功率的 95.2% 至 100%,推理时间估算降低 47.9% 至 58.0%,推理设备能耗降低 52.1% 至 62.5%;在感知延迟的 LIBERO-Safety 仿真中,其动态任务成功率还比 π0.5 高出 11.0 与 15.5 个百分点。

ModAR:先自回归去噪多种未来模态,再预测动作的世界-动作模型

general

世界-动作模型(WAM)通常联合建模未来观测与动作,并把未来观测默认为 RGB 图像;但深度图、预训练视觉特征与点轨迹能更高效地承载几何、语义与运动信息,如何在 WAM 中组合这些模态仍是开放问题。本文提出 ModAR,第一个在预测动作之前先自回归地去噪多种未来模态的 WAM,使每一次预测都以上一步生成的模态为条件。作者从零开始训练,系统研究训练数据配比、预测模态与 WAM 形式的影响,发现预测点轨迹、DINO 特征与深度图能带来收益,而额外预测未来 RGB 并没有一致的增益。ModAR 的平均成功率在所有评测数据规模上都高于既有 WAM 形式;在与用视频模型初始化的 Flex-π 同数据微调对比时,它以约二十分之一的训练算力、不做预训练,取得略高的观测平均成功率(75% 对 72%)。在三个真实双臂任务上,ModAR 优于基线并能从人类视频中继续获益。

XPACE:把世界模型与动作模型合成一个模型,用异构经验训练人形机器人

humanoid

本文提出 XPACE,一个把世界模型与世界-动作模型合二为一的统一具身世界模型:它既能联合预测可执行的机器人动作与未来视频,也能作为模拟器预测给定动作的视觉后果。作者用无动作标注的视频学习视觉动力学,用带动作标注的人类与机器人演示联合学习视频与动作预测,并采用由粗到细的课程逐步把训练重心转向机器人控制,从而使策略学到机器人演示未覆盖的行为。该模型还用自身模拟器合成偏离—恢复轨迹来补充监督,在 XPENG IRON 人形机器人上提升了鲁棒性、跨任务技能迁移与真实任务完成率。

TIO-Former:为纳米无人机打造的极轻量六向 ToF-惯性里程计

drone

自主纳米无人机需要在严苛的尺寸、重量、功耗与算力约束下完成精确自运动估计,而相机与激光雷达超重、光流在低纹理场景退化、纯惯性解算又会漂移。多区飞行时间(ToF)阵列提供了轻量的度量补充,但仅凭每帧 384 个测距值做 6 自由度估计,要面对无效读数、各向异性的可观测性与随时间增长的计算量。本文提出 TIO-Former:一个无相机、无光流、无地图的测距-惯性里程计框架,仅依赖 IMU 与六个正交 8x8 ToF 阵列组成的 15 克载荷。前端用双边门控差分对齐相邻距离网格,并以 IMU 引导的交叉注意力按平台运动学动态路由方向特征;流式因果 Transformer 把未压缩的本地 KV 缓存与压缩的分块 FIFO 记忆结合,使推理开销与内存占用不随飞行时长增长。真实飞行中,它把开环位置误差相比纳米无人机光流降低 54.4%,相比学习型惯性基线降低 66.4%-89.1%,并在 RISC-V 边缘计算单元上实现 10.466 毫秒 P95 延迟与 6.324 MiB 峰值常驻内存。代码已开源。

Pelican-Sim 1.0:面向具身智能的通用世界模型仿真器

software

Pelican-Sim 1.0 是一个面向具身智能的通用世界模型仿真器:它根据视觉上下文与机器人动作预测未来观测,以支撑下游的学习与决策。模型包含四项关键设计——覆盖主流本体的 28 维统一动作空间、用 URDF 与相机渲染的动作视频打通动作与像素的动作-视觉注入、用于吸收异构动力学并缓解模态冲突的稀疏混合专家层,以及借助因果适配与少步蒸馏得到的四步自回归仿真器。作者在约一百万条真实与仿真轨迹上训练,并在多个数据集上取得视频质量与动作可控性的显著提升;在 RoboTwin 的四个下游应用中,每任务仅需补充 500 条生成轨迹即可把策略成功率从 70% 提升到 93%。

Size Doesn't Matter:材料状态强化学习让挖掘机学会可迁移的土壤作业

industrial-arm

本文把土方作业的自主控制建模为材料状态条件化的强化学习问题,在 GPU 并行的材料点法(MPM)颗粒仿真中训练策略,使其能依据土壤形状与密实度等状态选用铲斗的不同接触面,把土体在铲斗内外双向搬运。策略在归一化末端执行器空间中学习,并通过标定后的机器接口跨机型部署:同一组权重既驱动 11.5 吨液压挖掘机,也驱动 500 克桌面机器人。实机测试中系统自主修筑了一条 42 米长、2.1 米高的土堤,45 分钟内连续完成 201 次策略动作,全程无需人工干预,推进速度与熟练操作员持平。

Dynin-Robotics:把动作、目标与动力学预测统一进一个全模态扩散 VLA

general

本文把视觉目标预测与动力学预测带进动作的生成与选择环节,方法是通过一个共享的轨迹模型来统一表达它们。模型构建在 Dynin-Omni 全模态掩码扩散骨干之上,将语言、视觉观测、目标与动作都表示为离散 token;只需改变条件区间与目标区间,同一个模型就能同时学会动作预测、动作条件下的下一观测预测、终末目标状态预测,以及轨迹到指令的重建。这些接口支持推理期扩展:通过目标预测、动作候选评估与动作-未来状态的联合细化来提升成功率。作者在约 133 万条、来自 48 个 Open X-Embodiment 数据集的轨迹上继续预训练,并在四个操作条件下于 Franka Research 3 机器人上取得 78.4% 的平均成功率。

EVPeriscope:地面机器人抬头,用事件相机追踪螺旋桨与无人机互为空地感知延伸

drone

EVPeriscope 让地面机器人用一台朝上的事件相机捕捉四旋翼螺旋桨的高频视觉特征,从而在不需要基准标记、也不受运动模糊与光照变化拖累的前提下完成对无人机的检测、定位与闭环控制。无人机由此可以在自身传感器退化或被遮挡时充当地面机器人的「延伸感知」,形成地空「袋鼠式」协同系统。作者在上至 15 mph 风速的野外条件下、白天与夜间都做了实验,并演示了在地面机器人传感器被茂密植被遮挡时依靠该系统完成定位与闭环导航;对无人机的控制以 200 Hz 运行,完全依赖机载传感与计算。

拟人机械手实现手内握笔书写:实时雅可比估计,无需仿真训练与示教数据

humanoid

本文提出一种具身控制方法,在真实机器人上实时估计「手+被握持物体」组合系统的任务雅可比。控制器只用一台笔记本的 CPU,在约 18 秒初始化后即开始手内握笔书写,并在运行中持续在线自适应;整个过程不需要手-物体的解析运动学或接触模型、不需要仿真训练,也不需要预先采集的任务演示。同一套估计器/控制器在三套拟人机械手(一台实物、两套仿真)上均成立,说明该表述与具体本体无关。在实物机器人上,无论在空中还是在纸面书写字母与图形,都能达到亚毫米级的面内精度(多轮运行均值 0.6 mm);作者称这是首次演示拟人机械手仅靠纯手内运动、用握持的笔写出任意单笔画轨迹。

ActSafeGuard:把硬约束「训进」流匹配策略,实现 100% 单步安全

software

视觉-语言-动作(VLA)与世界-动作模型(WAM)在通用机器人操作上表现出色,但其生成的动作可能违反硬性物理约束,从而在部署中不安全或不可行。现有安全方法要么只优化统计意义上的安全目标、缺乏逐步骤的确定性保证,要么只在推理时纠正不安全动作,造成策略训练与执行之间的错位。ActSafeGuard 是一个面向流匹配(flow matching)策略的可微、且与训练对齐的安全防护层,把硬性动作可行性融进策略学习本身,而非把安全当作推理期的外挂。作者设计的解析射线缩放(ray-scaling)算子使梯度具有边界感知能力,引导模型自然地学到受约束的动作流形。在多个标准基础骨干(π0.5 与 Fast-WAM)与多种任务上的实验显示,ActSafeGuard 持续取得 100% 的单步安全率,同时完整保持甚至提升任务成功率。

Show-Harness:一个 VLM Agent 就能「玩」机器人

general

Show-Harness 提出一种「具身载体」接口,把基础视觉语言模型(VLM)的世界知识转化为机器人控制能力:它向 VLM 暴露一组离散的语义动作单元供其自然推理,再由本体相关的解释器确定性地把这些单元落地为局部机器人动作,使 VLM 直接对细粒度物理决策负责。同一接口既能零样本解锁闭源前沿 VLM 的机器人控制,也能用数 GPU 小时微调小规模开源 VLM 以实现低成本部署;配套的 GUMI(图形界面操作接口)把同一语义动作空间扩展到基于 GUI 的示教采集,让人与智能体无需专用遥操作硬件即可跨本体「玩」机器人。大量实验显示,搭载 Show-Harness 的 VLM 智能体在任务、本体与环境间稳健泛化,优于代表性 agentic 与 VLA 范式。

面向视觉-语言-动作模型的频率条件流匹配

general

机器人动作是时间上相关的轨迹,其频率分量在不同尺度上编码运动,能量分布高度不均;而基于流匹配的视觉-语言-动作(VLA)模型通常在时间坐标中生成动作,并未显式建模或系统利用这种频率异质性。本文提出 FreqFM,一种面向 VLA 的频率条件流匹配框架:它把动作频率从轨迹的隐式属性提升为贯穿整个生成流程的显式条件维度。具体而言,在 DCT 频率坐标下,FreqFM 构造谱匹配的源分布、自适应地在各频率之间平衡训练目标,并用对应的参考传输尺度约束逐频率的引导残差。FreqFM 可无缝接入现有流匹配动作专家而不改动 VLA 主干,在 LIBERO、LIBERO-Plus 与 VLA-Arena 上一致提升,其中 LIBERO-Plus 提升 9.3 个百分点,并在六个真实机器人任务上验证有效。

面向狭窄工业环境的大型异构车辆交通管理系统

agv

高密度工业环境中的自动导引车(AGV)协同是物流 4.0 的核心难题,传统基于协商的优先级分配式交通管理常因协商开销导致效率损失。本文提出一种基于终身多智能体路径规划(L-MAPF)的 AGV 交通管理系统,运行在由非均匀有理 B 样条(NURBS)曲线生成的路网上,保证局部最优协同并确保大型异构 AGV 的安全运行。框架把改进的有界时域冲突搜索(CBS)嵌入滚动时域冲突消解策略:为每个智能体设置更长的时域,以便在拓扑地图标定的走廊中有效消解冲突。与现有 AGV 车队交通管理方法不同,该方案面向真实、非标准化(非网格状)的工业场景——狭窄双向走廊、高交通密度、多种尺寸与能力的 AGV 同时运行。关键贡献包括带自适应时域调节的 anytime 冲突消解、面向真实 AGV 的安全合规执行层,以及死锁检测与消解机制。在真实工业环境中的实验显示吞吐量最高提升 11%,优于常规规则式交通管理与基于优先级的 L-MAPF 变体,同时保持连续运行。

面向颗粒地形的自适应人形机器人运动学习

humanoid

本文基于三维阻力理论(3D RFT)构建了物理上可靠的颗粒接触模型,并高效仿真颗粒地形用于强化学习训练,以能刻画下陷与切向拖曳的物理精确侵入动力学,取代刚体接触模型与启发式颗粒模型。控制器通过教师—学生强化学习训练,并用变分自编码器把地形信息压缩为紧凑隐变量,实现零样本地形识别与自适应。基于MPM与NVIDIA Newton的仿真研究表明方法可泛化到未见颗粒地形、成功率显著高于基线;在玄武岩、干沙与海滩沙等多种真实颗粒地形上的硬件实验,作者称是首次实现真实颗粒地形上的敏捷人形机器人运动。

FolDeX:面向可形变物体长时程机器人操作的真实世界基准

general

FolDeX是一个完全基于真机数据构建的真实世界基准,以衣物折叠为核心任务,面向长时程可形变物体操作——策略须跟踪不断变化的状态并执行可靠的多阶段双臂交互。鉴于真机数据采集成本高昂,该基准围绕四条研究轴考察异构物理经验的高效复用:利用部署中采集的人类干预与恢复数据;跨任务迁移(含衣物类别之间及刚体到可形变物体);跨场景复用(光照、背景与布局变化);以及跨本体迁移。基准提供2000+小时真机数据,覆盖20+任务与10+本体,并给出对外部提交策略的公平评测平台:标准化任务、留出实物、受控初始化与统一执行协议。

GTA-2:基于具身任务轴的多VLM机器人操作技能合成框架

general

GTA-2是一个模块化多VLM框架,从可复用的、以物体为中心的任务轴组件出发,构建可执行、为具体任务量身定制的操作技能,而非端到端预测动作或组合固定原语。每项技能被表示为语义子任务,包含与任务相关的关键点与轴、控制器组合以及场景相关参数。四个专门化的VLM智能体分别负责:分解任务、构建抽象任务轴技能、分配控制器参数、并从RGB-D观测中落地所需视觉特征,从而实现零样本技能生成——无需任务专用示教、策略训练或微调。在14项真机操作任务上,平均零样本成功率达73.9%,比最强基线高出31.4个百分点;针对性的阶段级人工反馈可将平均成功率提升至90.7%。

TANGO:基于全身视觉-语言-动作模型的杂乱环境人形导航

humanoid

TANGO是首个面向杂乱室内环境下人形机器人的全身视觉-语言导航框架。与二维路径规划不同,它把穿行视为连续的、几何感知的全身问题:给定自然语言指令与第一视角RGB观测,TANGO直接预测29自由度关节空间动作。模型完全在仿真中训练,通过全局路径规划、运动学全身动作生成、障碍感知动作编辑与基于强化学习的跟踪,合成多样的无碰撞穿行行为。TANGO在仿真视觉-语言导航中取得当前最优性能,在需要障碍协商的挑战性场景中优于强模块化基线,并在未使用任何真实导航数据的情况下,零样本部署到Unitree G1人形机器人上,在杂乱真实场景中实现稳健的语言引导穿行。

代理策略引导:面向冻结通用策略的推理时任务适配

software

Proxy Policy Steering(PPS,代理策略引导)是一种推理时适配方法,让冻结的通用机器人策略无需修改即可适应新任务。它训练两个轻量代理策略——一个「参考代理」建模冻结基座策略在目标任务观测上的行为,一个「任务代理」刻画任务监督带来的行为变化——用二者经校准的速度空间差值在每个去噪步引导基座采样器。由于基座策略从未被修改,其广泛能力得以完整保留。在8个真实世界与4个仿真操作任务上,PPS将当前最强的pi0.5基座策略的平均绝对成功率提升53%,在基座从未解决的任务上实现从零到一的突破,并全面优于LoRA微调、从零训练的专用策略、残差策略及此前的推理时引导方法。

Ostrich:在可微动力学中以大步长穿越刚硬接触

software

Ostrich是一个GPU加速的可微刚体仿真器:它以大步长(约0.1秒)用非光滑牛顿迭代求解硬接触与摩擦,并借助隐函数定理对收敛残差求导,复用前向Schur补以每时间步O(1)内存计算伴随梯度。在跨越托盘障碍的真实机器人轨迹上,Ostrich以高达50倍于MuJoCo的时间步长保持与其相当的仿真到现实精度。其梯度能从随机初始化收敛,而MJX下降缓慢、Newton Semi-Implicit直接停滞;一次热启动迭代比MJX快211倍、比Semi-Implicit快4.7倍。Ostrich可在单张24 GB GPU上并行求导8192个世界,达到带检查点MJX优化吞吐的29倍。论文最后展示了在三角网格地形上、10秒时域内的基于梯度的轨迹优化。

碰撞快照引导的时间反演安全关键场景生成

amr

COSTER是一种利用学习到的交通先验来确定合理碰撞时间与位置的安全关键交通场景生成框架。它先在识别出的碰撞状态下插入一辆与目标车辆接触的新车,构造"碰撞快照",再由条件变分自编码器执行时间反演展开,把插入车辆的轨迹向更早时刻逆向重建。实验表明COSTER在合理性、多样性与数据效率上均优于现有方法;在COSTER生成场景上训练的智能体,于Waymo Open Motion Dataset的安全关键场景中碰撞率降低31%,同时提升了主车任务完成度。

GloVLA:让几何负责移动、局部VLA负责交互——非结构化环境下的稳健以物为中心操作

industrial-arm

GloVLA是一种混合式框架,将以物为中心的操作显式拆分为两个互补阶段:几何传输控制器负责把末端执行器移动到交互为中心的交接区域,局部视觉-语言-动作(VLA)策略只处理短时程、重接触的交互阶段。该方法与模型无关,可无需额外演示地集成不同VLA骨干,且不改变动作空间或成功判据。在杂乱、干扰物、光照变化、视觉偏移与遮挡等挑战条件下,全轨迹GR00T N1.6的平均成功率降至20.9%,而GloVLA仍保持88.5%;在真实UR10e机械臂上,整体成功率从35.6%提升到90.0%,平均推理时间缩短一半以上。

GLoRI:全局-局部参考交互的闭环全身跟踪——人形机器人移动操作

humanoid

GLoRI是一种面向人形机器人移动操作的闭环全身控制器,将结构化全局参考与反馈同局部运动引导相结合。其GLoRI-Net采用全局-局部交叉注意力(GLCA),用全局目标与位姿差特征精化局部关键点特征,在保持动作结构的同时纠正世界坐标系下的空间位置。GLoRI在保留的HuMoTo动作上达到100%完成率、全局MPJPE 6.44厘米,且该精度在Isaac Gym到MuJoCo的直接迁移中无需微调依然稳健。凭借这一精度与泛化能力,GLoRI可在真实Unitree G1上以单一策略自主完成与多种未见物体的移动操作交互。

同一轨迹,互相矛盾的奖励:ROBORMBENCH 揭示视觉语言奖励模型的改写脆弱性

software

ROBORMBENCH 系统度量了 VLM 奖励模型的一个被忽视的失效模式——改写脆弱性。基于 2,390 条带真实进度标签的真实机器人轨迹和 21,673 条经人工验证的改写指令(涵盖词汇、句法与动作目标层面),研究发现:仅仅换一种说法描述目标,就可能显著改变预测的奖励分数,甚至把完全相同的机器人行为从成功判成失败。这种不稳定在闭源与开源 VLM 中普遍且严重,随改写偏离程度加剧,且无法靠增大模型规模或显式推理可靠消除;而用轨迹监督训练的专用奖励模型则稳定得多。工作将改写鲁棒性确立为可靠 VLM 奖励建模的核心要求。

什么在何时起作用?视觉运动模仿策略中条件视觉定位的诊断与改进

software

本文诊断了视觉运动模仿策略在出现视觉相似干扰物时失效的原因,将问题归结为条件视觉定位:控制所需的视觉目标会随操作阶段变化,在复杂任务中还会随观测到的任务状态变化。作者以 ACT(Action Chunking with Transformers)为对象,系统引入颜色与形状相似度受控的干扰物与容器,将失败定位到抓取与放置阶段,发现敏感性同时取决于相似类型与操作阶段。基于这一诊断,他们组合了干扰物增强、阶段相关注意力正则化与外观视觉提示三种手段,在仿真与实体 UR3e 上显著提升鲁棒性,并在预训练 VLA 的状态条件器械操作任务中复现了同样的失效模式。

FIRE-LIVWO:毫米波雷达增强的煤矿井下多模态鲁棒里程计

software

FIRE-LIVWO是一种面向大型地下煤矿的故障免疫多模态里程计框架:在迭代误差状态卡尔曼滤波(IESKF)中紧耦合4D毫米波雷达、LiDAR、视觉与轮式里程计,于统一VoxelMap中构建LiDAR-雷达点到面残差与稀疏视觉光度残差。烟尘环境下利用毫米波雷达强穿透并引入逐点多普勒速度约束维持可观性,退化巷道中通过非完整约束与在线杆臂补偿抑制漂移;核心贡献是基于几何与视觉可观性分析的退化检测与自适应融合模型切换策略,在线量化可观性并动态调整模态权重。真实煤矿井下实验表明其能准确识别失效边界并可靠切换模态,平均定位误差5.677米,优于对比基线,代码已开源。

RoboSPA:VLA模型能否超越简单场景与短视距任务?

software

RoboSPA(机器人空间-程序化评估)是一个大规模机器人操作数据集与诊断基准,用于检验VLA模型在空间与程序复杂度递增条件下的具身推理能力。基准聚焦两个核心维度:细粒度空间推理与长时程程序化规划,覆盖10个任务类别、56个基础任务,每个任务在五个难度级别上实例化,共280个变体,空间歧义与程序复杂度逐级递增。数据规模为527K条轨迹,覆盖多种本体与多样场景。除二值成功率外,RoboSPA引入诊断性指标进行更细致的评估。对代表性VLA模型的实验显示,现有系统在复杂空间关系、精确低层执行与记忆密集型规划上仍力不从心,确立了RoboSPA作为开发更强、更可靠、更泛化具身智能体的挑战性诊断基准,数据与代码已公开。

TacPAC:面向接触丰富操作的世界动作模型触觉预测与实时动作校正

general

TacPAC把触觉预测转化为世界动作模型中的实时动作校正。纯视觉世界模型对未来的预测缺少决定接触丰富操作成败的局部接触线索,而朴素地把未来触觉观测当作额外视角预测,在实验中只能收回约三分之一的可实现增益——根源在于时间错配:预测先于执行,触觉反馈却在执行中才到达。TacPAC在基础模型规划出动作块后,缓存该规划所依据的预测接触及其表征,由触觉专家模型将每个新触觉图像与该缓存比对,仅校正尚未执行的动作,单次遍历缓存即完成校正,比重新生成动作块便宜20.7倍。在精密插入、易碎物操作、物体重定向与长时程操作五类真实机器人任务上全面领先,平均成功率由纯视觉基础模型的22%提升至64%,代码已开源。

GIFT:面向机器人操作的动作导向结构化监督引导中间特征训练

software

GIFT 针对"动作充分性缺口"——视觉-语言预训练提供的视觉丰富性与控制真正所需信息之间的错配——提出对中间特征施加三类与控制相关的结构监督:决定运动可行性的几何、编码指令相关实体的可供性、以及把指令 grounding 到任务相关区域的目标。该框架与架构无关,已在 VLA 策略、直接动作世界动作模型(WAM)与逆动力学 WAM 上实例化,且不改动各模型原有的动作表达。在零样本 LIBERO-Plus 上,GIFT 各变体以 79.6%/72.6%/87.8% 超出对应基线 4.6/12.6/5.2 分;在 RoboCasa 上以 61.4%/83.6%/82.3% 超出 12.6/9.0/8.4 分;在关节物体任务与受未见视觉/空间扰动的高精度真实操作中增益最大。

AdaRoboVLG:基于可组合基础模型先验与通用抓取合成的自适应视觉-语言抓取

software

AdaRoboVLG 是一个任务自适应的视觉-语言-抓取(VLG)框架,支持跨不同机器人手的通用抓取合成。与把基础模型紧耦合进端到端抓取策略的既有 VLG 方法不同,它学习一个高效、可泛化的基础策略:通过显式运动学映射与力闭合稳定性估计来生成并评估物理上可行的抓取候选;任务相关的理解则交给专门的基础模型模块,以可组合的空间、认知与时间先验形式融入抓取合成,无需重训底层抓取策略即可实现上下文自适应的抓取。大量仿真与真实实验表明:基础策略学习高效且跨手泛化强;三类先验可分别应对代表性抓取挑战且不损害相较最先进方法的合成性能;先验联合运作可在杂乱动态环境中实现功能性抓取。

LaPla:离散思维与连续动作——端到端自动驾驶的潜在对齐规划

amr

LaPla 是一个带潜在对齐规划的视觉-语言-动作(VLA)框架,把语义理解落地为精确的运动执行。它先用残差向量量化 VAE 构建捕捉车辆运动学的动作分词器,再把该表示当作连续物理先验而非离散码本:并发动作查询在单次前向中因果地关注多模态上下文,把隐状态直接投影到预训练潜在空间,由冻结解码器转译为动作——既消除了量化误差,也绕开了自回归生成。在 nuScenes 上,LaPla 相比最先进 VLA 方法将长时域 L2 误差降低 15.52%;在 NVIDIA AlpaSim 闭环评测中成功率提升 33.34 个百分点,推理延迟显著降低。

MINERVA:操作策略究竟可以做到多小还能解决 LIBERO?

software

MINERVA 用刻意压缩的视觉运动策略度量 LIBERO 基准的任务专属容量下限:仅 0.54M 参数的策略在四个标准 LIBERO 套件的 2000 次 rollout 中取得 95.1% 平均成功率——比论文报道的 LeRobot pi0.5 仅低 2.4 个百分点,参数量却少 7700 倍。性能在约 1M 参数处饱和,低于 0.25M 则崩溃。任务 ID 置换探针显示标准 LIBERO 指令条件化主要是在已记忆任务间做选择;该微型策略在笔记本电脑 CPU 上每控制步重规划仅需 5-9 毫秒,比 SmolVLA 快 113 倍、比 pi0.5 快 1400 倍。

从 1500 小时示教到在策略纠正:双臂家务操作的规模化之路

general

该工作开源发布 1500 小时多样化双臂家务操作示教数据,并基于专用高通量数据管线与精心设计的多阶段训练范式,在这些数据上训练了视觉-语言-动作模型 XR-2。系统实验表明其任务表现强劲,训练效率与数据利用率俱佳;沿两条规模化轴线——专家示教数据量与基于实时人工干预的 DAgger 在策略纠正后训练——任务成功率均稳步提升,在当前数据规模上呈现清晰一致的扩展趋势。数据集已开源,以支持双臂操作学习的可复现研究。

BRIDGE:面向物理 AI 的形态-控制协同设计开源人形平台

humanoid

BRIDGE 是一个开源 88 厘米人形平台,由数据驱动的形态-控制协同设计框架生成:该框架以类人运动为目标联合优化人形机器人的形态。新提出的评价指标同时度量了运动重定向到人类动作的保真度与动态跟踪性能。相比 Bumi、K1、Toddlerbot 等基线人形机器人,BRIDGE 在所有报告指标上达到最先进水平,并随全身控制策略一同开源发布,展示了基础 locomotion、鲁棒平衡与高动态机动能力,同时以更优保真度复现人类运动数据。

ZETA:桌面操作零样本跨本体 VLA 迁移的受控研究

general

ZETA 是对 VLA(视觉-语言-动作)模型零样本跨本体迁移的首个受控研究:它区分“严格零样本”(目标本体完全不出现在训练数据中)与“预训练暴露式零样本”(目标本体仅在预训练中出现),并提出覆盖仿真与真机、含 14 个留出目标本体的评测基准。受控因素分析显示:局部末端执行器表征(+15 个百分点)、源本体多样性(+18)与辅助共训练(+7)均有助益;预训练中仅加入 5% 目标本体数据即可使目标本体进度提升 13.4 个百分点。

WM-LOCO:立足点受限地形上的世界模型增强人形机器人运动

humanoid

WM-LOCO 联合训练循环世界模型与 PPO 策略,使人形机器人仅凭本体感觉与单张机载深度图即可穿越立足点受限地形——踏脚石、沟隙与窄台阶——全程无需显式落足标签。仿真中它在沟隙与踏脚石上成功通过(匹配基线完全失败);同一策略部署到实体 Unitree G1 后,在全部三类地形上平均成功率达 93.3%。

SA-WAM:几何潜在扩散的空间感知世界动作模型

general

SA-WAM 将预训练视频扩散模型改造为空间感知的世界动作模型:在单一扩散骨干内同时预测动作、RGB 与深度。非线性编码把无界的深度信号映射到冻结 VAE tokenizer 的有界输入域,无需三维微调即可引入几何信息。SA-WAM 在 RoboCasa 与 LIBERO-Plus 上取得最先进结果,同时改善未来状态预测,并在真实 UR5 机械臂上优于强基线,在随机化环境中增益尤为显著。

Facet-0:面向接触丰富精密操作的机器人基础模型

industrial-arm

Facet-0 是一个会"预测并评估接触后果"的机器人基础模型:它把视觉-语言语义、运动学状态与因果腕力历史对齐,用流匹配同时生成动作块与预期诱发的腕部力/力矩曲线,并通过分布式的 Action-Wrench Critic 与接触选择性奖励把强化学习集中在决定性交互上。在 1,000 小时力同步语料 ManuFacet-1K 上训练后,该系统在五项亚毫米计算机装配任务上取得 82% 的平均成功率(最强基线仅 15%),放置精度 0.5 mm、指令延迟 50 ms。

面向人形机器人的快速、鲁棒、可适配移动操作行为系统

humanoid

本文提出一套机器人本地的、运行时可编辑的行为编排与运行系统,把人形机器人的移动操作能力建立在"行为架构"之上:以物体为中心的 Affordance Templates 提供组织与逻辑,行为场景与原始场景动作实现运行时可编辑感知,操作员界面与机器人持续同步以支持运行时编写、监控与修复。系统在 Unitree H1-2 与 Alex 上完成六种任务变体演示,推门穿越 34 秒、人类干扰下按颜色分拣六个球 45 秒,新行为可在数小时内从零创建。

非抓取抛掷:一种强化学习视角

industrial-arm

本文用强化学习解决非抓取(无抓取)抛掷问题:策略显式利用滑移与滚动接触模式,直接优化关节空间轨迹,无需解析接触模型或自定义参数化。策略在仿真中达到数千构型 99% 的成功率并能泛化到未见物体;零样本部署到 UR5e 后,以接近物理极限的 5 m/s 末端速度,可将 790 g 重物与 20×20×28 cm 大物体抛至最远 350 cm、最高 180 cm 的目标,真实世界成功率 97%。

SUN:面向语言接地控制—学习—实机策略的持久化程序

general

Kuafu提出语义统一(SUN)程序——一种类型化可执行程序,几何与接触关系只需定义一次,即可编译为对齐的MPC代价、满足谓词、RL奖励、转移守卫与诊断信号。大型视觉语言系统从语言与场景语义自动合成SUN程序,MPC先进行可行性筛查,保留的语义再用于训练分阶段策略。在九个任务上Kuafu取得82.03%的宏观成功率(稀疏奖励基线35.67%、Stage-BC基线24.75%),8192路并行规模下每小时遥操作产生的成功轨迹时间是传统方式的10.57倍;每个任务500条轨迹训练出的DP3策略在仿真中达到46.0%、在真实Franka与Kinova机械臂上达到34.7%的成功率——全程无需示范数据或人工稠密奖励。

Driving on Memory:仅凭记忆完成驾驶评测

amr

这项研究探明了一个问题:NAVSIM分数中有多少真正来自对动态交通场景的反应。作者移除驾驶模型的摄像头输入,改用同一地点先前驾驶的记忆——即道路布局等持久场景信息,但不含任何当前交通状态。仅凭记忆,模型在NAVSIM上就能达到甚至超越领先的端到端方法,说明高分并不需要模型对被测场景作出反应。该效应依赖具体基准:在Bench2Drive与RealEngine上,仅凭记忆驾驶会造成显著更大的性能下降。代码已开源。

LightNav-0:激发VLM空间智能的通用具身导航模型

amr

LightNav-0是一个紧凑的通用导航模型,它激发预训练VLM的空间智能并将其与导航对齐,无需任何任务专用预测头。统一token接口通过双通道指向表达与任务、场景、形态无关的空间意图,残差向量量化动作分词器再把意图映射为精确的、形态专属的轨迹。基于2000+场景、4000+小时具身导航数据的训练,LightNav-0在全部10个公开导航仿真设置上取得最先进的单目成功率,并在真实世界中展示了跨机器人形态、跨场景、面向静态与动态目标的零样本泛化能力。

CLAP:跨形态视频世界模型,零样本的物理模拟器

general

CLAP在互联网规模的异构视频(涵盖人类与多种机器人)上训练动作条件视频世界模型,通过末端执行器位姿、语言指令与潜在动作三种表征统一互不兼容的动作空间,并采用基于课程学习的跨形态训练范式:先用潜在动作从无标注视频学习基础物理先验,再将其接地到末端执行器动作空间实现零样本部署。在DROID等挑战性环境中达到或超越单形态SOTA,并通过少样本适应进一步放大优势;所发布套件是目前覆盖动作条件空间与机器人形态最全面的视频世界模型,代码与模型全部开源。

Riemann-1.0:面向物理AI的具身世界动作模型

general

Riemann-1.0是一个完全因果的自回归世界动作模型(WAM),将多视角视觉观测、机器人状态与形态特定动作作为因果状态转移统一建模在单一序列中,同一模型既可在线执行机器人策略,又可充当多形态视觉世界模拟器。基于20万+小时人类与机器人交互数据的渐进式具身预训练,在RoboTwin2.0上达到94.3%、LIBERO上99.0%、长时程组合基准RoboCasa-365上62.6%(较此前最优提升8.4%);真实世界长时程操作任务成功率达85.0%、进度成功率达94.4%,较最强开源基线高出15个百分点。

Beyond Imitation:基于离策略Q-规划的自改进机器人策略

general

Q-Planning为大规模视觉运动行为克隆策略配备一个小型离策略Q函数,推理时用Q加权选择动作,在线自改进时只微调Q函数而不动策略权重。在LIBERO与双臂RoboTwin上,十轮自改进迭代提升所有基准分数(LIBERO-10从93%升至99%,RoboTwin从83.8%升至91.4%);在两个接触密集的双臂真实机器人任务中,同一循环仅凭部署rollout即可自改进(叠杯从40%升至90%、插钱包从25%升至80%),而仅用成功rollout的SFT停滞在55%和30%。

HumanTracker:面向全面且符合人类感知的人形运动跟踪基准

humanoid

HumanTracker是一个大规模基准,包含约153小时来自多位专业表演者的光学运动轨迹,用于评估人形运动跟踪;配套提出HumanScore——一种基于1.2万对运动数据训练、与人类偏好对齐的指标,能更好地预测人类感知,并揭示运动学指标容易忽略的接触与稳定性失败。

DreamX-Phi 1.0:面向机器人操作的动作条件视频世界模型

software

DreamX-Phi 1.0是一种动作条件视频世界模型:给定观测帧、语言指令与动作序列(末端位姿与夹爪状态),预测未来的观测结果;通过逐臂SE(3)几何编码、深度分支与SAM3+V-JEPA物体一致性约束保证预测忠实度,在WorldArena 2.0挑战赛中获赛道一第一、赛道二第二。

BrainWAM:面向自动驾驶的语义先验与预测动力学动作空间协同

general

BrainWAM是一种结构化的动作空间协同框架,将语义推理(VLA先验)与预测动力学(世界模型)统一用于端到端自动驾驶,在NAVSIM v1上达到89.5 PDMS、NAVSIM v2上达到89.6 EPDMS的领先水平,并通过异步整流流推理缩短推理延迟。

G0.5:单自回归流统一机器人推理与动作生成

humanoid

G0.5将推理与动作生成统一到单一自回归Transformer解码器中,推理token与动作token在同一目标下联合生成;在7个独立评测场景中全面超越现有SOTA,包括真实机器人微调(R1lite/R1pro上76.7%对π0.5的53.3%)、2025 BEHAVIOR挑战赛、DROID零样本迁移(82.5%)与LIBERO(98.9%)。

StellaVLA:上下文结构化演示驱动的可泛化视觉-语言-动作模型

humanoid

StellaVLA在测试时仅凭一条检索到的演示即可完成分布外适应:离线管线将原始轨迹自动转化为任务计划、子目标描述与口语化3D动作等结构化演示,作为上下文指导让策略“理解任务”而非“模仿像素”。在VLA-Arena排行榜(2026-08-01)以0.63总分登顶(π0.5为0.44),LIBERO平均成功率98.8%,且推理阶段零额外延迟。

MiDAS:单条演示即可启动的通用机器人策略最小数据适应

software

MiDAS提出“最小数据适应”范式:预训练策略仅需一条演示,经行为克隆锚定后再通过残差策略上的基于价值的在线强化学习自主提升。在LIBERO与RoboCasa上仅凭单条演示即恢复强任务性能,并在双臂YAM平台上用约6小时在线交互将脆弱策略提升为鲁棒策略——据论文所述,这是首次实现可靠的单条演示策略适应。

Surgical WAM:面向数据高效手术机器人学习的世界-动作模型

surgical

Surgical WAM先在无动作标注的内镜视频上预训练生成式世界-动作模型,再在固定预算的动作标注演示上微调,在四个模拟手术操作任务上将平均成功率从63.5%提升至77.8%。

Flex-π:具备计算弹性的多流世界-动作模型

humanoid

Flex-π是一个60亿参数的世界-动作模型,在共享潜空间中联合去噪3D几何、物体中心语义、RGB与动作信号;利用冻结的视频VAE几乎无损地编码点图,在灵巧的真实世界双臂操作任务上相较最强基线取得2-7倍提升,且推理速度快于π0.5。

藏在明处:面向视觉-语言-动作模型的扩散式无限制机器人攻击

software

DURA通过基于扩散模型的无限制攻击为视觉-语言-动作模型生成视觉上自然的对抗补丁,支持白盒与黑盒两种设置,能在仿真与真实物理世界中引导机器人执行攻击者指定的动作。

RynnValue:用时间距离扩展机器人价值基础模型

software

RynnValue 是一个开源的机器人操作价值基础模型,用时间距离——从观测到语言指定目标的定向代价——替代偏好或进度标注作为监督信号。该方法无需偏好标注,在超过 7,000 小时、约 300 万条指令条件片段上训练,在 RBM-EVAL-OOD 上取得 0.675 的平均 Kendall tau_a,超过完全偏好监督的最先进方法(0.655),并比仅用进度的基线(0.292)提升一倍以上,且能零样本泛化到未见任务、具身与视角。通过基于势能的奖励整形转为稠密奖励后,真实世界策略成功率在线从 52.5% 提升到 72.5%,离线从 63.8% 提升到 82.5%。

SLIM-0.5B:面向机器人操作的行动锚定预测隐空间学习

software

SLIM 是一个仅 0.5B 参数的紧凑隐空间交互策略,通过自监督掩码轨迹预测学习行动锚定的预测隐变量——同时刻画行动条件下的未来状态转移与能解释观测变化的行动——结合动作重建与未来隐变量预测。紧凑的 Mixture-of-Transformers(MoT)骨干网络建模观测隐变量与动作 token 之间的交互,策略采用流匹配训练以生成语言条件下的动作。在仿真基准与真实世界评估中,SLIM 以更少的参数、无需额外的具身预训练、更低的推理延迟与显著更低的 GPU 内存占用,达到或超过代表性的大规模 VLA 与世界行动模型基线。

FactorDrive:由规划关键因子驱动的自适应多步推理端到端自动驾驶

amr

FactorDrive 是一个端到端自动驾驶框架,将规划推理锚定在与轨迹相关的空间-物理证据上,并根据场景特定的规划需求自适应推理深度。它以大规模驾驶域指令微调为基础,构建了围绕规划关键因子(PCF)组织的 PCF-CoT 思维链数据集,并提出 QS-GRPO:用轨迹级规划奖励引导蒙特卡洛树搜索(MCTS)发现更高质量的推理路径,再通过 GRPO 优化策略。在开环 nuScenes 与面向闭环的 NAVSIM 基准上的大量实验表明,FactorDrive 取得了最先进的规划性能。

学习自适应步态时序的容错运动控制

humanoid

本文提出一种面向执行器断电故障的深度强化学习容错四足运动控制方法。非对称 actor-critic 架构让 critic 在训练时使用特权信息,而 actor 仅从本体感觉观测中重建对应的潜在表征,并通过潜在对齐损失保证两者一致。动作空间被扩充了一个可学习的步态频率参数,使策略能够根据地形变化与执行器退化自适应调整步态时序,而无需预定义故障腿策略。该方法在崎岖地形的高保真仿真与 68 kg 四足机器人的平地真实实验中均得到验证。

基于 6D 动态触觉传感的瞬时外部接触检测与测距

components

TECDAR 利用嵌在夹爪指尖的单个 2.5×3 mm 6D 惯性测量单元(IMU)实现动态触觉传感,用于检测并定位被抓物体与环境之间的瞬时外部接触。传感器以 7 kHz 采样率捕捉亚毫秒级的指尖形变,而数据流仅为 84 KB/s;将触觉数据与机器人位姿经扩展卡尔曼滤波融合后,可在 180 ms 内将接触定位到约 7 mm 的精度。这种近乎实时的定位使机器人能在毫秒尺度上修正轨迹,为精密装配、手术辅助以及依赖触觉探索的自主作业提供了关键能力。

AtlasVLA:面向视觉-语言-动作模型的持久世界-自我状态建模

software

AtlasVLA 针对视觉-语言-动作(VLA)模型在部分可观测、长时程任务中的反应式局限,提出双记忆架构:4D 持久世界状态记忆将瞬态 2D 观测提升为全局更新的体素哈希空间状态,自我工作状态记忆则追踪历史自我状态与任务进度;扩散 Transformer(DiT)以该联合世界-自我状态为条件进行主动推理。仅使用单个腕部相机,AtlasVLA 即在 LIBERO、RLBench 与真实世界基准上取得 SOTA 成绩,在 LIBERO-Long 上超出多视角基线 9.4%,在真实长时程任务上超出 17.5%。

ω-0:面向人形机器人同步移动-操控的隐空间预测世界行动模型

humanoid

ω-0 是一种全身世界行动模型,使单一人形机器人策略能够根据语言指令和视觉观测,在移动、调整姿态、保持平衡的同时完成物体操控。它不重建未来视频,而是学习紧凑的隐空间未来观测嵌入,并与基于扩散的全身动作生成耦合,再通过基于控制器的仿真回放将人类运动先验落地为可执行的行动隐变量。基于新构建的 40 多小时 ω-HOME 数据集,单一模型即可在 11 项真实家庭任务上生成流畅的边移动边操控行为,持续超越模仿学习、VLA、人形机器人与世界行动模型基线。

DyPES-VLA:面向跨本体操控的共享动力学先验与本体特定控制学习

software

DyPES-VLA 是一种跨本体视觉-语言-行动(VLA)框架,将共享的动力学先验与本体特定的控制解耦。未来预测目标使视觉-语言骨干在异构数据上捕获物体运动、接触与交互引起的场景变化;本体特定的混合专家(MoE)动作头则直接在每种机器人的原生动作空间中把这些先验转化为可执行动作,免去手动动作对齐。作为单一通用策略,它在 LIBERO 上达到 98.0% 成功率,在 RoboCasa-GR1 上为 59.25%,在 RoboTwin 2.0 上为 89.02%。

一张纸劫持机器人:VLM 控制机器人物理提示注入的系统性研究

general

该研究证明,放置在机器人视野内的对抗性文字可作为针对 VLM 操控的间接提示注入。在 GPT-4o、Gemini 2.5 Flash 与 Qwen3-VL-32B 上进行的 5,670 次试验中,物理标识攻击分别以 27.0%、29.4% 与 5.0% 的成功率得手,其中权威冒充与否定类攻击可跨三种模型迁移。简单的防御手段——提示加固、两阶段验证与文本掩码——可将风险大幅降低(最高达 100%),但各有取舍。

BridgeVLA++:具备数据高效、强泛化与记忆增强能力的 3D 操作视觉-语言-动作框架

software

BridgeVLA++ 在数据高效的 BridgeVLA 三维操作框架之上引入统一的时空记忆架构,同时建模持久的空间上下文与时间交互历史,使策略能够基于观测历史进行推理,且不牺牲数据效率与泛化能力。该方法在两个依赖记忆的操作基准上达到当前最优,支持双臂操作场景,并在另一套真实机器人平台上完成验证。

DreamWAM:超越 RGB 的未来预测——世界动作模型的新范式

software

DreamWAM 将世界动作模型中的未来预测重构为超越 RGB 的结构化建模——训练时联合预测外观、运动、几何与语义,推理时仍只依赖 RGB。它在 LIBERO 上将匹配的 RGB-only 基线从 97.30% 提升至 98.40%,在未见过的 LIBERO-Plus 扰动下增益更为显著(51.36% 提升至 63.44%),并在真实世界中把平均成功率从 55.6% 提升至 74.4%(面对未见过的光照、背景与物体布局变化)。代码与模型已开源。

PRIMAL3:借助 LaCAM3 的大规模多智能体强化与模仿学习路径规划

amr

PRIMAL3 是一个超大规模的学习式多智能体路径规划(MAPF)框架,融合了强化学习、拓扑感知通信、LaCAM3 引导训练与基于 PIBT 的动作精化。它专门针对瓶颈、死胡同、持续冲突等拓扑关键状态下的失败,可扩展至多达 10 万个智能体的城市级实例,显著优于现有最优的学习式基线,并已在真实机器人系统上完成验证。

8 GB 预算内的双臂操作:零拷贝感知与量化 ACT 登上入门级 Jetson

industrial-arm

本文在入门级 Jetson Orin Nano Super(8 GB)上完整运行了一套双臂 SO-101 抓取-放置系统——感知、策略与控制全部在边缘完成,桌面 GPU 仅用于离线训练。基于 GStreamer/NVMM 的零拷贝流水线将最坏延迟从 117.31 ms 降至 101.52 ms,单核 CPU 峰值占用从 98.0% 降至 77.0%;TensorRT 转换使 ACT 推理延迟由 114.02 ms 降至 FP16 的 17.93 ms(6.4 倍)与 INT8 的 12.65 ms(9.0 倍),任务成功率保持不变(19/20、18/20、19/20)。论文还报告了两项 ACT 此前未被记录的发现:INT8 校准只量化 ResNet18 主干、对 145 个 transformer 层全部拒收;以及量化的必要性取决于动作分块配置。

GORDON:基于图的物体中心奖励,实现长时程操作任务的自动分解

software

GORDON 从无动作的视频示教中学习稠密奖励:将每个视觉场景表示为检测物体及其空间关系构成的图,并用自监督图神经网络把这些图嵌入到与任务对齐的隐空间。该奖励的时间曲线在长时程任务中会显露出阶段式的物体状态迁移,从而支持自动子任务发现与顺序组合策略。在 MAGICAL 与 ManiSkill3 的七个操作任务上,长时程任务平均成功率达 74.4%,较最佳学习基线提升约 35 个百分点、较 oracle 提升约 25 个百分点。

PhyAI:一套运行时打通物理 AI 的边缘实时推理与云端规模化部署

software

PhyAI 是一个统一的物理 AI 推理引擎,以单一运行时在机载、边缘与云端部署视觉-语言-动作(VLA)模型和世界动作模型(WAM)。模型适配器封装了架构相关的条件计算、求解器、缓存与输出逻辑,而图执行、算子、内存管理与并行服务全部共享,相较 pi0、pi0.5、GR00T N1.7、MiniCPM-Robot 的官方实现取得 1.40–4.65 倍加速,并在 Cosmos3-Nano-Policy-DROID 上实现 2.08 倍延迟降低。论文还提出控制时 Roofline,用于区分推理受限与环境受限的控制回路。

Ego2Robot:从第一视角人类数据规模化合成机器人数据

software

Ego2Robot 是一条可扩展的数据合成流水线,通过动作重定向、机械臂视觉合成与多级质量筛选,将第一视角人类操作视频转化为机器人训练数据,产出横跨 15 种机器人形态、共计 18,561 小时的训练数据——这是迄今规模最大的 ego-to-robot 数据集。在合成数据与真实机器人数据上的联合预训练,能在视觉外观、场景布局、本体形态与任务语义等多个扰动维度上持续提升分布外泛化能力,并在真实机器人部署中得到验证。

动作分块为何能提升机器人控制中的行为克隆性能?

general

本文对动作分块(action chunking)为何能提升行为克隆性能进行了严谨剖析。仿真与真实世界实验推翻了主流假说(时间一致性、视界缩短、表征学习),指出真正收益来自更强的非马尔可夫表达能力、更低的误差累积,以及一个新识别的机制——隐式集成(implicit ensembling)。作者在完全不使用动作分块的情况下,通过将策略部署为随机延迟策略的集成,复现了分块策略的性能,并提出一种显式实例化集成的策略类,在多个领域显著超越动作分块。

StableMimic:人形机器人动作跟踪的平滑类人跌倒恢复——在跟踪分布之外学习结构化倒地后行为

humanoid

StableMimic 是一个在名义跟踪分布之外训练的统一人形机器人动作跟踪策略,能够在跌倒后自主恢复。围绕多个人类起身参考的扰动重置暴露了俯卧、仰卧与失衡等状态;专用的跟踪与恢复专家由本体感觉门控持续混合,隐藏后继状态目标则在不向部署策略暴露参考身份的前提下塑造类人恢复行为。在重定向后的 LAFAN1 舞蹈子集上,它在五种方法中取得全部四项跟踪指标的最低误差;在匹配的推倒实验中 100/100 次成功恢复,并在真实宇树 G1 机器人上得到验证。

WCM:面向视觉-语言-动作模型强化学习的 World Critic 模型

software

WCM 用基于轻量级 LeJEPA 架构的 World Critic 取代 VLA 强化学习后训练中的标量回报评论家,在估计价值的同时联合预测未来潜在状态,为评论家赋予显式的时间结构。在四个基准的 149 个任务与 7 个真实操作任务上,WCM 在 Pi0、Pi0.5 与 OpenVLA-OFT 上均取得分布内与分布外的最优性能。

BWM:面向机器人学习的低成本高保真世界模拟器

software

BWM 是一个开源、低成本、动作条件的世界模型,可预测机器人操作任务的未来观测,既可作为数据引擎,用动作对齐的 rollout 扩充模仿学习数据,也可作为策略评估器,用于闭环评估、风险预判与策略排序。它在 WorldArena 挑战赛中 Track 1 与两个 Track 2 应用中总排名第一,并已开源模型权重、训练与推理代码及接口。

CLIFT:通过非侵入式闭环迭代微调,将 Gemini Robotics On-Device 打造成人形机器人专家

humanoid

CLIFT 展示了如何通过受管监督微调(SFT)API,将闭源权重的人形机器人基础模型定制为敏捷、接触密集任务的专家。通过把部署期的奖励反馈转化为 API 兼容的监督数据,CLIFT 在两个飞轮周期内将 Gemini Robotics On-Device 推向近乎完美的成功率——全程无需接触权重、梯度或损失。

PAC-MAN:面向全身安全的人形机器人躲避球感知感知 CBF-RL 框架

humanoid

PAC-MAN 将控制屏障函数(CBF)安全机制与贴近部署的真实机载感知相结合,用于人形机器人全身闪避。仅凭头戴相机与训练期 CBF 引导训练的策略即可达到接近特权状态oracle的闪避表现,零样本部署到宇树 G1 后在真实世界投掷中成功率达 95%。

FasTac:面向高速高精度三维形貌与力感知的曲面多光谱视觉触觉传感器

components

FasTac 是一款曲面视觉触觉传感器,将多光谱光度立体、动态卷积力估计与 FPGA 硬件加速集成于紧凑形态。深度误差降至 0.0415mm MAE,三轴力估计 NMAE 约 2.4%-2.7%,FPGA 部署将处理延迟缩短至 1.09ms。

TacWAM:基于锚点引导与力学感知触觉预测的世界动作模型

software

TacWAM 是一个预测未来触觉状态(外观、密集力场与形变流)来监督接触丰富操作学习的世界动作模型,在四个真实世界任务上平均成功率达 75.0%,比最强基线高出 37.5 个百分点。

TurboVLA: 在RTX 4090上以32Hz、小于1GB显存运行的实时视觉-语言-动作模型

software

TurboVLA 将传统的 V→L→A 范式重构为直接的 V+L→A 映射,消除了大语言模型作为中心瓶颈。仅 0.2B 参数,在 LIBERO 上达到 97.7% 平均成功率,RTX 4090 上以 32Hz 推理,仅需 0.9GB 显存,匹配或超越远超其规模的 VLA 策略。

HumanCLAW:视觉语言模型能否通过身体行动?

general

HumanCLAW 提出了一种将动作决策与运动执行解耦的具身 AI 评估框架,在 41 个场景中的 1,218 个第一人称“寻找-导航-交互”长程任务上评估了 9 个最先进的 VLM。最佳模型仅达 16.8%——揭示了当前 VLM 从根本上缺乏具身自我意识。

SymmGrid:利用并行化对称性与第一人称-第三人称视觉感知加速机器人真实学习

software

SymmGrid 利用并行化对称变换大幅加速机器人真实强化学习。在真实机器人操作接触任务上实现 1.37-2.17 倍的训练加速(壁钟时间),插销插入和缆线布设在 10.9-16.6 分钟内收敛,归一化 AUC 提升最高达 2.59 倍。

$\pi\mathbf{R}^2$: 具有反应能力与实时性的流策略

software

πR² 通过将条件输入拆分为快速本体感知通道(每控制周期更新)和异步更新的慢速视觉语言通道,并结合延迟自适应流调度,使基于大骨干网络的动作分块流策略获得反应能力和实时性。应用于 GR00T-N1.7 后,在 A5000 GPU 上以约25Hz频率重规划,真实场景任务成功率最高提升30%。

Pictura: 基于第一视角的大规模自博弈自动驾驶策略学习

amr

Pictura 是一个 GPU 加速的多智能体驾驶模拟器,在每个时间步渲染每个智能体的自我中心视角,首次实现了无需特权观测、直接基于第一视角图像的大规模驾驶自博弈策略训练。训练出的 Alberti 策略性能接近使用特权向量化观测的对应策略,并能零样本迁移至 Waymo 数据集。

HiFi-UMI: 仅使用高保真UMI数据训练可部署的机器人操作策略

software

HiFi-UMI 通过头戴式立体惯性SLAM、原生相对位姿估计和超广角立体相机,将机器人无需遥操作干预的UMI数据采集精度提升至末端执行器3毫米。仅基于此数据微调的策略在三个骨干网络家族上与同场景遥操作基线性能持平,4000小时预训练语料将未见任务的动作误差降低41%。

Data Pyramid for Embodied Manipulation: 具身操作的数据金字塔

general

本文系统性地梳理了具身智能体的数据生态系统,将其组织为五层数据金字塔:真实机器人数据、UMI风格数据、自我中心与外中心数据、仿真数据、通用视觉语言数据。围绕可扩展性与机器人对齐之间的张力展开分析,并从数据配方角度审视了近期具身基础模型的能力来源。

FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning: 视觉-触觉世界模型用于层次化接触预测与规划

general

提出层次化视觉-触觉世界模型FeelWorld,联合预测未来视觉潜在特征与三种触觉状态(接触、三维触觉潜在编码、滑动)。引入接触门控非对称注意力机制,在自由空间运动中保持纯视觉预测路径,接触后激活触觉预测。在芯片抓取、水果抓取和USB插入任务上,80步自回归滚动后LPIPS比纯视觉基线低61%,零样本规划成功率81.7%。

Learning Reusable Hybrid Motion Priors for Humanoid Locomotion from Motion Imitation: 从运动模仿学习可复用的混合运动先验用于人形机器人 locomotion

humanoid

提出三阶段流水线将运动模仿技能转化为可复用的混合运动先验(HMP)。先训练专家策略模仿人类动作捕捉数据,再蒸馏为冻结的RVQ码本架构,最后训练任务级策略通过选择离散码本条目实现 locomotion。速度追踪策略成功部署到真实Unitree G1机器人上。码本结构呈现可解释的层次化步态模式。

ViTacWorld:面向接触丰富机器人操作的视触觉世界模型规模化

general

ViTacWorld 是首个面向接触丰富操作的视触觉世界模型框架。它利用公开真实触觉数据集和仿真环境预训练视触觉-动作轨迹,利用触觉信号比视觉观测具有更小的仿真-现实差距这一特性,同时作为数据增强引擎和策略评估工具,生成物理上有意义的轨迹以提升下游触觉策略性能。

DynaMAC:面向动态环境的高样本效率双臂协作操作

industrial-arm

DynaMAC 通过将对手臂视为动态任务参数,解决了多流策略在动态环境中的因果限制,为动态操作和双臂协调提供了统一表述,无需显式的主从关系。它在领先基线上提升 35+ 个百分点,同时所需样本减少 20 倍,并能从静态演示零样本泛化到动态环境。

Pigey:通过物理智能体编排弥合通用机器人的编排鸿沟

general

Pigey 提出了一种闭环物理智能体编排器,能够将高层目标分解为子目标、调用低层 VLA 策略、跟踪执行结果并从失败中恢复——整个过程无需额外数据采集或微调。在 LIBERO-PRO 上达到 SOTA 的 4 倍(12.8%→53.3%),在真实机器人推理受限任务中将冻结策略从近乎零提升至 90% 的成功率。

AXIS:面向可扩展机器人操作的可生长社区驱动数据引擎

general

AXIS是一个可扩展的社区驱动机器人操作数据引擎和基准,支持基于浏览器的遥操作、自动生成并验证新操作任务、以及将社区收集的演示数据转化为训练就绪数据。AXIS数据集包含207个多样化任务和5万+条轨迹。在AXIS上持续预训练使π0.5的整体成功率提升5.8%,超越在RoboCasa365上预训练的模型37.3%,并随数据量增长呈现一致的扩展特性。

RL-MACRO:面向多模态自适应机器人颅骨切除的控制论闭环智能框架

surgical

RL-MACRO是一个用于自主机器人颅骨切除的闭环控制论框架,整合了多模态感知(力和声音)、基于离线隐式Q学习(IQL)的自适应决策和机器人执行。CNN-LSTM观测器从部分感知反馈中重建隐藏温度状态(R²=0.939,MAE=1.717°C)。双头Actor动态协调进给速度、主轴转速和切割深度。在牛肋骨和离体山羊头骨上的实验验证了鲁棒的感知能力、对力/温度异常的适应恢复能力以及在不规则表面上的平滑执行。

Robostral Navigate:基于8B视觉语言模型的单目RGB纯视觉导航

amr

Robostral Navigate是一个8B参数的视觉语言导航模型,仅需单目RGB图像——这是所有机器人平台上最普遍的传感器——即可通过在当前视野中指向下一个目标位置来预测路点。纯图像空间操作使其对相机内参和场景尺度变化具有自然鲁棒性,可在轮式、足式和空中机器人之间零校准部署。在R2R-CE上达到77.4%的成功率,在RxR-CE上达到75.1%,超越最佳单目方法10.5个百分点,甚至超过基于深度或多相机的系统5.3个百分点。

DEED:面向零售人形机器人的数据高效后训练与经验驱动学习VLA框架

humanoid

DEED是一个弥合人形机器人VLA系统从实验室到商店部署鸿沟的系统级框架,在超市货架补货任务中基于Unitree G1-Edu和GR00T N1.6进行了验证。它表明,通过精心设计数据和使用单GPU进行定向后训练,可以将朴素微调下失败的策略转化为可在真实世界中运行的系统,证明实验室到商店的鸿沟主要是一个系统集成挑战。

HOST:机器人从单段人类视频中秒级习得操控技能

general

HOST使机器人能够从单段人类视频中平均29秒习得新的操控技能,同时保留已掌握技能。它在各任务上达到62%的平均成功率——超过零样本基线45%,甚至超过每个任务用50段机器人演示微调的基线,且所需演示量少50倍,技能习得快507倍。

Diffusion ReRoll:面向机器人序列预测的可修正去噪方法

general

Diffusion ReRoll提出结构化重噪声方法,使预测序列中的早段和晚段能够相互修正。在OGBench上,它比Diffusion Forcing的引导规划成功率相对提高21%;在LIBERO-10上,比Diffusion Policy的动作预测相对改进56.5%;在统一视频-动作预测中取得了最佳的动作-视频一致性。

掩膜视觉动作:面向统一世界建模的像素空间控制接口

general

本文提出掩膜视觉动作(Masked Visual Actions),一种将机器人动作表示为视频中部分揭示轨迹的像素空间控制接口。仅用15小时掩膜示例微调,单个检查点即可在多样场景和多种机器人形态上实现高保真前向动力学预测和逆建模,并支持基于排名的模型预测规划和策略评估。

基于外翻生长机器人的脊髓蛛网膜下腔安全介入与内镜成像

surgical

本文报道了一种直径2毫米的外翻生长机器人平台,能够在人体脊髓蛛网膜下腔实现低摩擦推进和转向。通过尸体实验验证,该机器人在150毫米鞘内延伸过程中,平均交互力降低65.2%,峰值力降低48.0%,且未对硬脊膜或神经结构造成可观察的宏观损伤。

Koopman DCM:基于不稳定本征函数的双足平衡数据驱动表示

humanoid

本文首次将运动发散分量(DCM)推广为Koopman本征函数,利用仅1小时的真实机器人数据学习不稳定特征对。在真实双足机器人上,学习得到的Koopman DCM改善了参考步态跟踪性能,并与模型预测控制结合提供基于状态的生存性约束。

重要性采样与主成分分析在商用车自动驾驶故障发现中的应用

amr

本文将适应性压力测试(AST)和扩散故障采样(DiFS)应用于真实商用自动驾驶卡车栈,结合PCA分析对故障模式进行分类与诊断,在汇入和切入场景中发现了传统蒙特卡洛仿真无法触及的罕见碰撞故障。

RynnBrain 1.1:迈向更强大、更通用的具身基础模型

software

RynnBrain 1.1 发布涵盖 2B 至 122B 参数的具身基础模型家族,新增接触点预测与原生 3D 定位能力,在 VSI-Bench、MMSI、RefSpatial-Bench 等基准上超越所有开源及商业模型,并在 Unitree G1、Astribot-S1、天玑无极三款机器人上完成跨本体 VLA 部署验证。

流形引导的精密装配运动规划

industrial-arm

CMG-RRT 提出基于临界流形引导的采样规划方法,在精密装配任务中实现 100% 成功率,首次自动求解 Elk 益智拆卸谜题,并提供概率完备性证明。

Handroid:灵巧手与人形机器人的桥梁

humanoid

Handroid 是一款紧凑型 27 自由度可重构机器人,能够在一套硬件上分别充当灵巧的仿人手掌或 0.33 米高的桌面人形机器人,并在操作、运动规划与长时序重构任务上得到实验验证。

Orbis 2:面向驾驶的分层世界模型

software

Orbis 2 提出了一种分层驾驶世界模型,采用扩散强迫预训练与教师强迫微调相结合的两阶段训练范式,在长时序生成质量、转向响应能力和内部表征质量上达到当前最优水平。

AC-VLA:通过组合学习实现鲁棒的分布外动作执行

software

AC-VLA 是一个即插即用的组合学习框架,解决了 VLA 模型中的轨迹过拟合和感知捷径问题,在组合分布外任务上实现约 28% 的绝对提升,同时保持近乎完美的分布内性能。

RoboTTT:上下文长度缩放——机器人策略模型的新维度

general

NVIDIA联合斯坦福大学团队提出RoboTTT,首次将机器人视觉-语言-动作策略的上下文窗口扩展至8000时间步,实现从人类视频演示中一次性模仿学习、在线策略改进以及长时序复杂装配任务的完全自主完成,性能较单步基线提升87%。

Stigmergic Graph Memory:基于执行记忆的多对多多智能体货物搬运

amr

本文提出Stigmergic Graph Memory (SGM),一种有界衰退记忆层,通过记录仓库节点和边的近期执行信号来优化端点选择和路由偏好,在15种地图负载条件下实现20.5-36.7%的吞吐量提升。

扩展行为基础模型:迈向通用人形机器人控制

humanoid

本文提出扩展行为基础模型(BFM)的系统性框架,通过运动跟踪学习范式、策略-数据协同和Humanoid Transformer架构,在仿真和真实场景中将人形机器人控制精度提升10%至82%。

DriftWorld:漂移生成模型驱动的快速世界建模

software

DriftWorld利用漂移生成模型替代扩散模型,实现30+ FPS的单步世界模型推理,速度提升17倍,并在多个机器人操作基准上取得最先进决策性能。

AeroAct:以动作为中心的世界动作模型用于语言条件四旋翼飞行

drone

AeroAct是首个在实际四旋翼无人机上验证的世界动作模型(WAM),通过适配预训练的视频扩散Transformer,从第一视角视觉、本体感知和自然语言中预测轨迹-动作片段,实现闭环空中导航。

BridgeFlow:基于流匹配的快速鲁棒SE(2)等变运动规划

general

BridgeFlow通过轻量级任务中心规范化与流匹配相结合,实现了快速的SE(2)等变运动规划,在扩散基线方法上取得高达15倍推理加速和2倍有效轨迹率提升。

Reflex:基于流式推理的实时VLA控制

software

Reflex通过利用时间步不变性(timestep-invariance)属性,实现了流匹配VLA策略的实时流式推理,在标准基准上达到2.58倍加速和50Hz稳定流式输出。

Open-AoE:面向具身学习的开源自我中心操作数据集与工具链

humanoid

Open-AoE 是一个大规模的自我中心操作数据集,包含约2000小时的真实环境操作视频,提供完整的标注和工具链支持,降低具身智能研究的数据门槛。

基于V2X的机器人多机协同系统:迈向智能交通互联新范式

amr

基于视觉语言模型的DexSim2Real:实现灵巧操作的零样本虚实迁移

humanoid

基于V2X技术的社会机器人多机协作架构

amr

触觉引导的精密装配:突破亚毫米级插入难题

components

DexSim2Real:利用基础模型实现通用灵巧操作的虚实迁移

humanoid

触觉增强:迈向亚毫米精度精密装配的新范式

industrial-arm

用于 ISAC 支持的机器人避障的面向目标的语义通信

drone

最新机器人研究突破:Goal-Oriented Semantic Communication for ISAC-Enab...

drone

多智能体AI赋能自适应AR机器人训练:超越静态指令

industrial-arm

界面感知轨迹重构:让受限演示“进化”为高效机器人策略

industrial-arm

OmniTrack:基于物理一致性引导的人形机器人通用运动追踪框架

humanoid

OmniTrack:基于物理一致性引导的人形机器人通用运动追踪框架

humanoid

SODA-CitrON:基于在线聚类的多模态传感器静态目标数据关联新算法

general

打破接口枷锁:基于接口感知轨迹重构的辅助机器人高效学习

general

意图重构:让低维交互界面实现高维机器人精准控制

general

突破限制:面向低维控制接口的辅助机器人轨迹重构算法

general

ZEST:波士顿动力重磅发布!人形机器人零样本动作迁移新突破

humanoid

ZEST:波士顿动力重磅发布!人形机器人零样本动作迁移新突破...

SPARR框架:打破“仿真到现实”壁垒,实现无监督高精度机器人组装

industrial-arm

SPARR框架:打破“仿真到现实”壁垒,实现无监督高精度机器人组装...

从受限操控到自由灵动:界面感知轨迹重构助力残障人士操控高自由度机器人

industrial-arm

从受限操控到自由灵动:界面感知轨迹重构助力残障人士操控高自由度机器人...

SODA-CitrON:基于在线聚类的多模态异构传感器静态目标关联新框架

amr

SODA-CitrON:基于在线聚类的多模态异构传感器静态目标关联新框架...

具身智能最新进展:2026年人形机器人论文综述

humanoid

2026年初人形机器人领域论文综述,涵盖运动控制、感知融合等核心方向。

人形机器人核心执行器 BOM 成本拆解:2025 年供应链全景

humanoid

基于对 12 家核心供应商的深度访谈,拆解人形机器人关节执行器的完整 BOM 成本结构。