不渲染图像,也能训飞行:事件相机仿真快到半小时学会穿障碍

· 编辑团队 estimated
事件相机 空中机器人 仿真 强化学习 机载计算

研究者提出一种解析式事件仿真器:跳过"先渲染照片级图像、再转成事件流"的传统流程,直接从场景几何与自身运动合成事件,单张64x64观测只需17微秒,比当前最好的渲染式管线快400倍以上。这让端到端强化学习在30分钟内收敛;量化到1.2MB的int8策略完全机载运行在56克Crazyflie上,在三条真实障碍赛道取得82%平均成功率。

原文 · arXiv:2610.37543

事件相机天生适合小型高速机器人。它输出的是每个像素的亮度变化而非整帧图像,因此具备微秒级延迟、极高动态范围和毫瓦级功耗——正是56克四旋翼以2.5米/秒穿越杂乱环境时最需要的三个特性。传感器从来不是瓶颈,瓶颈一直在训练。

基于视觉的飞行策略做强化学习,需要上亿次仿真交互。常规做法是先渲染一张照片级图像,再把图像转成事件流。渲染吃掉了绝大部分开销,而事件相机只对边缘和运动敏感、对”长什么样”并不敏感,于是渲染出来的大量纹理细节,对最终事件信号毫无贡献。整条流水线的速度比被仿真的物理过程慢上千倍,算力花在了传感器根本不会上报的信息上。

核心创新

作者的出发点只有一句话:事件相机本质上测量的是运动的对比度边缘。既然这是它唯一上报的东西,仿真器就只需要几何与自身运动,不需要外观。

从几何直接合成事件。 事件流由场景结构和相机运动解析生成,整个闭环里不渲染任何一帧图像。既然不需要光栅化,单次观测的开销就断崖式下降。

17微秒一张观测。 单张64x64事件观测在单块GPU上耗时 17微秒,作者实测比当前最先进的渲染式管线快 400倍以上。

一杯咖啡的时间完成训练。 面向目标导向避障的端到端强化学习在 30分钟内收敛,比基于渲染事件训练快约三个数量级。这会改变实际工作流:改网络结构、改奖励函数的迭代从”预约集群”变成”一个下午反复试”。

用物理级仿真器验证迁移。 在解析世界里训练出的策略,零样本迁移到Isaac Sim的光线追踪事件仿真中。这一步区分了”仿真器很快”和”仿真器是有效近似”。

实验结果

真正的分量在硬件那一段。

  • 在训练中未见的杂乱赛道里成功率为 83%,难度中等(可通行概率约0.57),平均目标速度 2.4米/秒。
  • 在纹理密集的室内大厅仿真中仍有 70% 成功率——对一个只吃边缘的传感器来说,这是刻意设置的对抗场景。
  • 策略被量化成 1.2MB的int8网络,完全机载运行在56克Crazyflie上,搭载Prophesee GenX320事件相机与OpenMV N6微控制器。
  • 在不微调、无外部算力、无定位系统的条件下,三条难度递增的真实赛道取得 82%平均成功率(5/5、5/6、4/6)。

82%是应该引用的诚实数字,而三条赛道的分项成绩才让它可信。只报一个平均值,看不出策略是平滑退化还是在最难的赛道上直接崩掉;5/5、5/6、4/6说明性能确有下降,但下降是可控的。

局限性

飞行试验规模很小——三条赛道共18架次——每个成功率的不确定度都很宽,论文也没有给出坠机分析或失败归因。评测任务是赛道内的目标导向避障,而不是带地图、需要返航、或存在移动障碍物的导航任务。2.4米/秒对56克平台算得上快,但明显低于事件相机通常被宣传的敏捷区间,也就是说”事件相对帧图像优势最大”的工况恰恰没有被测到。仿真器的保真度受限于它”只看几何”的假设:光照变化、反射、非朗伯表面引起的事件无法表达,而纹理密集环境已经让它掉了13个百分点。此外,所有真机飞行似乎共用同一架机体与同一颗相机,传感器个体差异未被测量。

行业影响

更有价值的后果不是”仿真器变快”,而是事件驱动飞行的训练闭环便宜到了可以日常化。当一次策略训练只需半小时,团队就能像现在扫超参一样去扫奖励函数、传感频率和赛道分布——事件导航也就从一项研究专项,变成了一个工程选项。

机载结果给出了明确的集成指标:1.2MB int8网络跑在微控制器上,不需要伴飞计算机、不需要VIO、不需要外部定位。对巡检无人机、室内测绘平台,以及任何被载重和功耗卡住机型的场景来说,正是这份物料清单让事件感知真正可落地。它也消解了一个常见反对意见:事件流水线需要一块比相机省下的功耗还贵的GPU伴飞板。

剩下的差距在任务范围。穿赛道只是入门演示;商业价值在巡检、跟踪、以及在运转设备附近作业——在那里,事件相机的动态范围优势应该比在静态障碍场里更明显。这篇论文提供的是训练基础设施和嵌入式部署路径;证明同一套栈能处理这些更复杂的任务,是下一步,而这一步现在的实验成本已经低得多了。