FasTac:面向高速高精度三维形貌与力感知的曲面多光谱视觉触觉传感器
FasTac 是一款曲面视觉触觉传感器,将多光谱光度立体、动态卷积力估计与 FPGA 硬件加速集成于紧凑形态。深度误差降至 0.0415mm MAE,三轴力估计 NMAE 约 2.4%-2.7%,FPGA 部署将处理延迟缩短至 1.09ms。
原文 · arXiv:2607.28416背景
灵巧操作对触觉感知提出了严苛要求:指尖必须分辨精细接触几何、区分法向与切向载荷,并捕捉瞬态信号——同时还要适配机器人手指的曲面形态。现有曲面视觉触觉传感器难以在紧凑封装中同时实现精确的三维重建、三轴力估计与高速处理。这些能力此前都曾被分别验证过,但将它们集成在一起且不牺牲任何一项性能,一直是难点。
核心创新
FasTac 是一款曲面视觉触觉传感器,围绕三项协调的设计选择构建。首先,基于单图像传感器的多光谱光度立体提供空间对齐的观测,用于稳健的表面法向估计,随后通过边界先验快速泊松深度重建恢复形貌。其次,HyperForce 采用位置感知动态卷积网络,对曲面弹性体的空间非均匀力学响应建模,估计三轴接触力。第三,完整的”图像到法向-力”流水线部署在 FPGA 上,将繁重计算从 GPU 转移到传感器内部的嵌入式硬件。
实验结果
系统在重建精度、力估计与速度三个维度上进行了评估。近红外照明结合边界先验将深度平均绝对误差从 0.2730mm 降至 0.0415mm。HyperForce 对法向力与剪切力的归一化 MAE 分别为 2.74% 和 2.39%。FPGA 部署将处理延迟从 GPU 上的 3.26ms 缩短至 1.09ms。多物体重建、力反馈抓取与振动测量进一步验证了精细几何感知、稳定力反馈与动态接触感知能力。
局限性
评估聚焦于传感器核心感知指标;整手集成以及长期耐久性(磨损、热漂移、数月使用后的标定稳定性)未作详细讨论。FPGA 部署展示了特定的延迟预算,但功耗与制造成本相对 GPU 基线的权衡未在摘要中量化。
行业影响
可靠、低延迟的触觉反馈是商用灵巧手(物流分拣、装配、医疗健康)缺失的关键拼图之一。一款能够在嵌入式硬件上实现亚 50 微米深度精度、三轴力感知与毫秒级延迟的曲面指尖传感器,对夹爪与假肢开发者具有直接价值。FPGA 流水线预示了一种传感器架构:可以制成自包含的指尖模块而非依赖外部 GPU,这对需要大规模量产且成本敏感的机器人手具有重要意义。