基于 Transformer 激光雷达 3D 目标检测网络 CenterFormer | 自动驾驶新青年讲座14

「自动驾驶新青年讲座」由智东西公开课全新企划,将邀请全球知名高校、顶尖研究机构以及优秀企业的新青年,主讲在环境感知、精准定位、决策规划、控制执行等自动驾驶关键技术上的最新研究成果和开发实践。

「自动驾驶新青年讲座」目前已完结13讲!有兴趣分享的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

激光雷达三维物体目标检测是自动驾驶感知中的重要一环。伴随着 Transformer 在图像领域中的快速发展,如何在大规模激光雷达点云数据上,高效的使用 Transformer 结构来提升网络的性能给这个方向带来了新的挑战。相比于传统的方法,Transformer 中的注意力机制可以帮助网络捕捉到更多的全局和上下文信息。

来自图森未来和中佛罗里达大学的研究者们,在 ECCV 2022 的工作中提出了一种基于中心点的激光雷达物体检测 Transformer 网络 CenterFormer。CenterFormer 将三维物体检测划分成了两个步骤:首先,在三维网格空间内使用热力图来挑选候选的物体中心点;然后,用这些候选中心点的特征信息来作为 Transformer 中的 query 来进一步增强物体的特征信息并预测边界框信息。

同时,为了进一步融合来自时序的特征,他们也设计了一种通过 Transformer 中交叉注意力来融合特征的方法,并添加回归头来预测输出中心特征表示的边界框,该设计降低了 Transformer 结构在激光雷达点云上的收敛难度和计算复杂度。结果表明,在无锚目标检测网络的强基线方面有显着改进。

CenterFormer 在 Waymo 开放数据集上实现了单个模型的最高性能,验证集的 mAPH 为 73.7%,测试集的 mAPH 为 75.6%,显着优于所有先前发布的 CNN 和基于Transformer的方法。该成果也已被收录为 ECCV 2022 Oral。

2月3日上午10点,「自动驾驶新青年讲座」第14讲邀请到中佛罗里达大学在读博士、CenterFormer一作周子翔参与,主讲《基于 Transformer 激光雷达 3D 目标检测网络 CenterFormer》。

讲者
周子翔,中佛罗里达大学在读博士;主要研究兴趣是三维视觉和激光雷达感知的应用;在CVPR、ECCV、AAAI等学术会议上发表过多篇论文。

第14讲

主 题
《基于 Transformer 激光雷达 3D 目标检测网络 CenterFormer》

提 纲
1、激光雷达 3D 目标检测算法研究
2、Transformer 与大规模激光雷达点云数据
3、基于中心点的激光雷达目标检测 Transformer 网络
4、与之前 CNN 和 Transformer 方法的对比

直 播 信 息
直播时间:2月3日10:00
直播地点:智东西公开课知识店铺

成果
CenterFormer:《CenterFormer: Center-based Transformer for 3DObject Detection》
 论文地址:https://arxiv.org/pdf/2209.05588v1.pdf
 开源地址:https://github.com/TuSimple/centerformer