ETH Zurich在读博士董浩:多模态融合的远距离高精语义地图生成|自动驾驶新青年讲座

「自动驾驶新青年讲座」由智猩猩企划,致力于邀请全球知名高校、顶尖研究机构以及优秀企业的新青年,主讲在环境感知、精准定位、决策规划、控制执行等自动驾驶关键技术上的最新研究成果和开发实践。

「自动驾驶新青年讲座」目前已完结28讲。有兴趣分享的朋友,可以与智猩猩教研团队进行邮件(class@zhidx.com)联系

高精语义地图(HD MAP)生成是自动驾驶的重要组成部分。然而,目前的工作是基于原始数据或网络特征级融合,且考虑短程高清地图生成,限制了自动驾驶在现实中的应用。

ETH Zurich在读博士董浩:多模态融合的远距离高精语义地图生成|自动驾驶新青年讲座

原始 Li-DAR 数据和相机数据具有不同的特点。激光雷达数据提供了准确的 3D 结构信息,但存在无序性和稀疏性。相机的数据是紧凑的,捕获更多的环境上下文信息,但缺少深度信息。来自苏黎世联邦理工学院、毫末的研究者充分利用 LiDAR 和相机数据,对不同阶段的多模态特征进行融合,并提出了一种可以预测长程的高精地图构建方法 SuperFusion。

在 SuperFusion 中,包含了前融合、中融合和中后融合三种融合策略,在生成短程( 30 m)的高清地图基础上,可以预测高达 90 m距离的远程高清地图。而通过预测的远程高清地图,我们可以为自动驾驶车辆做出更好的路径规划。

ETH Zurich在读博士董浩:多模态融合的远距离高精语义地图生成|自动驾驶新青年讲座

12月4日晚7点,自动驾驶新青年讲座第29讲邀请到 SuperFusion 一作、ETH Zurich 在读博士董浩参与,主讲《多模态融合的远距离高精语义地图生成》。其中,包括了 SuperFusion 和他们在多模态领域最新提出的泛化框架 SimMMDG。

讲者
董浩,ETH Zurich在读博士;主要研究方向为多模态学习和领域泛化,在 NeurIPS、ICRA、Robotics and Autonomous Systems 等会议/期刊上发表多篇一作论文。

第29讲
主 题
《多模态融合的远距离高精语义地图生成》

提 纲
1、多模态的融合和泛化问题
2、雷达-相机多层级融合的高精语义地图构建网络 SuperFusion
3、简单有效的多模态领域泛化框架 SimMMDG
4、多模态未来的发展

直 播 信 息
直播时间:12月4日19:00
直播地点:智东西公开课知识店铺

成果
论文标题:
《SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation》
《SimMMDG: A Simple and Effective Framework for Multi-modal Domain Generalization》
论文地址:
https://arxiv.org/abs/2211.15656
https://arxiv.org/abs/2310.19795
开源地址
https://github.com/haomo-ai/SuperFusion
https://github.com/donghao51/SimMMDG