北京大学前沿计算研究中心助理教授王鹤:面向室内外场景的半监督3D目标检测算法设计 | 讲座预告

伴随着自动驾驶的火热,3D目标检测在计算机视觉领域逐渐升温。与2D目标检测仅能检测出物体在二维图片中的位置不同,3D目标检测利用激光点云或者RGB-D深度图像,可以检测出物体在三维空间中的三维位置、长宽高、旋转角等信息。这些信息可以帮助自动驾驶汽车检测障碍物,避免碰撞的危险,也在室内场景理解中有重要而广泛的应用。

与众多视觉任务类似,3D目标检测的性能提升很大程度上归功于高度标注的3D数据集。三维数据的标注非常费时,而现实生活中我们可以轻松地获取海量的无标注数据。如何高效利用这些无标注数据、提高模型性能、降低对标注数据的依赖,成为当前学术界和工业界的共同追求,而半监督学习正是研究如何高效利用无标注数据的一个热门方向。

目前,最先进的半监督学习算法使用基于置信度的过滤机制来提高伪标签质量。3D目标检测也可以利用类似的方法,通过对分类概率设置阈值,来过滤掉潜在错误的伪标签。这种方法虽然有效,但不足以保证伪标签的定位质量,使得过滤后的伪标签在bounding box等参数中可能仍然存在较大误差。那如何进一步提高半监督3D目标检测中伪标签的质量呢?如何让该半监督方法同时适用于室内和室外场景呢?

在CVPR 2021中,斯坦福大学博士、即将入职北大的助理教授王鹤与清华大学高跃老师团队和NVIDIA的研究者们共同提出了一种新颖的半监督3D目标检测算法3DIoUMatch。该算法采用基于置信度过滤机制的半监督学习框架,并在此基础上引入了通过估计3DIoU而得到定位置信度。该方法显著提高了伪标签的定位质量,提升了半监督学习的成果。在室内数据集(ScanNet和SUN-RGBD)上,3DIoUMatch选择VoteNet用作为主干检测器,在所有的标签比例的实验中3DIoUMatch始终以显著的优势超越了之前的SOTA方法;在室外无人车数据集KITTI上,使用PV-RCNN作为主干检测器,3DIoUMatch也在所有物体类别上大幅了超越了全监督基线方法(从1.8%到7.6%不等)。

论文链接:https://arxiv.org/abs/2012.04355。

6月4日晚7点,智东西公开课推出「GPU加速青年学者研究讲座」,第1讲邀请到3DIoUMatch的一作、北京大学前沿计算研究中心助理教授王鹤进行主讲,主题为《面向室内外场景的半监督3D目标检测算法设计》。

在本次讲座中,王鹤教授将从半监督3D目标检测的研究与挑战出发,详细讲解基于3DIoU估计提高伪标签正确性的置信度过滤机制和半监督3D目标检测算法3DIoUMatch,最后分析GPU如何加速3DIoUMatch在室内和室外数据集上的训练。

王鹤是北京大学前沿计算研究中心助理教授,博士生导师,兼北京通用人工智能研究院(BIGAI)研究员。王教授于2021年在斯坦福大学获得博士学位,导师为美国两院院士Leondias J. Guibas。他的研究方向为三维视觉、机器人学等,并在CVPR、ICCV、ECCV等国际顶级会议上发表多篇论文。在博士期间, 他的工作开辟了类别级物体六维位姿估计这一子领域,并获得了2019年Eurographics best paper提名奖,同时他还将担任2022年国际计算机视觉与模式识别会议(CVPR)领域主席。

课程信息

课程主题

面向室内外场景的半监督3D目标检测算法设计

课程提纲

1、半监督3D目标检测的研究与挑战
2、基于3DIoU估计的伪标签筛选
3、半监督目标检测算法3DIoUMatch
4、GPU加速下的3DIoUMatch在室内外场景的应用

讲师介绍

王鹤,现任北京大学前沿计算研究中心助理教授,博士生导师,兼北京通用人工智能研究院(BIGAI)研究员;博士毕业于斯坦福大学电子工程系,导师为美国两院院士Leondias J. Guibas;研究方向为三维视觉、机器人学等,在CVPR、ICCV、ECCV等国际顶级会议上发表多篇论文;在博士期间, 他的工作开辟了类别级物体六维位姿估计这一子领域,并获得了2019年Eurographics best paper提名奖;同时他还将担任2022年国际计算机视觉与模式识别会议(CVPR)领域主席。

直播信息

直播时间:6月4日19:00
直播地点:智东西公开课知识店铺