牛津大学虚实整合系统组在读博士钟家兴:使用静态点云模型实现动态点云分类 | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

静态点云的分类分割在过去几年中取得了快速进展,然而这些静态点云模型并不能理解真实世界正在发生的变化。基于场景流的模型可以理解真实的世界,捕捉3D点云的运动,却很难将模型直接应用在动态点云上,因为将不规则、无序的点云有效地对应起来是很难甚至不可能的。

为了在不跟踪点云对应关系的情况下捕获3D运动,牛津大学虚实整合系统组在读博士钟家兴等人从运动学中获得灵感,提出基于静态点云模型的动态点云分类框架Kinet。Kinet将时空曲面(ST曲面)的运动学概念从点云的物理域推广到特征空间,从而绕过场景流估计,通过这种方式,这些ST曲面的法向量建立了动态信息的表示字段。因此,点云的运动可以由特征级ST曲面隐式表示,无需显式计算对应的点,从而实现动态点云的分类。

受迭代法线优化的启发,钟家兴博士等人还展开了ST法线的解算器,使Kinet能够与静态点云模型一起以端到端的方式进行联合训练,由于网络结构的微小变化和较低的计算开销,在给定的静态模型上很容易就可联合训练和部署Kinet。

9月29日晚6点,「AI新青年讲座」第162讲邀请到牛津大学虚实整合系统组在读博士钟家兴参与,主讲《使用静态点云模型实现动态点云分类》。

讲 者

钟家兴,牛津大学虚实整合系统组在读博士;师从Andrew Markham教授和Niki Trigoni教授,研究兴趣为机器学习和计算机视觉,主要是场景理解中的三维视觉以及视频分析;担任顶级学术会议或期刊CVPR、ICCV、AAAI、SIGGRAPH以及MICCAI、TMI等审稿人,并在计算机视觉相关领域多个顶级会议期刊发表多篇论文。

主 题

《使用静态点云模型实现动态点云分类》

提 纲

1、静态点云模型应用的局限
2、动态点云分类面临的挑战
3、基于静态点云模型的动态点云分类框架
4、在静态模型上的联合训练和部署

直播信息

直播时间:9月29日18:00
直播地点:智东西公开课知识店铺

成 果

Kinet:《No Pain, Big Gain: Classify Dynamic Point Cloud Sequences with Static Models by Fitting Feature-level Space-time Surfaces》

论文链接:https://arxiv.org/pdf/2203.11113.pdf

开源代码:https://github.com/jx-zhong-for-academic- purpose/Kinet.