牛津大学博士后研究员边佳旺:室内单目深度估计中的复杂相机位姿 |  AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

无监督单目深度估计算法仅使用无需标注的单目视频作为训练数据就能在测试时提供较为准确的场景深度信息,因此这类算法自提出以来就广泛受到学术界和工业界的关注。然而目前大部分方法仅在自动驾驶场景(开车视频上)证明了良好的性能,将其用于室内VR/AR场景则表现一般或可能失败。

虽然低纹理等因素会使得算法更难在室内场景训练,但是牛津大学博士后研究员边佳旺等人认为复杂的相机运动才是更关键的原因。比如,在自动驾驶场景中相机一般被固定在车上稳定前行,而在室内VR/AR场景中相机会随着人(或手)无规律运动。基于这一假设,边佳旺博士首先对相机运动与深度估计的联系作出理论分析,然后提出数据预处理的方法进行实验验证,最后提出自校准网络实现可以端到端训练的无监督深度估计算法SC-Depth。

基于自校准网络(ARN)来解决复杂的相机旋转问题,并将其嵌入到深度估计训练框架SSC-Depth中实现端到端训练。最终SC-DepthV2在NYUv2、Make3D、Scannet等多个数据集上大幅超过现有算法。

7月6日晚7点,「AI新青年讲座」第134讲,牛津大学博士后研究员边佳旺博士将主讲《室内单目深度估计中的复杂相机位姿》。

讲者

边佳旺,牛津大学博士后研究员,博士就读于澳大利亚阿德莱德大学,导师为Ian Reid和沈春华教授。本科毕业于南开大学,在程明明教授课题组研究学习。主要研究三维计算机视觉方面难题,具体研究方向包括图像特征匹配,视觉SLAM,三维重建,单目深度估计,和无/自监督学习等,在CVPR、NeurIPS、IJCV、TPAMI等国际顶级会议和期刊上发表十余篇高质量文章。

主题

《室内单目深度估计中的复杂相机位姿》

提纲

1、无监督单目深度估计算法解析
2、相机运动与深度估计的关系
3、解决室内复杂相机运动的自校准估计算法SC-DepthV2

课程信息

直播时间:7月6日19:00
直播地点:智东西公开课知识店铺

论文成果

SC-DepthV2:《Auto-Rectify Network for Unsupervised IndoorDepth Estimation》

论文链接:https://arxiv.org/abs/2006.02708

开源地址:https://github.com/JiawangBian/sc_depth_pl