苏黎世联邦理工学院AIT Lab在读博士郑羽丰:从视频中重建可驱动的三维数字头像模型|AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结205讲,有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

三维虚拟数字头部模型在游戏,视频和虚拟现实通信中有很多应用场景。传统方法通常需要昂贵的设备和人力,而最近的研究则可以自动从视频中学习可驱动的三维头像模型。

来自苏黎世联邦理工学院 AIT Lab 的在读博士郑羽丰等人的研究希望实现的目标是包括了精确的几何形状、对新表情的泛化能力、在新环境下的重照明能力以及优秀的训练和渲染效率。
对此,郑羽丰认为这类研究的核心在于底层的几何表示,它直接决定了模型可采用的的驱动方法和渲染方法。

郑羽丰等人通过相关工作分析不同几何表示的优缺点,并提出了 IMavatar(CVPR 2022 Oral)和 PointAvatar (CVPR 2023)两篇工作。其中,基于隐式表面的 IMavatar 达到了同类工作中最棒的几何准确度,并可对新表情泛化。而最新的 PointAvatar 是第一个基于点云的数字头像重建方法,并且它同时具备灵活的拓扑结构,高效的渲染能力,强大的纹理表达能力和泛化能力。

5月11日晚7点,AI新青年讲座第206讲邀请到苏黎世联邦理工学院AIT Lab在读博士郑羽丰参与,主讲《从视频中重建可驱动的三维数字头像模型》。

讲者
郑羽丰,苏黎世联邦理工学院AIT Lab在读博士;ETH Zurich和MPI-IS的三年级博士生,师从Otmar Hilliges和Michael Black,本科毕业于清华大学电子系;研究内容主要是从视频中学习三维可驱动的数字人和头部模型,曾在NeurIPS,ICCV,CVPR发表论文。

第206讲

主 题
《从视频中重建可驱动的三维数字头像模型》

提 纲
1、传统的三维数字头像重建方法及局限
2、从视频重建可驱动三维数字头像中的几何表示方法
3、可对新表情泛化的隐式表面重建方法IMavatar
4、基于点云的数字头像重建PointAvatar

直 播 信 息
直播时间:5月11日19:00
直播地点:智东西公开课知识店铺

成果

论文标题
《I M Avatar: Implicit Morphable Head Avatars from Videos》
《PointAvatar: Deformable Point-based Head Avatars from Videos》

论文地址
https://arxiv.org/abs/2112.07471
https://arxiv.org/abs/2212.08377

开源地址
https://github.com/zhengyuf/IMavatar
https://github.com/zhengyuf/pointavatar