叠境数字研发部副经理孙正忠:超写实虚拟数字人光场重建技术解析与应用 | 科创大讲堂预告

科创大讲堂由智东西公开课全新企划,旨在连接科创家和优秀开发者,以及学者和投资人,主讲人工智能、硬科技、智能制造、元宇宙等新兴科技领域的重大创新与实践探索。

5月,智东西公开课策划推出科创大讲堂第2个专场–「虚拟数字人技术专场」,全面解析超写实虚拟数字人制作的核心技术。现阶段先上线三讲,并邀请叠境数字研发部副经理孙正忠、瑞云科技产品总监赵志杰和凌云光技术视效部总监曾义三位技术大牛参与,分别从超写实虚拟数字人的光场重建技术、实时云渲染技术和视效科技等方面进行讲解。

虚拟数字人的制作流程涉及多个环节,但最为核心、最具挑战的是建模、驱动、渲染三大环节。其中,虚拟数字人制作的第一步是建模,通过以真人为模型来设计人物,为虚拟数字人建立基本的 3D 模型。

目前,建模技术主要分为静态扫描建模和动态光场重建两种。静态扫描建模通过相机阵列拍摄图片间的相同特征点进行匹配、校准以重建人物模型。但这个方法依赖于灯光和图片数量,捕捉目标对象需要用几分钟的时间,对于人体这类运动目标不太友好。而动态光场重建可以直接采集三维世界的光线,然后实时重建出真实的动态人物模型,这类技术除了能够重建精细几何模型之外,还可获得动态数据,高品质呈现光影效果,逐渐成为虚拟数字人建模重点发展方向。

光场指的是光线在空间中的位置和角度信息,是对光线在空间传播时的完整描述。叠境数字研发的光场建模是一种适用于静、动态人物与物品、动态场景光场拍摄系统,由一维相机阵列、二维相机阵列、拱形光场扫描阵列、大型光场采集系统等组成,通过多相机阵列和深度相机自主结合,完整采集物品和人物的三维信息。同时,光场采集系统采集到的三维信息,在叠境自主研发的重建系统中完成重建。

5月23日,叠境数字研发部副经理孙正忠将带来第1讲的直播讲解,主题为《超写实虚拟数字人光场重建技术解析与应用》。

在本次专场中,孙正忠老师首先将分析虚拟数字人建模不同的技术路径,然后详细讲解人体光场重建技术,并对基于光场重建的超写实虚拟数字人制作进行系统解析。最后,他会对超写实虚拟数字人的应用与创新进行介绍。

「虚拟数字人技术专场」每一讲都将以视频直播形式在智东西公开课知识店铺进行。每一讲由40分钟主讲与20分钟问答组成。针对「虚拟数字人技术专场」,也组建了专属交流群,届时将邀请主讲人孙正忠加入,欢迎大家报名和申请入群。

课程主题

超写实虚拟数字人光场重建技术解析与应用

课程提纲

1、虚拟数字人建模技术路径比较
2、人体光场重建技术解析
3、基于光场重建的超写实虚拟数字人制作
4、超写实虚拟数字人的应用与创新

主讲人

孙正忠,叠境数字研发部副经理,上海科技大学信息学院硕士,3年以上计算摄影方向研发经验,主要负责公司光场采集,子弹时间/自由视角,AR/VR等业务的研发工作;目前作为技术负责人,主持叠境虚拟数字人产品的技术研发工作

直播信息

直播时间:5月23日19:00
直播地点:智东西公开课知识店铺