南洋理工大学MMLab在读博士姜瑜铭:对话驱动的高细粒度人脸编辑 | 讲座预告

在「生成对抗网络GAN专题讲座」前4讲中,独立艺术家、游戏开发者大谷Spitzer,港中文MMLab实验室在读博士刘睿,中科院计算所博士(京东DMT)何振梁和罗格斯大学在读博士韩立功,分别讲解了《人工智能影像修复与AI艺术创作》、《基于条件生成对抗网络的多样化图像生成》、《GAN的层次化可解释维度学习》和《基于双投影判别器的条件生成对抗网络》等内容。错过直播的朋友可以点击“阅读原文”观看。

12月10日晚7点,南洋理工大学MMLab实验室在读博士姜瑜铭将以《对话驱动的高细粒度人脸编辑》为主题,带来第5讲的直播讲解。

日常生活中,经常会用到一些人脸编辑软件(抖音、快手、美图秀秀)让照片有更好的效果和呈现,在抖音、快手等的人脸特效中,GAN的身影处处都可见。但现有的人脸编辑大多采用手动的交互方式,需要手动选择想要的发型、妆容,并且这些发型、妆容大多是固定的版式且细节信息不足,这与想要的效果有很大差异。那如何设计一个多样且细粒度的交互式人脸编辑呢?

交互式的人脸编辑系统“Talk-to-Edit”可以满足上面的需求,它通过用户和系统之间的对话进行细粒度的人脸属性操作。在Talk-to-Edit系统中,只需告诉它你想怎么编辑,它就会分分钟帮你搞定。

Talk-to-Edit系统通过StyleGAN模型进行预训练,为了对人脸做到连续且细粒度的编辑,在StyleGAN的隐空间中构建了一个语义场。语义场是一个非线性的向量场,它具有两个特性:1) 对同一个人脸来说,不断改变某一个属性,所需要的编辑方向是不断变化的。2)在编辑同一个属性时,对于不同人,所需要的编辑方向也是不同的。基于语义场可以在人脸编辑过程中更好的保留这个人的身份特征,并且在编辑某一个语义特征时减少对其他无关语义特征的改变。

同时,Talk-to-Edit还用一个基于LSTM的Language Encoder来理解用户的编辑要求,并将编码后的编辑要求传递给语义场从而指导人脸编辑。更多Talk-to-Edit系统的实现细节,姜瑜铭博士将在本次讲座中进行深度解读,感兴趣的小伙伴千万不要错过。

姜瑜铭是新加坡南洋理工大学MMLab实验室在读博士,师从刘子纬教授和吕健勤教授。他本科毕业于电子科技大学,主要研究方向为图像的生成、编辑和复原。

本次讲座将在智东西公开课知识店铺进行,包含主讲和问答两个部分,其中主讲环节40分钟,问答环节20分钟。本次讲座已组建交流群,并邀请姜瑜铭博士加入,欢迎感兴趣的朋友申请。

主题

对话驱动的高细粒度人脸编辑

提纲

1、人脸编辑问题的研究
2、基于预训练StyleGAN的人脸编辑
3、Talk-to-Edit:对话式交互的高细粒度人脸编辑系统
4、视觉语言人脸属性数据集 CelebA-Dialog
5、未来展望

主讲人介绍

姜瑜铭,新加坡南洋理工大学MMLab实验室在读博士,师从刘子纬教授和吕健勤教授;本科毕业于电子科技大学,主要研究方向为图像的生成、编辑和复原。

直播信息

直播时间:12月10日19:00
直播地点:智东西公开课知识店铺