香港理工大学在读博士张亚斌:基于精确分布匹配的图像风格迁移方法 | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结114讲。有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

现实生活中,我们拍了一张照片之后,有时希望想在保持照片内容不变的情况下,改变这张照片的风格。比如我们想把自拍照做成卡通风格或者素描风格,而这种想法是可以借助风格迁移方法来实现的。

目前主流的风格迁移算法通过调整图像特征的分布来调整生成图像的风格。该方法通常假设图像特征符合高斯分布,因此采用一阶和二阶统计量来刻画特征分布。但是实际场景中的特征分布可能远比高斯分布复杂,也就意味着只用一二阶统计量没有办法对图像特征进行精确的刻画,从而也就无法对图像风格进行精细的控制。但显式的引入高阶统计量会显著增加计算量,影响算法的实时性。那么有没有可以以一种快速有效的方式引入高阶统计量呢?

来自香港理工大学Visual Computing Lab实验室的张亚斌等人,提出一种简单且高效的EFDM模块来实现精确的特征分布匹配。

EFDM通过经验累计概率分布来刻画图像特征分布,从而隐式地引入了高阶统计量,精确地刻画了特征分布。通过对特征分布的精确刻画,EFDM可以得到更稳定,更精细的风格迁移图像。此外,通过对特征分布的精确刻画,EFDM 可以在域泛化问题中引入更多样的数据增强,得到更鲁邦的泛化结果。目前这一成果已被 CVPR 2022 接收并选为 Oral Presentation。

5月13日,「AI新青年讲座」第15讲邀请到香港理工大学在读博士张亚斌参与,主讲《基于精确分布匹配的图像风格迁移方法》。

讲者
张亚斌,香港理工大学Visual Computing Lab在读博士导师为IEEE Fellow 张磊老师;研究方向为计算机视觉和深度学习,尤其感兴趣于迁移学习;在CVPR,ECCV,TPAMI 等顶级会议期刊发表多篇论文。

第15讲

主 题
《基于精确分布匹配的图像风格迁移方法》

提 纲
1、风格迁移的应用及主流算法
2、真实场景中的复杂特征刻画问题
3、简单且高效的精细化特征匹配模块EFDM
4、在任意风格迁移任务上的泛化应用

直 播 信 息
直播时间:5月13日19:00
直播地点:智东西公开课知识店铺

成果
EFDM:《Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization》
论文链接:https://arxiv.org/abs/2203.07740
开源地址:https://github.com/YBZh/EFDM