伊利诺伊香槟分校在读博士朱臻:面向通用风格迁移任务的损失函数及轻量化网络设计|AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结192讲。有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

图像艺术化、照片化和视频风格迁移在过去都被视作独立的任务,对于结果有着不同的要求。其中,视频风格迁移不仅追求每一帧图像的风格化效果,还对生成视频的稳定性有着很高的要求。过去基于单帧图像训练的视频风格迁移方法尝试通过对视频帧进行全局的线性转换来保留源视频的稳定性。然而由于这种全局约束过强,从而导致生成效果的变化不明显或者不稳定。

伊利诺伊香槟分校朱臻博士等人在 ECCV 2022 的口头报告工作中,聚焦于图像艺术、图像写实以及视频风格化迁移,提出了一种通用的、基于对比学习的简单有效的损失函数(CCPL),使得生成的图像/视频里物体结构保持连贯,从而大幅度提升生成质量。

同时,CCPL启发了朱博等人利用单张图像进行视频风格化迁移训练的思考:两个有交叉的图像块可以被当成两个视频帧。支持单张图像训练的特性使得我们的视频风格化方案无需依赖视频输入,相比较于依赖于光流预测的方案更为简单有效,即使对比单帧图像视频风格化方案也更通用有效。

此外,CCPL可以被无缝迁移到各种不同的方法中,提升图像质量和视频稳定性。最引人注目的一个应用是CCPL还可以迁移到图像转译(im2im)的任务里,提升生成质量。结合轻量化的风格化网络SCTNet,CCPL可以完成通用风格迁移的任务,在艺术化、照片化和视频风格迁移三个任务上都超越了之前方法的效果,在视频风格迁移任务中性能更是逼近最先进的利用视频帧训练的方法。

2月10日早10点,AI新青年讲座第193讲邀请到伊利诺伊香槟分校在读博士朱臻参与,主讲《面向通用风格迁移任务的损失函数及轻量化网络设计》。

讲者
朱臻,伊利诺伊香槟分校在读博士;师从Derek Hoiem教授;本科和研究生就读于华中科技大学,师从白翔教授;主要研究方向为通用视觉学习系统、持续学习、数据生成等;在CVPR、ICCV、ECCV、SIGGRAPH、AAAI、TPAMI等顶级会议和期刊上发表多篇论文。

第193讲

主 题
《面向通用风格迁移任务的损失函数及轻量化网络设计》

提 纲
1、风格迁移任务的应用挑战
2、实现通用风格迁移的对比学习损失函数CCPL
3、轻量化风格化网络SCTNet解析
4、在多种风格迁移任务中的应用

直 播 信 息
直播时间:2月10日10:00
直播地点:智东西公开课知识店铺

成果
CCPL:《CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer》
论文地址:https://arxiv.org/abs/2207.04808
代码地址:https://github.com/JarrentWu1031/CCPL