巴黎高科路桥大学在读博士沈西: 计算机视觉邂逅艺术 – 名画鉴别中的图像识别 | 公开课预告

「CV前沿讲座」,是智东西公开课针对计算机视觉推出的一档讲座,聚焦于计算机视觉前沿领域研究成果与进展。我们将持续邀请研究者、专家与资深开发者,为大家带来直播讲解。画家创作时通常会参考其他人的作品 : 如果其他作品中有某些细节很适合于手头上的作品,也许会直接“复制”到自己的作品上。但是,与完全的“复制”有所不同,通常画家会改变原作品的风格,使其与自己的创作风格一致,这就带来了大量艺术品的鉴别问题。随着计算机视觉的发展,近几年国内外学者开始探索运用AI辅助艺术品的鉴别。当计算机视觉邂逅艺术,又会摩擦出怎样的火花呢?AI又将如何辅助名画鉴别呢?

艺术史学家们常常费劲心力在一个大型画作数据集中试图找到作品之间的重复的细节从而建立作品之间的联系。这个任务在计算机视觉里可以归类成Object Discovery。 Object Discovery 是一个在无标注的数据集中,找到相似物体的任务。在CVPR 2019会议中,来自巴黎高科路桥大学的在读博士沈西分享了在这一课题上的研究进展。沈博所在团队提出一种基于空间一致性 (spaitial consistency)的方法,对ImageNet特征进行微调(fine-tuning),使得ImageNet特征可以匹配不同风格的图片。使用微调后的特征,通过在大规模跨风格的经典画作数据集Brueghel上运行一个简单的Object Discovery算法,便可以找到跨时代的不同画家之间作品的联系。

此外,这种空间一致性的思想稍加改变后,就能应用在历史水印识别上。历史水印识别是档案工作者和历史学家面临的一个高度实用但尚未解决的任务。历史水印具有极少标注 (约6K)、  图片噪声过大、识别类别过多(16K) 和不同类别之间细微的差异等难点。面对这一难点,沈博所在团队选择运用极少的标注微调局部特征 (local feature instead of global pooled feature)。微调后的局部特征,可以实现跨域识别(cross-domain recognition) , 在超过16K细粒度分类的数据集中。相比于传统强基线方法,准确率得到了显著提升。

在ECCV 2020会议中, 为解决图像之间的对齐问题,沈博所在团队新提出了一种无监督学习的二阶图像对齐方法。该方法包括两阶段:首先,使用预训练的分类特征进行匹配,并利用Random Sample Consensus(RANSAC)算法,过滤掉噪音匹配并得到粗略对齐(Homography); 然后通过神经网络预测光流,并优化粗略对齐图像之间的标准结构相似度度量(SSIM),整个过程无需人为的监督信息。实验上证,该方法在很多任务上都有不错的效果,如3D重建、多张图片对齐、无监督光流等。

9月22日晚8点,智东西公开课邀请到巴黎高科路桥大学在读博士沈西参与到「CV前沿讲座」第18讲,带来主题为《计算机视觉邂逅艺术 – 名画鉴别中的图像识别》的直播讲解。沈博将从数据集中的object discovery出发,介绍一种简单的特征自适应的方法;然后在该方法的基础上调整局部特征进行古文档水印的识别;最后详解新提出的一种无监督学习的光流算法,可精细对准具有较大差别光照和视角的图片。感兴趣的朋友一定不要错过!

沈西是巴黎高科路桥大学在读博士,是Imagine实验室成员,导师为Mathieu Aubry教授。他的主要研究方向为无监督以及弱监督学习,应用包括度量学习,三维重建以及光流等。沈博曾在CVPR,ECCV,ICLR等顶级学术会议上发表多篇论文。

课程内容
课程主题
《计算机视觉邂逅艺术 – 名画鉴别中的图像识别》

课程提纲
1、艺术画作数据集中的临摹和借鉴问题
2、ArtMiner:基于自监督学习的自适应特征模式识别方法
3、通用图像对齐:一种无监督学习的二阶图像对齐方法
4、AI鉴别名画项目实践

讲师介绍
沈西,巴黎高科路桥大学在读博士,Imagine 实验室,导师是Mathieu Aubry;主要研究方向为无监督以及弱监督学习,应用包括度量学习,三维重建以及光流等;曾在CVPR,ECCV,ICLR等顶级学术会议上发表多篇论文。

直播信息
直播时间:9月22日20:00
直播地点:智东西公开课小程序
答疑地址:「图像检测与识别讨论群」

加入讨论群
本次课程的讲解分为主讲和答疑两部分,主讲以视频直播形式,答疑将在「图像检测与识别讨论群」进行。
加入讨论群,除了可以免费收看直播之外,还能认识讲师,与更多同行和同学一起学习,并进行深度讨论。
添加小助手糖糖(ID:hitang20)即可申请,备注“姓名-公司/学校/单位-职位/专业”的朋友将会优先审核通过哦~