AWS AI应用科学家邹洋: 领域自适应在识别任务中的研究与应用 | 公开课预告

识别是计算机视觉中的一类重要且基础的问题,包括图像分类,语义分割,目标重识别(Target re-identification)等。识别在各种智能机器的感知系统中都有广泛的应用,比如自动驾驶汽车,机器人,智能手机,安防系统等。近十年来,深度学习极大程度的提高了各项计算机视觉识别任务的精度。然而,即使通过大量标注样本去训练模型,目前的识别模型仍然缺少泛化性,即对于数据分布和训练样本不同的测试样本,模型的识别能力不高。为此,无监督领域自适应(Domain Adaptation)旨在通过大量的标注样本与无标注样本提高模型在新测试数据中的泛化性能。

在当前的任务中,通常标记的训练(源数据)和未见到的测试(目标数据)之间存在巨大的差异,而无监督域适应(UDA)能够在没有目标域标签的情况下解决这一问题。在ECCV 2018会议上,来自卡内基梅隆大学(CMU)的邹洋博士团队提出了一种通用的领域自适应self-training框架,该框架将问题表述为潜在变量损失最小化,通过在目标数据上交替生成伪标签,并使用这些标签对模型进行再训练来解决。在此基础上,为了以避免大类在伪标签生成中的逐渐占据优势,邹博团队还提出了一种新的类平衡自训练框架,并引入空间先验对生成的伪标签进行精炼。实验结果表明,该方法在多种主要的UDA设置下都能达到最佳的语义分割性能。

深度自我训练是实现无监督领域适应的有效手段,通常需要对目标域进行迭代预测,然后将预测结果作为伪标签进行再训练。然而由于伪标签可能会有噪声,自我训练可能会把过度的标签置信度放在错误的类别上,导致错误传播的偏差解。在ICCV 2019会议上,邹博团队提出一种信心正则化自我训练(CRST)框架,该框架通过交替优化把伪标签看作是连续潜变量进行优化。在此基础上,邹博团队还提出两种置信正则化方法:标签正则化(LR)和模型正则化(MR)。CRST-LR生成软伪标签,而CRST-MR鼓励网络输出的平滑性。大量实验表明,CRSTs的性能优于最先进的非正则化方法。

无监督域自适应同样可以用于行人重识别。在ECCV 2020会议上,邹博团队通过净化待适应的表示空间来改进自适应,提出了一个联合学习框架,该框架可以分离与ID相关/不相关的特征,并强制适应只适用于与ID相关的特征空间。框架包括一个分解模块,该模块将跨域的图像编码为一个共享的外观空间和两个独立的结构空间,以及一个可以共享的空间中执行对抗性对齐和自训练的适应模块。

10月13日上午10点,智东西公开课邀请到AWS AI应用科学家、CMU博士邹洋参与到「CV前沿讲座」第23讲,带来主题为《领域自适应在识别任务中的研究与应用》的直播讲解。在本讲座的第一部分,邹博将详解一种通用的端到端领域自适应self-training框架。该框架能够简单有效地提高识别模型(图像分类,语义分割)在新测试数据上的泛化性。在本讲座的第二部分,邹博会介绍一种应用于行人重识别的领域自适应算法,该算法设计将特征分离(feature disentanglement)与领域自适应协同互助。在讲座最后,邹博将讨论领域自适应与弱监督/半监督/自监督学习等关键问题的关联与以后可能的发展。感兴趣的朋友一定不要错过!

邹洋现任Amazon Website Service (AWS) AI应用科学家,2020年秋于卡内基梅隆大学电气与计算机工程系获得博士学位,导师是Vijayakumar Bhagavatula。他的主要研究领域为计算机视觉与机器学习,专注于计算机视觉任务中的领域自适应、弱监督/半监督/自监督学习等关键问题,学术成果发表在ECCV、ICCV、CVPR、NeurIPS等领域内重要学术会议,Google Scholar总引用率500余次。邹博曾在美国硅谷英伟达研究院以及美国通用汽车研发部实习,在CVPR 2018领域自适应竞赛获得第三名。

课程内容
课程主题
《领域自适应在识别任务中的研究与应用》

课程提纲
1、通用的领域自适应self-training框架
2、基于特征分离与领域自适应协同的行人重识别算法
3、领域自适应的发展方向
4、领域自适应与弱监督/半监督/自监督学习等关键问题的关联

讲师介绍
邹洋,Amazon Website Service (AWS) AI应用科学家,2020年秋于卡内基梅隆大学电气与计算机工程系获得博士学位,导师是Vijayakumar Bhagavatula;主要研究领域为计算机视觉与机器学习,专注于计算机视觉任务中的领域自适应、弱监督/半监督/自监督学习等关键问题,学术成果发表在ECCV、ICCV、CVPR、NeurIPS等领域内重要学术会议,Google Scholar总引用率500余次;曾在美国硅谷英伟达研究院以及美国通用汽车研发部实习,在CVPR 2018领域自适应竞赛获得第三名。

直播信息
直播时间:10月13日10:00
直播地点:智东西公开课小程序

加入讨论群
本次课程的讲解分为主讲和答疑两部分,主讲以视频直播形式,答疑以语音或文字形式进行。
加入讨论群,除了可以免费收看直播之外,还能认识讲师,与更多同行和同学一起学习,并进行深度讨论。
添加小助手小开(ID:hikai19)即可申请,备注“姓名-公司/学校/单位-职位/专业”的朋友将会优先审核通过哦~