思谋科技工业视觉AI专场:知识蒸馏在工业检测轻量模型中的应用

在计算机视觉的任务中,大模型往往会有更好的推理效果,但推理速度却很慢。在一些工业场景,尤其是像缺陷检测这种算力、内存等资源有限,但对推理速度有一定要求的场景中,大模型并不适用。而轻量级模型虽然方便部署与推理,但精度却通常要比大模型低很多。如何在保证推理速度的前提下,提升轻量级模型的精度,是一个很值得研究的问题。

知识蒸馏是一种十分实用的提升轻量级模型精度的训练技巧。其最早在2015年被Hinton等人提出,核心思想是使用大模型作为“教师”模型,来指导小模型(即“学生”模型)的训练,从而提升小模型的精度。现阶段,学术领域的知识蒸馏领已经有了很多研究成果,然而如何将这些前沿成果应用在实际的工业项目中,也是所有企业需要考虑的问题。

思谋科技(SmartMore)是一家行业领先的全链条前沿科技公司,致力于研发新一代AI技术,打造软硬件一体化产品,推动传统行业数字化、智能化转型升级。思谋科技由香港中文大学终身教授、IEEE院士贾佳亚创立,核心团队深耕计算机视觉领域20余年。

在知识蒸馏这一学术问题的前沿研究上,思谋科技在CVPR 2021中提出了一种基于“温故而知新”的知识蒸馏方法,使学生模型学习教师网络前向传递时的“旧”知识,从旧知识中找到有用的部分,可以有效提升知识蒸馏的效果。同时该方法在图像分类、目标检测、实例分割等任务中也都取得了有效的提升。同时在ICCV 2021的工作中,思谋针对目标检测这一重要任务,提出了一种新的知识图结构,去描述不同物体以及他们之间的关系。利用这种知识图结构的蒸馏方式,可以极大的提升目标检测任务上面知识蒸馏的效果。

而在知识蒸馏的实际应用的问题上,思谋针对工业场景搭建了一个计算机视觉算法平台SMAP(SMore AI Platform)。这一平台由一个核心库进行调度,同时集中了各种不同的计算机视觉任务作为实例,还包括了训练神经网络的各种工具作为插件,可以高效地应对各种不同的场景以及不同的需求。其中知识蒸馏就是SMAP平台中的重要工具之一。

9月2日晚7点,工业缺陷检测轻量模型专场将开讲,由思谋科技高级算法研究员陈鹏光直播主讲,主题为《知识蒸馏在工业缺陷检测轻量模型中的应用》。工业缺陷检测轻量模型专场也是思谋科技在智东西公开课开设的工业视觉AI系列专场的第一场,后续还将会有两个专场将进行。

陈鹏光是思谋科技高级算法研究员,也是香港中文大学计算机科学与工程学院在读博士,本科毕业于南京大学计算机科学与技术系。他的主要研究领域包括目标检测、语义分割、AutoML、知识蒸馏、自监督学习等,曾在国际顶级会议发表数篇学术论文。目前陈博在思谋科技主要负责算法平台的搭建,熟悉各个不同的计算机视觉领域,对于模型的优化算法有较深研究。

在本次专场中,陈博首先会介绍知识蒸馏的背景、代表性工作以及思谋在CVPR 2021和ICCV 2021上所发表的最新研究成果。然后针对知识蒸馏在缺陷检测任务中的实际应用问题,陈博将从SMAP中的知识蒸馏工具,到其中知识蒸馏的方法实现,全面分析知识蒸馏在实际项目中所发挥的作用。

本次专场将在智东西公开课知识店铺上以视频直播的形式进行,包含主讲和问答两个环节。主讲环节40分钟,问答环节20分钟。每个环节主讲老师都将通过视频直播进行实时讲解与互动。

后续两个专场的信息,我们也将尽快揭晓,敬请期待!

专场信息

专 场 主 题

《知识蒸馏在工业缺陷检测轻量模型中的应用》

专 场 提 纲

1、知识蒸馏的背景及代表性工作
2、思谋发表于CVPR 2021与ICCV 2021的研究成果
3、思谋计算机视觉算法平台SMAP及知识蒸馏工具
4、知识蒸馏模块在缺陷检测轻量模型实现中的作用

讲 师 介 绍

陈鹏光,思谋科技高级算法研究员、香港中文大学计算机科学与工程学院在读博士,本科毕业于南京大学计算机科学与技术系;主要研究领域包括目标检测、语义分割、AutoML、知识蒸馏、自监督学习等;曾在国际顶级会议发表数篇学术论文;目前在思谋科技负责算法平台的搭建,熟悉各个不同的计算机视觉领域,对于模型的优化算法有较深研究。

直 播 信 息

直播时间:9月2日19:00
直播地点:智东西公开课知识店铺