轻量化网络专题讲座上线!深度讲解模型量化、知识蒸馏和模型剪枝 | 讲座预告

各位看官大家好,继「学术新青年讲座」、「CVPR 2021特别企划」和「移动机器人技术系列课」之后,智东西公开课AI技术教研组又双叒叕“搞事情”了。

深度神经网络模型近年来一度被广泛应用在图像分类、物体检测、目标跟踪等视觉任务中,并且取得了很大成功。然而随着时代的发展,人们更加关注深度神经网络实际的应用性能。因此如何在边缘端平台上部署高性能的神经网络模型,并能够在实际场景中实时(>30帧)运行成为了AI研究的重点之一。

尤其是在移动端和嵌入式设备上,这些平台的内存资源少,处理器性能不高,功耗受限等特点,使得目前精度很高的模型根本无法在这些平台上进行部署并达到实时运行。由于存储空间和功耗等的限制,神经网络模型在移动设计和嵌入式设备上的存储与计算仍然面临着很大的挑战。

轻量化网络是指在保持模型精度的基础上,进一步减少模型参数量和复杂度的一种技术。它既包括了对网络结构的探索,又有知识蒸馏、模型剪枝、模型量化等模型压缩技术的运用,是目前工业界和学术界的一个研究重点。

在5月份,智东西公开课AI技术教研组聚焦于轻量化网络设计与优化的研究与应用,全新策划推出「轻量化网络专题讲座」,并邀请到北京航空航天大学在读博士秦浩桐、德国慕尼黑大学在读博士顾金东和悉尼大学在读博士郭晋阳,分别就轻量化网络中的模型量化、知识蒸馏和模型剪枝等主题进行深度讲解。

6月17日晚7点,由北京航空航天大学在读博士秦浩桐率先带来「轻量化网络专题讲座」第一讲的直播讲解,主题为《无数据模型量化方法研究》。

当前的无数据量化方法生成的数据存在着分布层面、样本层面的同质化问题,这两个同质化问题导致生成数据的分布与真实数据有很大差异,从而导致了量化模型精度的下降。

在本次的讲座中,秦博将从模型量化的研究进展与应用出发,深度讲解他们在CVPR 2021上被收录为Oral论文的一种多样化的样本生成方法DSG。该方法采用松弛对齐分布(SDA)来松弛对BN层参数的约束、以及层级样本增强(LSE)来加强特定的生成样本对特定层的约束,可以有效的解决上述的两个同质化问题,同时该方法还适用于各种离线量化方法,并且可以获得接近用真实数据校准的模型的性能,甚至在4bit上超过了真实数据。

6月24日晚7点,由德国慕尼黑大学在读博士顾金东参与第二讲的直播讲解,主题为《知识蒸馏中的架构搜索与自监督蒸馏方法的设计》。

知识蒸馏作为一项成熟的技术,经常被用来更好地训练小模型。 而在监督学习的范式下,最近几年有很多高效的蒸馏方法被提出。在本次的讲座中,顾博将与大家探讨这两个课题:

1)给定一个老师模型,如何为学生模型寻找一个好的架构,使得蒸馏效果更好?

2)自监督学习最近收到了很大关注,这种学习范式已经学习的特征已经可以与监督学习下的相比较,然而自监督学习下小模型的很不好。那如何使用知识蒸馏技术来改善自监督学习下的小模型呢?

最后一讲将于6月29日晚7点进行,由悉尼大学在读博士郭晋阳主讲,主题为《模型剪枝在2D/3D卷积网络中的研究与应用》。

在模型压缩与加速方法中,通道剪枝通常是通过移除深度模型中不重要的通道(channel)来减小计算复杂度以及参数量。然而当前的通道剪枝方法没有考虑到最后损失函数对通道选择的影响,并且有些重建的特征在剪枝下一层时会被移除,导致在当前层中的通道选择指导不准确。

在本次的课程中,郭博将讲解一种基于分类损失以及特征重要性指导的通道剪枝方法,和一种解决空间和时间复杂度的统一的模型压缩框架:多维度剪枝(Multi-DimensionalPruning)。此框架可以同时减少通道、空间、和时间层面的冗余,并且该方法已在多个数据集上达到了最佳的模型压缩效果。

我们的课程将在智东西公开课知识店铺上以视频直播的形式进行,包含主讲和问答两个环节。主讲环节40分钟,问答环节20分钟,每个环节主讲老师都将通过视频直播的形式进行实时讲解与解答。

同时,我们还组建了轻量化网络技术交流群。加入交流群,除了可以免费收看讲座直播进行学习之外,还能与主讲老师,以及更多开发者和科研人员认识和交流。