在过去的几年里，Deep Neural Networks在图像理解、图像生成、机器翻译和语音识别等多项任务上取得了前所未有的成功。在深度学习时代，设计更好的神经结构成为了神经网络性能改进的主要驱动力之一。而随着神经网络架构搜索（Neural Architecture Search，NAS）在分类、检测、分割等任务上的广泛应用，数据增强、网络结构、损失函数等等都可以用机器搜出一个比人工设计更优的方案。

知识蒸馏（Knowledge Distillation，KD）是一种将复杂模型（teacher）中的dark knowledge迁移到简单模型（student）中去的方法，一般是由teacher、student 两个网络组成。teacher具有强大的能力和表现，一般是ResNet 152这样的大模型，而student则更为紧凑，多为Res50这样的小模型。

通过知识蒸馏，我们希望student可以尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。因此student网络预测的结果不仅需要和ground truth计算loss，还要和teacher网络的预测值计算loss。而学者们也一直在研究如何让teacher教给student更多的内容，从而使student 可以涨更多的点。

现有的对于知识蒸馏的研究，主要是从teacher提供的soft label 比ground truth的one-hot label要好的角度来分析，但是却没有从网络结构的角度来考虑。虽然KD可以用在任意两对teacher-student网络上，然而对于所有的学生网络是否同样有能力接受不同老师的知识呢？

7月29日晚8点，智东西公开课邀请到商汤科技X-Lab技术负责人刘宇参与「机器学习前沿讲座」第3讲。刘宇老师将围绕《神经网络结构搜索与优化的研究和应用》这一主题进行直播讲解。刘宇老师会从神经网络最优结构与数据分布的关系出发、深入讲解基于神经网络结构搜索的知识蒸馏优化方法、以及神经网络结构搜索在人脸识别中的应用。

刘宇是商汤科技X-Lab技术负责人，研究兴趣为神经网络原理与大规模强化学习。刘老师博士毕业于香港中文大学MMLab，2019年Google PhD Fellowship大中华区唯一获得者，曾在Google研究院、微软研究院等知名机构工作实习。刘博在CV领域发表顶会20余篇，1000+引用量，也曾获得如ImageNet、OpenImage、FRVT、ActivitiNet等知名世界竞赛冠军。

课程时间

直播时间：7月29日晚8:00
直播地点：智东西公开课小程序
答疑地址：智东西公开课讨论群

课程详情

主题：
神经网络结构搜索与优化的研究和应用

提纲：
1、神经网络的最优结构与数据分布的关系
2、基于神经网络结构搜索的知识蒸馏优化方法
3、神经网络结构搜索在人脸识别中的应用

讲师：

刘宇，商汤科技X-Lab技术负责人，研究兴趣为神经网络原理与大规模强化学习；博士毕业于香港中文大学MMLab，2019年Google PhD Fellowship大中华区唯一获得者，曾在Google研究院、微软研究院等知名机构工作实习；在CV领域发表顶会20余篇，1000+引用量，曾获得如ImageNet、OpenImage、FRVT、ActivitiNet等知名世界竞赛冠军。

报名方式

添加智东西公开课小助手曼曼（ID：zhidxclass006）报名，添加时请备注“姓名-公司/学校-职位/专业”，因报名人数过多，优先通过备注者。