「AI新青年讲座」，聚焦世界顶尖AI研究机构/大学科研新青年的最新研究成果，第一季特邀MIT、牛津、港科大、山大、快手Y-Tech、美团等AI研究机构/大学的八位AI新青年，主讲三维视觉和模型优化部署&TinyML两大领域最新成果。其中模型优化部署&TinyML版块共计4讲，分别由美团无人配送部算法专家余昌黔和麻省理工学院在读博士王瀚锐、蔡涵、林己主讲。

网络边缘设备产生的数据量快速增加，带来了更高的数据传输带宽需求，同时，新型应用也对数据处理的实时性提出了更高要求，传统云计算模型已经无法有效应对。因此，边缘计算应运而生。

边缘计算的基本理念是将计算任务在接近数据源的计算资源上运行，可以有效减小计算系统的延迟，减少数据传输带宽，缓解云计算中心压力，提高可用性，并能够保护数据安全和隐私。

现有的边缘计算也遇到了很多问题。比如设备内的学习虽然能够使边缘设备不断地将 AI 模型适应新数据，然而这需要较小的内存占用来适应边缘设备的严格内存限制。现有工作通过减少可训练参数的数量来解决这个问题。但是，这并不能直接转化为节省内存，因为主要瓶颈是激活，而不是参数。又比如现有的正则技术(比如数据增强、dropout)虽然在大网络方面(比如ResNet50)方面通过添加噪声使其避免过拟合取得了极大成功。然而，这些正则技术会损害TinyNN的性能。

3月16日早10点，「AI新青年讲座」特邀麻省理工学院、MIT HAN LAB在读博士蔡涵将针对边缘内存和TinyNN模型两个问题，围绕《用于Edge AI的小模型训练与迁移学习方法》这一主题，讲解他们在边缘计算上的最新研究成果，包括用于设备上学习的内存高效的迁移学习算法TinyTL和改善Tiny神经网络性能的训练方法NetAug。

TinyTL（Tiny-Transfer-Learning ）是一种用于边缘设备上学习的内存高效的迁移学习算法。TinyTL在只学习偏置模块的同时冻结权重，因此不需要存储中间激活。而为了保持适应能力，TinyTL中引入了一个新的内存效率偏差模块，即精简残差模块，通过学习小的残差特征图来改进特征提取器，仅增加 3.8% 的内存开销。

大量实验表明，与微调整个网络相比，TinyTL显著的节省了内存（高达 6.5 倍），而且精度损失很小。与微调最后一层相比，TinyTL 显著的提升了准确度（高达 34.1%），而内存开销很小。此外，结合特征提取器自适应，与微调完整的 Inception-V3 相比，TinyTL 可在不牺牲精度的情况下节省 7.3-12.9 倍的内存。

NetAug是从正则技术的作用以及TinyNN与大网络的容量角度出发，分析了为何正则技术会影响TinyNN的性能，进而提出了适用于TinyNN的新型训练方案。NetAug是对网络进行了增广，而非数据添加噪声或者网络中插入dropout。它将TinyNN嵌入到更大的模型中并使其作为大网络的子模型工作以得到额外监督 ，而作为非独立模型。在测试阶段，仅TinyNN用于推理，不会导致额外的推理负载。实验结果表明，在ImageNet分类任务上，NetAug可以提升MobileNetV2-tiny性能达2.1% 。

蔡涵目前是麻省理工学院三年级在读博士生，研究方向主要包括高效深度学习（Efficient Deep Learning）及自动机器学习（AutoML）。他开发的硬件感知（hardware-aware）自动机器学习框架（ProxylessNAS、 Once-for-All）可以自动为目标硬件平台和效率约束设计专用的神经网络结构，从而大幅提升神经网络在目标硬件上的性能与效率，多次获得低功耗计算机视觉竞赛奖项（LPCV at CVPR’19、ICCV’19、NeurIPS’19）。

本讲直播包含主讲和问答两个环节，其中主讲40分钟，问答20分钟。同时，我们还组建了学习群，并邀请讲者蔡涵博士进群，欢迎大家申请！

向大家预告下，「AI新青年讲座」下一讲将于3月23日晚7点进行，由香港科技大学在读博士李世超主讲，主题为《基于立体视觉的三维目标检测》。欢迎大家提前锁定！！！

AI新青年讲座

主 题

《用于Edge AI的小模型训练与迁移学习方法》

提 纲

1、TinyML的研究背景
2、大模型训练和小模型训练问题
3、提高Tiny神经网络性能的网络增强方法NetAug
2、在视觉任务中的迁移应用

讲 者

蔡涵，麻省理工学院三年级在读博士生；研究方向主要包括高效深度学习（Efficient Deep Learning）及自动机器学习（AutoML）；开发的硬件感知（hardware-aware）自动机器学习框架（ProxylessNAS, Once-for-All）可以自动为目标硬件平台和效率约束设计专用的神经网络结构，从而大幅提升神经网络在目标硬件上的性能与效率，多次获得低功耗计算机视觉竞赛奖项（LPCV at CVPR’19, ICCV’19, NeurIPS’19）。

直 播 信 息

直播时间：3月16日10:00
直播地点：智东西公开课知识店铺

相关论文

 TinyTL
《TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning》

 链接
https://arxiv.org/pdf/2007.11622.pdf

NetAug
《Network Augmentation for Tiny Deep Learning》

 链接
https://arxiv.org/abs/2110.08890