「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年，主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

有兴趣分享学术成果的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系。

Transformer 是一种用于深度学习的变革性框架，它对序列数据进行建模，并在广泛的任务中取得了显着的性能，但计算和能源成本很高。为了提高效率，一种主流的选择是通过二值化压缩模型，将浮点值限制为二进制值以节省资源消耗，因为按位运算便宜。然而，现有的二值化方法仅旨在统计上最小化输入分布的信息损失，而忽略了注意力机制核心的成对相似性建模。因此，Transformer很难部署到资源受限设备中。

来自莫纳什大学Zip Lab的刘璟博士等人在NeurIPS 2022的工作中，提出一种基于kernelized hashing函数的二值化机制EcoFormer，将高维度queries和keys映射到汉明空间中低维度二进制码。所提出的算法通过自监督的方式训练kernelized hashing函数，以保留不同tokens之间的相似关系。根据矩阵乘法结合律，注意力机制具有线性复杂度。

此外，刘璟博士等人将注意力机制中的大部分浮点数乘法替换成浮点数加法，极大地降低Transformer的计算代价和片上功耗。通过大量的实验表明，EcoFormer在计算机视觉和自然语言处理任务上能够显著降低模型功耗，并同时取得不错的性能。例如，基于 PVTv2-B0 和 ImageNet-1K，EcoFormer 实现了 73% 的资源减少，与标准注意力相比，性能仅略有下降 0.33%。

12月7日晚7点，「AI新青年讲座」第178讲邀请到EcoFormer一作、莫纳什大学Zip Lab在读博士刘璟参与，主讲《低功耗注意力机制设计》。

讲者
刘璟，莫纳什大学Zip Lab在读博士；师从庄博涵和蔡剑飞教授，主要研究方向为模型压缩与加速，在NeurIPS、CVPR、ICCV、ECCV、AAAI、TPAMI等顶级会议和期刊上发表多篇论文。

第179讲

主 题
《低功耗注意力机制设计》

提 纲
1、Transformer的部署难点
2、二值化模型压缩存在的问题
3、具有线性复杂度的低功耗注意力EcoFormer
4、在CV和NLP任务上显著降低模型功耗

直 播 信 息
直播时间：12月7日19:00
直播地点：智东西公开课知识店铺

成果
EcoFormer：《EcoFormer: Energy-Saving Attentionwith Linear Complexity》
论文链接https://arxiv.org/pdf/2209.09004.pdf
开源地址https://github.com/ziplab/EcoFormer