12月20日，第二场公开课将上线开讲，由阿里云异构和计算加速团队高级技术专家李鹏主讲，主题为《深度学习推理加速与云上实践》。

随着深度学习技术在互联网和各行各业的广泛应用，如何对深度学习模型进行优化和推理加速成为业务落地的关键因素。模型的可维护性、效率、安全性和复用性是模型部署中常见的问题。

首先，研究人员倾向于使用不同的框架（例如：Pytorch、Tensorflow、MXNet）和各种SOTA网络（例如：Resnet、Transformer、RNN）以达到更高的精度，因此在模型集成时可能会出现可维护性问题。其次，端到端的AI服务通常是几种模式的组合。当服务因相应需求（例如：QPS和延迟）而需要多次部署时，GPU使用效率和模型重用性往往会出现问题。

在阿里云所推出的神龙AI推理加速引擎AIACC-Inference中，不仅提供了模型转换工具将已有模型统一转换到TF模型或ONNX模型，还支持多种加速特性，包括但不限于TensorFlow和ONNX加速引擎执行模型子图分割和子图融合，分割的子图传递给高性能算子加速库加速。同时，高性能算子加速库会在自研高性能算子和NVIDIA算子中找到最优算子，并生成高性能算子列表供加速引擎进行子图分割和传递。

在应用层，AIACC-Inference实现了针对各种应用场景的深度学习应用，覆盖图像识别、目标检测、视频识别、CTR预估、自然语言理解、语音识别等常见场景，并且在框架层使用AIACC实现多框架的统一加速，因此开发者只需调整少量代码即可大幅提升应用性能。

在本场公开课中，阿里云异构和计算加速团队高级技术专家李鹏将以云上异构计算为背景，介绍深度学习模型的推理加速技术，包括AI推理的背景，趋势，模型部署等内容，以及阿里云AIACC推理加速引擎和弹性推理EAIS产品解决方案。

本次公开课都设有主讲和问答两个环节，其中主讲40分钟，问答20分钟。同时还会组建专属交流群，两位讲师都将入群与大家认识和交流，欢迎申请。

第二场

主 题

《深度学习推理加速与云上实践》

提 纲

1、基于云上异构计算的AI推理
2、阿里云AIACC推理加速引擎及架构解析
3、弹性推理EAIS技术
4、云上实践

讲 师

李鹏，花名凌禹，阿里云异构和计算加速团队高级技术专家；主要从事阿里云异构计算环境(GPU/NPU)下的深度学习模型优化和推理加速工作,面向的深度学习场景主要包括计算机视觉(CV), 自然语言理解(NLP)和推荐系统(Recommendation System)等，同时帮助云计算客户优化AI推理业务，实现最优性能。

直 播 时 间

12月20日19:00

9