2017年,NVIDIA在新一代Volta架构中首次引入了针对混合精度训练的Tensor 核心,以帮助开发者最大限度的加速神经网络的训练。传统上,深度神经网络训练采用的是IEEE单精度格式,混合精度训练是指在神经网络训练过程中,在不同的计算中使用不同的数值精度,综合FP32和FP16这两种数值精度的优点,在保证模型准确度的前提下缩短神经网络模型的训练时间。

与传统采用IEEE单精度格式进行深度神经网络训练相比,混合精度训练使用半精度格式进行神经网络训练就能够得到与单精度训练相同的效果,有效降低了神经网络模型对内存的要求,从而支持更大规模的神经网络模型训练。

4月4日晚7点,超级公开课NVIDIA&阿里巴巴联合专场将开讲,由阿里巴巴高级技术专家杨军、NVIDIA系统架构师齐家兴共同主讲,主题为《PAI自动混合精度训练的实现与应用——NVIDIA Tensor 内核硬件加速单元在阿里PAI平台的落地实践》。

本次讲解中,杨军老师将为大家带来阿里巴巴PAI机器学习平台自动混合精度训练的系统讲解;齐家兴老师将从Tensor核心的特点,以及针对TensorFlow和PyTorch框架如何使用自动混合精度技术进行加速等进行深度讲解。