「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

扩展深度神经网络已被证明在提高模型质量方面是有效的,同时它也带来了不断增长的训练挑战,包括训练效率、可编程性和资源适应性。新加坡国立大学System Lab在读博士史子骥在阿里云计算平台事业部实习期间,提出了一个针对巨型模型的通用且高效的分布式训练框架Whale。

Whale通过对不同并行化策略进行统一抽象、封装,在一套分布式训练框架中支持多种并行策略,并进行显存、计算、通信等全方位的优化,来提供易用、高效的分布式训练框架。Whale也提供了简洁易用的接口,用户只需添加几行代码即可组合各种混合并行策略。

同时Whale还提供了一种新颖的基于硬件感知的自动化分布式并行策略,可以感知不同硬件的算力、显存等资源,均衡不同硬件上的计算量,最大化计算效率。在具有 512 个 GPU 的生产集群中,Whale成功训练了一个行业规模的多模态模型M6,模型参数超过 10 万亿个 ,展示了出色的可扩展性和效率。

8月3日晚7点,「AI新青年讲座」第142讲,邀请到新加坡国立大学System Lab在读博士史子骥参与,主讲《利用自动化的分布式混合并行策略高效训练大模型》。

讲者
史子骥,新加坡国立大学System Lab在读博士;师从李佳临教授;研究方向为高性能计算和分布式机器学习,曾在AAAI/USENIX ATC发表论文,本科期间曾获SC17超算竞赛冠军,目前在阿里云计算平台事业部实习。

第142讲

主 题
《利用自动化的分布式混合并行策略高效训练大模型》

提 纲
1、大模型训练的难点
2、易用且支持多种并行策略的分布式训练框架Whale
3、基于硬件感知的自动化并行策略及显存、通讯优化
4、实操演示:通过几行代码实现分布式并行策略

直 播 信 息
直播时间:8月3日19:00
直播地点:智东西公开课知识店铺

成果

Whale
《Whale: Efficient Giant Model Training over Heterogeneous GPUs》

项目主页
https://zijishi.xyz/publication/whale/

开源地址
https://github.com/alibaba/EasyParallelLibrary