公开课预告:达摩院通义 mPLUG 多模态预训练技术演进及应用实践

12月起,智东西公开课联合达摩院自然语言智能实验室全新策划「阿里达摩院大模型公开课」。此次公开课开设两讲,阿里巴巴达摩院高级算法工程师李晨亮、NLP高级算法专家严明将分别进行直播讲解。

12月15日晚7点,阿里巴巴达摩院NLP高级算法专家严明将以《达摩院通义 mPLUG 多模态预训练技术演进及应用实践》为主题,对mPLUG相关技术及应用案例进行全面讲解。

预训练语言模型技术极大的推动了NLP领域的发展,随着多模态信息越来越普及,多模态预训练技术与应用也逐渐备受关注,近些年也取得了显著的成绩。达摩院借鉴人脑模块化设计,创新性的构建了模块化多模态大模型基座mPLUG,采用模块化结构统一多模态理解和生成,解决跨模态信息融合时由多模态信息不对称性导致的两个重要问题:信息淹没和低效。

在多个多模态下游重点任务中,mPLUG均取得了SOTA,并完成了VQA首超人类突破,相关技术已在Github和达摩院ModelScope进行了开源开放。同时,mPLUG相关技术也已服务于阿里内部多个核心业务场景,包括主搜、拍立淘、闲鱼、阿里妈妈、数字人、业务中台、店小蜜等。

「阿里达摩院大模型公开课」第2讲的直播将以视频直播形式进行。直播由主讲与问答两部分组成,其中主讲40分钟,问答为20分钟。

第2讲

主 题 
《达摩院通义 mPLUG 多模态预训练技术演进及应用实践》

提 纲
1、多模态预训练技术概览
2、跨模态信息融合的难点
3、mPLUG基于模块化统一多模态理解和生成
4、在阿里核心业务场景中的应用案例

主 讲 人
严明,阿里巴巴达摩院NLP高级算法专家;主要研究方向为机器阅读理解、预训练语言模型与多模态内容理解,目前为团队多模态大模型基础技术负责人;曾在SQuAD、GLUE、MSMARCO、VQA等10多个国际赛事中取得第一,并4次取得超越人类基准的结果,发表ACL、EMNLP、ICLR、CVPR、AAAI等30多篇国际顶级会议论文;参与打造的AliceMind语言模型体系入围2021世界人工智能大会最高奖SAIL奖Top30,并获得达摩院最高荣誉奖项达摩院项目团队奖。

直 播 时 间
12月15日19:00-20:00