惠普AI工作站专场上线,特邀Kaggle Grandmaster大神直播讲解BERT模型的调参优化技巧 | 直播预告

在自然语言处理与计算机视觉任务中,AI模型的开发主要分为模型预训练和模型微调两个阶段。预训练是指预先训练的一个模型或者指预先训练模型的过程,通常需要大量的数据集做训练。然而在实际情况中,我们很难拥有足够大的数据量,基本也就几百或者几千张,不像ImageNet有120万张图片这样的规模。

拥有的数据集不够大,而又想使用很好的模型的话,很容易会造成过拟合。因此一般的操作是在一个大型的数据集上训练一个模型,然后然后使用该模型作为类似任务的初始化或者特征提取器,对训练参数进行微调,以便在最小的资源下达到最好的模型效果。

当然,实际任务的不同需求,模型的调参优化技巧就显得极为重要。为此,惠普在智东西公开课开设惠普AI工作站专场,由英伟达特约。现阶段推出两讲,特邀两位Kaggle Grandmaster分别针对NLP和CV两个领域,以Kaggle竞赛项目为案例,为大家直播讲解不同任务中的模型调参优化技巧。(偷偷地说一下,根据Kaggle平台的数据显示,目前只有198名Kaggle Grandmaster)

BERT模型是Google在2018年提出的一个面向NLP的无监督预训练模型,在结构上是Transformer的编码部分,每个block主要由多头self-Attention、标准化(Norm)、残差连接、Feed Fordawrd组成。BERT模型无疑是一个里程碑的模型,它证明了一个非常深的模型可以显著提高NLP任务的准确率,并且这个模型的训练可以是从无标记数据集中预训练得到。

同时由于BERT模型是无监督的,因此在实际的预训练过程中,只需要爬取或者使用开源数据集即可进行预训练,极大的方便了BERT模型的迁移。而在模型微调阶段,则需要针对具体的任务来进行模型微调,以便达到较好的效果。

1月15日晚8点,英伟达特约·惠普AI工作站专场第1讲上线,由特邀讲师、Kaggle Grandmaster吴远皓参与。这一讲定名为BERT模型调优公开课,主题为《BERT模型的调参优化与Kaggle竞赛项目解析》。

Kaggle是一个非常流行的进行数据发掘和预测竞赛的在线平台,平台上有着种类丰富的项目,同时想要在Kaggle竞赛中取得奖金乃至取得好名次的难度也非常高。在本次的专场讲解中,Kaggle大神吴远皓将会以Kaggle竞赛中的项目为例,如TensorFlow 2.0 Question Answering、Toxic Comment Classification Challenge等项目,向大家介绍传统语言模型的局限性,以及目前非常火热的Transformer模型和BERT模型,同时重点解析BERT模型在实际应用过程中的调参技巧和结构优化方案。

吴远皓分别于2014年和2017年在北京清华大学取得学士和硕士学位,现在是一名算法工程师,主要关注自然语言处理领域,具有丰富的算法研发和落地经验。他在2017年底初识Kaggle,已参加超过20场Kaggle竞赛,获得8枚金牌,并于2019年成为Kaggle Competitions Grandmaster,全球最高排名第36位。

专场信息

专场主题

《BERT模型的调参优化与Kaggle竞赛项目解析》

专场提纲

1、传统语言模型的局限性
2、从Transformer到BERT,大规模参数模型的结构解析
3、BERT模型的Pipeline构建及应用
4、在Kaggle竞赛项目中的调参技巧与结构优化

特邀讲师

吴远皓,分别于2014年和2017年在北京清华大学取得学士和硕士学位。目前为算法工程师,主要关注自然语言处理领域,具有丰富的算法研发和落地经验。在2017年底初识Kaggle,已参加超过20场Kaggle竞赛,获得8枚金牌,并于2019年成为Kaggle Competitions Grandmaster,全球最高排名第36位。

直播信息

直播时间:1月15日20:00
直播地点:智东西公开课小程序

专场议程

20:00-20:40:主讲环节
20:40-20:45:惠普宣讲环节
20:45-21:00:问答环节

入群方式

为了便于大家学习和交流,本次专场讲解设有主讲群,并将邀请讲师入群。加入主讲群,除了可以与讲师直接请教和交流,还能提前获得课件,且能结识更多的技术牛人。
欢迎添加小助手小语(ID:hilele20)进行申请,备注“姓名-公司/学校-职位/专业”的朋友将优先审核通过。