华为云AI开发套件全家桶解密:将五年投入15亿美金,ModelArts 2.0全面升级

智东西(公众号:zhidxcom)
文 | 季瑜生

智东西9月20日上海消息,在今日的2019华为全联接大会的第三天主题演讲中,华为正式发布面向开发者的沃土计划2.0,宣布未来5年将投入15亿美金,汇聚500万开发者。

同时,华为还首次发布了华为鲲鹏开发套件,在端云同构的大趋势下,通过ARM生态以及达芬奇架构,成为华为布局云计算产业的一大秘籍。

最后,华为还宣布升级发布一站式AI开发管理平台ModelArts 2.0,支持开发者在鲲鹏和昇腾计算平台上进行简单高效的软件开发。

以下是本场大会的全部内容干货:

一、端云同构成为大趋势,鲲鹏首次发布开发套件

随着全面上云的趋势逐渐普及,我们会发现从边云同构将会为企业上云提供极大的便利。

华为Cloud & AI产品与服务CTO张顺茂表示鲲鹏生态的优势相比X86优势在于端云同构,边缘和云侧使用的都是ARM平台,可以无缝迁移;而一旦使用X86就需要进行指令翻译,进而造成指令的损失。

华为云AI开发套件全家桶解密:将五年投入15亿美金,ModelArts 2.0全面升级

此外一次开发,全场景部署也是基于鲲鹏生态所带来的一个巨大的优势,基于达芬奇架构无论是通用APP,还是云端的训练,模型模型可大可小,自由流动。

华为云AI开发套件全家桶解密:将五年投入15亿美金,ModelArts 2.0全面升级

那么如何将软件迁移到鲲鹏计算?

张茂顺表示:解释性编码无需修改可以直接运行,C语言等需要修改但是华为有现在的华为编译器已经非常成熟,迁移并不会花费很大的成本。汇编语言,就需要重新写,不过好在现在的汇编语言已经不多。

如果只有最后的二进制执行码,现在华为也在进行相关的编译器研发,不是现在还不是非常成熟。

华为云AI开发套件全家桶解密:将五年投入15亿美金,ModelArts 2.0全面升级

华为智能计算TaiShan & Atlas领域总经理张熙伟则表示“鲲鹏生态发展进入快车道,在过去的9个月内,华为携手合作伙伴共同完成了超过3000个行业应用向鲲鹏生态的迁移。鲲鹏使能开发者,为每行代码注入改变世界的算力”。

1、鲲鹏具备“端边云算力同构”优势,打破数据中心与边缘、终端的界限,为开发者提供统一架构的计算平台。

2、鲲鹏具备多核高并发的计算优势,满足大数据、分布式存储、数据库等场景的算力需求,引领IT架构分布式转型趋势。

3、通过鲲鹏+昇腾的协同优势,灵活向AI算力扩展,满足5G、AI、自动驾驶等新技术对多样性算力需求。

4、鲲鹏五级算力加速技术,通过迭代编译、NUMA-aware、消息队列硬加速、函数加速库、内核调度自优化,实现程序性能提升50%。

本次大会发布的华为鲲鹏开发套件包含编译器和三个工具。业界首创的分析扫描工具和代码移植工具实现跨计算平台的自动化应用迁移,让开发者对指令集差异无感,加速应用迁移的同时实现代码优化;性能优化工具面向开发者性能调优实战设计,通过性能可视和一键式优化,帮助开发者工作效率提升5倍。开发者能够在鲲鹏开发者社区一站式获取相关工具和知识库,同时华为云DevCloud云上软件开发平台也集成了鲲鹏开发套件,为开发者提供线上全流程软件研发工具。

二、AI开发平台ModelArts 2.0全面升级

作为华为一站式AI开发管理平台,此次华为云ModelArts 也宣布升级到2.0。

贾永利表示,ModelArts2.0以全流程的极简和自动化升级已有的AI开发模式,让数据准备、算法开发、模型训练、模型管理、模型推理全链条产生质的飞越。

此次ModelArts2.0发布的十余项新特性及服务,包含智能数据筛选、智能数据标注、智能数据分析、多元模型自动搜索、ModelArts SDK、图神经网络、强化学习、模型评估/诊断、模型压缩/转换、自动难例发现、在线学习等,覆盖AI模型全生命周期。

此外,华为云还通过技术创新,做到无论是对初学者还是数据科学家都能很友好的使用。其代表性的技术亮点有以下几个:

1、自动化AI数据处理

ModelArts2.0通过智能数据筛选,用AI的方式自动过滤和筛选出对训练模型无效的数据。以视觉类场景为例,失焦、过度曝光图片往往不能参与标注;从业务场景上看,有些不符合要求的也不能参与标注。

华为云将业界传统的主动学习进行升级,首次提出混合智能标注技术,可以让标注效率获得至少5倍以上的提升。

除了自动标注,ModelArts2.0还将上线数据评估与诊断功能,目前已经提供基于样本质量特征、图像全局属性、标注特征20种左右的特性的自动提取和可视化能力,帮助开发者识别数据的深层关系,指导开发者对数据进行优化。

2、业界领先AI模型训练

独创的多元搜索技术,将自动数据增强、超参自动搜索、神经网络架构搜索等技术进行融合,可以帮助用户快速构建AI模型,并且在精度表现上远超业界水平。以构建细胞发育时期分类模型为例,华为云EI团队通过多元搜索技术构建的单细胞基因图谱表达分类模型精度,相对于通过传统自动学习方法构建的模型,精度提升5.4个百分点,同时模型训练速度快了5倍。

华为云AI开发套件全家桶解密:将五年投入15亿美金,ModelArts 2.0全面升级

开放ModelArts SDK,支持集成第三方开发环境(例如PyCharm),为企业级应用打通开发流水线,供开发者按需灵活调用云上强劲算力,支持线上线下协同的开发环境。

针对更加专注于数据建模和问题解决的资深算法工程师和数据科学家,华为AI计算框架MindSpore 提供自动化的并行能力,只需简单几行描述就可以让算法跑到几十乃至上千AI运算节点上; 提供强大的自动微分能力,从源码级别帮助实现微分算子的自动开发,极大释放专家们的创造力。

3、完备的AI模型管理

对于算法开发人员来说,对模型性能的评估以及调优是一项重要且难度极高的工作。ModelArts2.0提供了丰富的模型评估接口和可视化能力,并且能够基于评估结果给AI开发者提供模型诊断建议,辅助开发者对模型进行调优和增强。

4、持续进化AI模型推理

ModelArts 2.0业界首发难例自动发现功能,结合在线学习方式,打通运行态和开发态,让模型随着数据的增长和变化,也可以在线持续学习和进化,真正提供企业级的可进化的AI。该功能已经率先在华为云自动驾驶云服务Octopus上试运行。

华为云AI开发套件全家桶解密:将五年投入15亿美金,ModelArts 2.0全面升级

基于ModelArts,华为云在全联接大会期间举办了AI垃圾分类、无人车等赛事决赛。现场,华为云还展示了与上海交通大学联合举办的无人车挑战赛场景,开发者通过云侧进行开发与训练,训练好的模型部署到车上的华为Hilens Kit,实现车辆的自动行驶。

最后,本次大会面向高校师生及开发者发布了华为AI系列第一本专业参考书《昇腾AI处理器架构与编程—深入理解CANN技术原理及应用》,由上海交通大学计算机科学与工程系教授,博士生导师,学科带头人梁晓峣编著,后续华为还将陆续发布智能计算技术系列丛书,作为学生选修教材。

Linux基金会的执行董事Jim Zemlin在本次活动中表示,Linux一直是支持多样性计算发展的一股重要力量,Linux基金会将会与华为共同推进计算产业多样性的发展。

三、沃土计划2.0发布,五年投入15亿美金

基于华为的鲲鹏与昇腾生态,开发者生态都做了什么,这是华为首先向我们回答的问题。

热带雨林中,通过部署华为手机在森林中收录的不同声音,然后传到华为云,通过大数据与AI分析,可以分析汽车碾过的声音、电锯伐木的声音、小动物的呼救声音……从而为森林保护者提供方向,避免了漫无目的的寻找。

荒漠之中,用AI机器人可以自动完成挖沟、浇水等工作,从而减少很多人类的工作量,将和荒漠逐渐变成绿洲。

在垃圾分类领域,ABB工程师与华为工程师仅用了一个月就一起开发出一套垃圾自动检测分拣机器人,可以帮忙解决目前让很多人头疼的垃圾分类问题,值得注意的是这套分析法的定位精度已经可以准确到一毫米的精度。

生鲜零售领域,新加坡的开发者基于华为开源生态开发了“果脸识别”应用,可以对水果进行自动识别、称重、打标签等工作,而且不仅可以区分苹果与桔子,甚至可以细致到可以分清楚日本的红富士与新西兰的爱妃苹果。

最后,在文化领域,还有工程师开发出了有98%的甲骨文识别准确率的产品,对于文化考古做出了巨大贡献。

而这些,背后都是华为的“鲲鹏”“昇腾”系列产品以及相关的软硬件生态以及沃土计划的扶持。

所谓沃土计划,是华为针对计算产业生态构建的一个生态扶持计划,在2015年的首届华为开发者大会上已经发布了沃土1.0计划。

截至目前,华为逐步开源开放了CT产品、云服务、昇腾AI计算、鲲鹏计算能力等,并在全球建立21个OpenLab,打造开发者社区,举办开发者大赛和人才认证等,历经4年发展,华为已拥有130万注册开发者个人,超过14000家企业开发者伙伴参与。

在今日的大会上,华为进一步发布了沃土计划2.0,宣布未来5年将投入15亿美金,汇聚500万开发者。

资源升级方面,华为Cloud & AI产品与服务CTO张顺茂表示“下一个5年,华为沃土计划2.0将从5大方面进行升级”。

产品升级:重点基于鲲鹏+昇腾计算处理器,打造开源开放的计算产业生态;

赋能升级:打造360度的全方位赋能体系;

联盟升级:推动产业标准,规范,示范点,技术认证体系的建设,共同做大蛋糕;

社区升级:按行业建设应用生态,按区域建设产业生态;

激励升级:让每个开发者都能获取到鲲鹏和昇腾算力。

开发者扶持方面,华为表示,沃土计划2.0将继续在LEADS理念的指导下(Lab as Service、End-to-End、Agile、Dedicated、Social),针对开发者开发历程的了解、学习、构建、上市这四个阶段,优化相应流程,社区,资源配置等,使开发者在华为平台上更高效地成长。

具体扶持资源包括:鲲鹏开发样机、昇腾训练卡、云服务代金券,OpenLab,培训与认证服务,开发者大赛,ISV应用迁移技术支持,华为FAE开发支持服务,华为认证,ISV营销活动与样板点支持等。

此外,华为也将围绕开发者学习、产品构建、产品上市三个阶段,分别设立LDF(学习成长基金)、PDF(产品开发基金)、MDF(市场发展基金)三类基金。