智东西(公众号:zhidxcom)
编 | 轩窗

3月15日,由智东西主办,AWE和极果联合主办的GTIC 2019全球AI芯片创新峰会在上海成功举办!本次峰会报名参会的观众覆盖了近4500家企业,到会观众极为专业,其中总监以上级别占比超过62%,现场实际到会人数超过1800位。

大会现场,来自全球半导体三巨头高通英特尔华为;中美两大最顶尖AI芯片创企地平线Wave Computing;国内互联网巨头百度;AI芯片明星创业公司寒武纪、比特大陆以及海尔优家和大华等AI芯片重要落地领域头部企业的20位业界翘楚共聚一堂,系统的探讨了AI芯片在架构创新、生态构建、场景落地等方面的技术前景和产业趋势。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

▲华为无线终端芯片业务部副总经理 王孝斌

对于全球芯片产业格局,华为既是挑战者,也是创新者。会上,华为无线终端芯片业务部副总经理王孝斌带来了主题为《华为HiAI如何助力应用快速智慧化》的演讲,分享了华为在推动端侧AI能力开放、AI生态建构上的宝贵经验。

王孝斌认为,尽管端侧AI应用百花齐放,但其也面临着巨大的挑战:计算密集、复杂,计算需求巨大,对实时性要求非常高;运行环境受限,功耗、内存、存储空间的巨大挑战;越来越多的应用带AI,应用场景多样性的挑战;各种新型算法、网络层出不穷的挑战。随着AI技术创新的不断繁荣,技术平台建设,需要加紧迭代以支持这些创新能力。

在峰会上,王孝斌海讲述了华为在AI生态建设上的心得。当前麒麟970、980+HiAI1.0、2.0已经有了BAT、抖音、快手等1400多个合作伙伴,吸引了超过56万的开发者,服务用户超过了4000万。华为手机实时像素级的人体分割、马卡龙的实时像素级别AI抠图、抖音魔法背景都是华为HiAI提供的加速赋能。对用户来说,HiAI则具有三大价值,来低时延实时的应用体验、本地计算的隐私保护以及成本的减少。

附华为无线终端芯片业务部副总经理王孝斌演讲实录

王孝斌:大家好!我叫王孝斌,来自华为。感谢智东西的邀请让我有机会代表华为和大家分享一下华为在端侧AI、HiAI上的进展情况,今天我分享的主题是《华为HiAI如何助力应用快速智慧化》。

两年前,华为在全球首发集成NPU的麒麟970芯片引起了比较大的轰动,全球的各大媒体、如MIT、CSO等权威媒体对AI趋势提出了自己的看法,比如端侧AI算力的提升如何在未来更好地重塑我们的生活、怎么把智能手机向智慧手机的转移、端侧AI带来的隐私保护和用户对自己数据的所有权,还有整个端侧的机器学习会让手机变得越来越智能越来越强大。有人预测到2022年80%以上的手机会具备端侧AI的能力,今天大家也看到了很多趋势方面的分享,端侧AI是大家公认的一个发展趋势。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

作为端侧AI的先行者,华为在应用和应用的紧密配合中华为也看到越来越多的问题。首先是技术的密集,非常复杂的计算要求,以及实时性的挑战非常高。另外在运算环境方面是受限的,一个手机拿在手上的它的功耗、尺寸、存储各方面都是非常受限的。另外,端侧的应用都是五花八门,花样繁多的,而且现在越来越多的应用带AI,对场景的丰富性和多样性提出了非常高的挑战。此外,新型的算法、新型的网络层出不穷。大家在这个行业也都非常清楚,这是一个高度创新的领域,全球最聪明的脑袋都汇聚在此,对于平台来说需要支持这些创新能力。上图右侧中,大家可以看到这是越来越多具有端侧AI能力的应用。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

在麒麟970推出的时候,华为也推出了HiAI移动AI开放平台,考虑在芯、端、云三个层次提供AI接入能力。在云侧提供了HiAI Service,可以做到让服务快速、主动地找到人;在端侧提供了HiAI Engine的服务,用户、开发者可以迅速让应用获取智慧化能力;芯片侧则由HiAI Foundation提供加速,性能和能效比显著提高,让合作伙伴的应用可以在NPU的加速下获得更好的极致体验。

HiAI平台已有1400多个合作伙伴,吸引了超过56万的开发者,BAT、抖音、快手等头部应用都是我们重要的合作伙伴。在后面的演示里大家可以看到更生动的展示。大家听了一上午已经疲劳了,看看我们的演示可以给大家带来新鲜的感觉。

HiAI给用户带来的价值有三个方面:

1.实时性。在端侧本地完成计算,所以减少了计算上云的需求,消除了上云的时延;因为是本地加速,计算速度比传统CPU、GPU加速更快。所以在本地计算和本地加速两个角度都可以降低时延。

2.隐私保护。由于数据不用上云在本地完成处理,用户自己拥有数据的所有权,因此隐私也得到了保护。比如图像风格化,大量数据都是在本地完成处理的,不需要上云。

3.成本减少。成本方面也包含两个维度,一是网络传输成本,大量数据往云传输占用流量的成本;其次在本地完成计算,减少了服务器对硬件的需求,因此在时延、流量、服务器侧都降低了成本。

下面是几个应用案例:

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

第一个案例是华为手机上相机内置的原生应用——AI视频留色,通过实时像素级的人体分隔,通过AI留色让人物能凸显自己的主角光环,除了主角和鲜艳的服装颜色外,画面其余部分都是黑白色的。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

第二个案例是与马卡龙的合作,通过AI带来摄影的革命,一键P图可以让用户置身于天涯海角。其相关技术包括Inpainting、像素分隔。在HiAI的帮助下可以实现实时、随意的修改。

SketchAR是一家欧洲的将AI和AR技术结合的公司。这家公司的应用非常有特色,让消费者可以通过手机直接看到临摹的效果,是让初学者进阶为艺术大师的非常好的一款应用。这款应用在之前没有HiAI加持的时候,延时抖动非常大,消费者体验非常差,有了HiAI的加速后,抖动和延时大幅度降低,基本做到了实时跟随的效果。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

抖音、快手在国内有着几亿的用户,深受消费者的喜爱,华为与两者也进行了合作。这些应用之前都有卡顿、吞帧,稍微玩一会儿手机就发热烫手的问题。HiAI提供加速的能力,抖音提供算法,解决这一问题。如上图,左边是魔法天空,利用手势一动天空就会进行变换。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

快手的合作,算法来自快手,HiAI提供加速的能力,可以实时检测运动的手势,实现自动切换。上图中红衣服女孩的左边没有HiAI进行加速,右边是有HiAI支持的,大家可以看到两者的效果有很大的差别。

相信在座很多孩子都学过围棋,我们和聂卫平棋圣有一个合作,把一个“Alpha GO”装入手机,在手机上可以实现业余四段的下围棋的水平,可以超过95%以上普通下围棋的水平。最关键的一点,这一应用可以在完全离线的情况下实现,让用户不管是在车上、深山老林等任何没有网络的地方都可以享受到下围棋的乐趣。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

这是Prisma,很多消费者可能听说过这个应用,它在刚推出的时候大获好评,在全球的用户量迅速攀升。但刚开始的时候,Prisma的风格化只能在云上处理,所以一度造成其服务器宕机,这是它的很大的一个痛点。在与HiAI合作后,在本地完成风格化迅速将其服务器的开销降下来,也让其处理时间由上云的9.6秒降为基于HiAI本地处理的3.2秒,时延的降低非常惊人。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

相信今天会有很多朋友拍一些PPT的照片,华为和WPS还有一项合作,可以做到用户在将自己拍的照片上传后一键生成PPT,这是完全自动化的操作,相信对各位商务人士是非常实用、贴心的应用。上传后还有文档的自动检测和校准功能,可以做到文字图像的超分行以及通用OCR(图像文字识别)。大家可以在华为应用市场上下载WPS,充分体验到HiAI加持下的新移动办公。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

相信所有朋友每天都会用到各种输入法,但现在输入法有一个问题——预测不准确,不能准确地理解你的意思。华为和搜狗进行了合作,通过HiAI加速运行更复杂的模型,好处则是能够在不牺牲性能、延时性能得到保证的情况下,得到更准确的内容预测。如上图案例,“妥协”和“拖鞋”中用户是想输入“妥协”的,传统的输入法是不会理解你的意思的,但有了HiAI之后,可以准确地预测你想输入的内容。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

有道翻译也是很多朋友在大量使用的一款应用,随时随地、快速翻译、是非常具有挑战的。华为通过HiAI的加速与有道进行了深度合作,将离线翻译的速度从30%提升到了40%。当出现英文时,迅速中文翻译同步跟上,真正做到了跟世界的自在沟通。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

通过前面这几个案例,大家可以看到HiAI可以在很多领域做赋能,如短视频、直播、社交平台、AR、拍照修图、购物、游戏、翻译和文字处理都有大量的应用案例,也给很多消费者带来了切实的体验。 华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

那么其背后的技术是什么?相信大家都比较好奇,HiAI基于NPU集成了专业的指令集和计算库,可以高效地执行神经网络算子。最早的时候CPU处理标量计算,GPU处理失量计算,在AI时代专用的NPU处理张量计算,这是最适合AI应用的。HiAI采用了很多种优化方法,包括编译、融合等,尽量将计算在本地完成,还有小型化、稀疏化等方法,可以实现快速简洁有效的推理预算。

华为王孝斌:端侧AI应用将面临巨大挑战|GTIC2019

HiAI的版本迭代也是非常快速的,第一代HiAI1.0是随着麒麟970推出的,去年推出了第二代HiAI2.0。从HiAI1.0到HiAI2.0,HiAI平台的能力也在快速提升。在能力上,物理识别从1.0的比较粗粒度到HiAI2.0的能够支持轮廓、姿态细粒度的物理识别;在图像识别方面,从HiAI1.0的图片到HiAI2.0的视频处理,实时分割也做到了精准的像素级分割。

HiAI的开发友好性也在持续完善。HiAI1.0支持Caffe、TensorFlow、Android NN等主流框架,到了HiAI2.0增加了ONNX等更多的框架,支持CPU、NPU混合模型调度以及模型并发运行。

在算子方面,HiAI2.0也有大幅度提升,算子个数从90个增加到150个。在工具链方面,HiAI2.0有更友好的工具链,包括INT8的模型以及模型转化,在兼容性方面也考虑到了INT8的兼容性。

此外,HiAI2.0开发效率也有非常大的提升,芯片级Foundation从四个月缩短到一个星期;基于云的Service层面由一个星期提升到1天;基于端侧HiAI Engine从一天提升到一个小时。

华为HiAI的目的就是做好“黑土地”,促进AI的应用百花齐放,希望在AI的大时代贡献出我们的一份力量。

谢谢大家!