从手机、汽车到XR,AI开发的“大一统时代”来了?

智东西(公众号:zhidxcom)
作者 | 云鹏
编辑 | 漠影

掏出手机、人脸识别解锁、向智能语音助手询问天气状况、查看系统依据你的喜好推送的信息……这些习以为常的操作,都在证明着同一件事:AI已经深入了我们生活的各个角落。

而今天,AI能力正快速从智能手机等移动领域向其他赛道拓展,从智能汽车、XR到PC、各类智能物联网设备,市场对于AI技术应用的需求日渐高涨。

随着5G技术的成熟、高能效计算的快速发展、端云融合趋势的推动,我们身边的各类终端设备都在加深与AI的融合,AI应用落地也成为各行业数字化转型“进阶”的一部分。

作为深耕AI软硬件技术多年的巨头高通,也看到了这一趋势。而这些智能网联终端的出现,恰恰与高通想要做的是一致的:在万物智能互联的世界中,用自己的技术和能力进行赋能。

从手机、汽车到XR,AI开发的“大一统时代”来了?

就在近期,高通发布了自己的首个高通AI软件栈(Qualcomm AI Stack),可以说,针对行业中的普遍难题——如何用一种简便的方式,面向所有业务部门和产品线实现AI的拓展和普及?高通已经给出自己的独特解法。

通过自身积累的AI技术对产业进行赋能已经成为科技巨头的“兵家必争之地”。高通AI技术栈的独特性在哪里,对于行业又意味着什么?为什么高通选择在这个时间点发布自己的AI软件“全家桶”?我们尝试从产业技术视角来一探究竟。

一、 打破终端壁垒背后:扎根各行业多年练就“独门秘笈”

当下,各类网联终端设备都开始具有智能化趋势,而对于企业和开发者来说,这既是机遇又是挑战,机遇在于新的市场,而挑战则在于如何高效地将AI能力落地在产品中。

正如目前科技行业的大趋势一样,高通AI软件栈实际上就是一种面向企业和开发者的AI赋能。

那么,高通到底做了一件什么事?

实际上,高通将所有业务线的AI软件功能访问权限,集成在了一个统一的软件栈中,来提供跨智能网联终端的完整解决方案,来便利开发者进行面向不同智能终端的AI模型和软件迁移以及开发。

从手机、汽车到XR,AI开发的“大一统时代”来了?

我们可以把这个AI软件栈想象成一个AI开发“全家桶”,需要什么能力,开发者便可以从中快速获取。

在这其中,最重要的是“跨终端”这三个字,这就意味着,OEM厂商们和开发者们针对单一产品进行的软件模型开发,可以直接扩展到其他产品中,让他们从开发到部署过程中的投入和成果可以被更充分的利用。

简单来说,高通AI软件栈能够让开发者面向所有高通技术支持的终端产品进行AI开发,包括智能手机、XR、PC、物联网、机器人、汽车等。

比如,基于骁龙移动平台,针对智能手机开发的一些技术成果,可以便捷地部署到搭载骁龙平台的PC笔记本电脑上,无须重新开发,这大大加速AI开发的进度。

从模型准备、研发,到针对不同产品的细微优化,再到最后的模型部署,高通让厂商和开发者能够在一个统一软件栈上完成对模型的量化和优化,打造出适合具体用例的特性。

在未来,智能汽车、安防摄像头这些产品,甚至可以轻松拥有原本应用在手持移动设备上的面部识别功能,产品能力和用户体验都会有质变性提升。

为了更好地实现跨设备开发,高通AI软件栈基本支持现阶段各类主流操作系统,包括Android、Windows、Linux以及面向网联汽车的QNX等,同时在系统软件层面,可以完整支持系统接口、加速器驱动以及仿真模型工具等。

在开发者库与服务层面,高通AI软件栈实现了对数学库、编译器和虚拟平台的支持,编译器可以针对特定内容进行定制化处理,开发者们用Python只要几行代码就可以完成更多工作。

实际上,这些正是高通AI软件栈最为关键的差异化优势:通过高通在丰富业务线上的软硬件产品组合,支持客户将其在一个业务线的投入和相关工作高效、低成本地扩展至不同领域。

这背后,是高通在智能手机、汽车、XR、物联网、PC等领域的深厚布局。

从手机、汽车到XR,AI开发的“大一统时代”来了?

目前行业中其他大部分企业所提供的软件栈多是针对于某个特定的行业领域的,因此高通这种能够提供跨智能网联终端解决方案的能力,是别的企业难以复制的。

除了跨终端开发的适用性、便捷性,高通AI软件栈实现AI能力的能效比也十分出众。

我们可以从高通AI软件栈中看到“高通AI引擎Direct”这一部分,高通AI引擎Direct可以在最靠近模型或硬件的位置进行软件编辑,能够更好地释放硬件性能、确保更高峰值表现。

而高通AI引擎Direct之上运行着AI runtimes,可帮助OEM厂商和客户更高效地完成更多AI用例。此外,高通提供了神经网络架构搜索(NAS)能力,来保障低时延和高精度AI计算,同时确保低内存和高能效。

总体来看,高通提供了丰富的AI模型库和模型开发工具、支持不同类型的框架、支持高通AI引擎Direct、支持不同的runtimes、还支持分析器和仿真工具,可以说为智能网联边缘终端的开发提供了颇为完整的“AI百宝箱”。

二、解构软硬件技术难题,从“实践中”锻炼而出的AI

突破终端的开发边界、提供便捷的AI能力支持,这种高效的智能硬件开发体验背后,是高通多年来在底层AI技术侧的深耕以及各条业务线产品组合对AI能力的充分应用、锻炼。

首先,从技术角度来看,最显而易见的,相比高通的传统强项智能手机,物联网或者汽车业务领域在不同场景下的功耗需求分析、模型类型、模型部署方式都是不同的。此外,不同业务对于准确性、功耗以及时延等方面的平衡要求也各不相同。

比如物联网设备往往注重低功耗、连接稳定性,而对于传输带宽和计算性能需求一般不高,而车载场景往往要求数据传输具备极低延时、AI模型计算具备极高准确性,以保障道路和人车安全,并且这类任务处理负载往往是动态的,因为路况是瞬息万变的。

再比如XR领域所应用到的手势追踪、眼球追踪、3D重建AI模型与汽车领域所需的激光雷达AI模型大有不同,这些AI应用对于精准度的要求和其带来的影响,相互之间都有很大区别。

当然,从硬件的角度,如何打造一个开发者硬件,将一个技术领域的IP进行跨平台、跨领域的扩展,都是高通AI软件栈落地过程中解决的挑战。

除了对于关键技术的攻克,高通AI软件栈也是从“实践中”锻炼而出的AI能力,因为当下高通的AI能力已经在各类终端中应用,并为各类终端用户提供了更便捷的使用体验。

我们最熟悉的莫过于应用在智能手机端的骁龙移动平台。

从手机、汽车到XR,AI开发的“大一统时代”来了?

今天,智能手机有着前所未有的强大计算、感知和连接的能力。而AI已经融入到智能手机体验的方方面面,从影像、语音识别到数据安全。

2021年骁龙技术峰会上,高通发言人公布道,通过骁龙移动平台,高通的AI技术已经支持了超过18亿部终端。从2016年至今,高通AI引擎已经迭代至第7代。在AI引擎上的持续投入,也是高通对于终端侧AI应用潜力的认可。

可以说,今天智能手机AI算力的提升,与这些移动芯片巨头在芯片AI技术上的投入密不可分。

第一代骁龙8和骁龙8+旗舰移动平台,搭载了相比上代骁龙888平台AI性能提升4倍的第7代高通AI引擎,搭载的第三代高通传感器中枢模块增加了低功耗AI子系统。

该AI子系统包括一枚低功耗智慧感知ISP,可以在保障用户隐私安全的情况下让手机摄像头保持长时间工作,提供防窥屏、物象实时检测等功能。

甚至检测到用户开车时,手机会自动调出导航APP并切换到语音控制模式,而检测到用户进行跑步时则会开启轨迹记录和健康数据监测等功能,手机会具有更多“智能”。

可以说,在智能手机上,不论是拍照、游戏,还是图像、音频处理,都离不开AI技术的加持,而出色的AI性能和能效也一直是骁龙移动平台的优势之一。

除了智能手机,汽车也成为了AI落地的新兴焦点赛道。

从手机、汽车到XR,AI开发的“大一统时代”来了?

在汽车领域,高通通过Snapdragon Ride平台,面向不同的自动驾驶场景,提供不同等级的算力。

比如说,Snapdragon Ride平台能够以小于5瓦的功耗提供为汽车风挡玻璃上的ADAS摄像头提供10 TOPS的算力,它也可以为L4、L5级别的自动驾驶场景提供超过700 TOPS的算力。

汽车数字座舱也是AI落地,推动交互体验变革的关键领域。2019年,高通推出第三代骁龙座舱平台,支持沉浸式图形图像多媒体、计算机视觉和AI等功能,获得了不少汽车厂商的青睐。自2020年起,骁龙座舱平台已支持中国汽车品牌推出约50款车型。

在此基础上,2021年推出的第四代骁龙座舱平台采用5纳米工艺,作为高性能计算、计算机视觉、AI和多传感器处理的中枢,并支持车辆电子电气架构不断演进。

根据最新数据统计,目前高通在车载网联和汽车无线连接领域市占率排名第一,全球所有主要汽车制造商都选择骁龙数字座舱平台来打造智能网联汽车。

在物联网领域,AI正在推动家庭、工业、企业和智慧城市等很多物联网应用的发展。

现在高通已经为全球近13000家企业提供了物联网解决方案,在物联网不同的细分领域进行产品的落地商用和全球拓展。未来,在物联网领域的机器人、智能制造、智慧城市、智慧零售、智慧安防、智能仓储等产业中,AI有着广阔的应用空间。

在“元宇宙”概念火爆的当下,不论在VR还是AR赛道,高通都可以说是“隐形大佬”,因为全球几乎所有主流XR终端厂商都采用了高通的芯片方案,从海外的Meta、微软到国内的众多AR、VR创企。

据统计,目前已有超过50款搭载骁龙平台的VR和AR终端发布。就在前不久,高通在骁龙之夜活动上首次推出了基于骁龙XR2平台的无线AR眼镜参考设计,并发布了高通FastConnect XR软件套件。

就在今年6月,高通开放了自家专门面向开发者的XR软件开发平台Snapdragon Spaces,这一平台于去年11月首次推出,也是高通AI软件栈的重要组成部分。

简单来说,Snapdragon Spaces就是高通凭借自己已验证的成熟技术、开放的跨终端平台和生态系统,为开发者们提供的开发工具,来帮助开发者们打造各类XR应用,提升XR应用的实际体验。

能够看到,高通在XR领域的这些持续投入和研究,已经让他们成为元宇宙时代的核心赋能者。这些布局已经帮助高通在XR领域打造了一套较为完善的技术体系,从平台、软件、算法到生态系统和参考设计。

通过这些业务布局,我们能够清晰地看到,高通各个业务线的产品组合都已经与AI进行了深度融合,AI已经在诸多品类中进行了赋能,并且带来了真正便捷、贴心的使用体验。

这种“从实践中”锻炼出来的AI能力,也是高通在AI侧独有的核心竞争力之一。

三、万物互联大背景下,技术路线走向“统一”已成必然

不论是高通在智能手机之外的汽车、XR、安防、物联网、PC领域的积极布局,还是此次高通AI软件栈的正式发布,我们都能看到,高通正在将自己各条业务线中的技术进行统一化部署。

用高通自己的话来说,就是将一个业务部门或产品线上的相关投入以及IP进行调整,以应用于不同的业务部门。

高通将其称之为“统一的技术路线图”(One Technology Roadmap)——一个可扩展应对所有增长业务需求的技术路线图。

从手机、汽车到XR,AI开发的“大一统时代”来了?

实际上,高通AI软件栈已经为不同业务及产品建立统一SDK打下了坚实基础。

高通AI软件栈已经集成诸多SDK,比如面向汽车ADAS解决方案的Snapdragon Ride SDK、面向物联网的高通智能多媒体SDK,以及高通近期发布的Snapdragon Spaces XR开发者平台。

高通的AI模型可以实现跨平台和跨产品线的灵活迁移,从而发挥自身长期积累的跨品类技术优势。

凭借自身在AI、影像、图形、处理和连接等领域的技术领先性,高通几乎为每类边缘侧终端都提供了智能、高性能、低功耗系统和各类无线组件,从TWS耳机到智能汽车均有应用。

从手机、汽车到XR,AI开发的“大一统时代”来了?

从高通统一的技术路线图中,我们能够看到高通在AI终端侧的技术领先性和领导力,而在未来,高通势必会借助高通AI软件栈进一步实现统一技术路线图的扩展,进而扩大在智能网联边缘的领先优势。

结语:拓展AI应用边界,高通不只是一家“手机芯片公司”

高通AI软件栈的发布,无疑成为高通拓展AI技术边界、赋能行业的关键节点。其良好的跨品类开发适用性、高AI能效比的特点,为开发者和厂商进行AI拓展和普及提供了便利。

目前我们正快速迈向人与万物智能互联的世界,各类智能设备能够实时连接至云端,让终端、体验数据受益于不断增加的内容处理能力和云端存储空间。而5G、AI和云的结合也将带来的新的商业机遇和广阔市场。