第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

智东西(公众号:zhidxcom)
作者 | 心缘
编辑 | 漠影

智东西6月23日报道,今日,AI独角兽企业第四范式推出了企业级AI操作系统4Paradigm Sage AIOS 2.0及企业级智能应用市场4Paradigm Sage App Store,联接打通了应用、数据、算力三者间的屏障,并以Sage AIOS App Store平台为基础,扩展为应用联邦、数据联邦、算力联邦三大网络,加速企业智能化转型。

在注入更多生态力量之外,第四范式也面向开发者社区开源AIOS底层的技术能力。第四范式宣布将开源OpenMLDB机器学习数据库和OpenAIOS人工智能操作系统内核,并开放上线了基于机器学习数据库和AI操作系统内核的AIOS社区版,让更多企业、个人开发者在“避坑”的同时,正确高效构建智能化应用。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

一、企业级AI操作系统升级,推出企业级智能应用市场

企业转型过程中需要很多能力,为了让AI在企业智能化进程中发挥价值,必须具备集应用、数据、算力为一体的能力模型。这三者需要相互联接,其中任何一个出现问题,另外两个都无法发挥作用,整个智能化体系将会失效。

然而,AI应用落地的速度远追不上飞速增长的数据量和算力投入。为了解决AI应用门槛高对三者联接的阻塞,第四范式研发了能快速构建AI应用的全栈的自动机器学习技术(AutoML)。

比如,能源电力行业的科技公司健新科技CTO刘勇分享了通过第四范式AutoML快速拓展智能分析能力,帮助长江三峡葛洲坝快速实现设备实时预警、降低运维成本。

只解决应用加速的问题,并不足以支撑企业的转型与质变,数据是整个AI系统的“输入”,没有数据,AI应用将成无米之炊。

但数据治理过程艰难,平均花费数据科学家95%的时间。有了数据形式,就能更快地将原始数据变成AI ready的数据,一键开启建模和应用。

为此,第四范式开创了“数据形式”方法论,每一个数据形式,定义了相应业务场景里所需的数据标准,包括需要什么样的数据、从哪里去取,应该如何处理。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

有了快速的应用构建能力,轻松的数据使用,算力需要为三者之间的联接提供稳固根基。

AI时代拥有面临多样化的异构算力,对此,第四范式打造了AI异构资源调度与管理平台AIOS Kernel,能更好联接应用生态和异构算力,拥有动态调度和虚拟化算力资源功能,屏蔽异构算力的复杂性,最大限度发挥算力价值。

第四范式的企业级AI操作系统Sage AIOS 2.0,联通了应用、数据、算力三者间的屏障,为了支撑企业全面的智能化转型,还以企业级智能应用市场4Paradigm Sage App Store为基础,扩展为应用联邦、数据联邦、算力联邦三大网络。

基于应用联邦,企业可以基于数据和算力共享的应用快速组装个性化的智能方案,加快智能化的速度。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

基于数据联邦,企业可以安全保护数据隐私的情况下更好的利用数据,提升业务价值。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

基于算力联邦,企业可以屏蔽掉异构分布式算力的复杂性,更好的应对AI算力异构化的趋势。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

第四范式与多家国内外服务器厂商进行了深度适配和优化,希望通过软件定义算力,降低分布式异构算力趋势所带来的复杂性。

通过这三大联邦,第四范式想要借助开放的力量,让企业可以通过拥有一个AI操作系统,赋能企业快速触达各类转型所需的能力。这些能力均能从4Paradigm Sage App Store应用商店中获取。

二、开源两大AI底层技术栈,公布新开源计划

现场,第四范式还宣布将开源支撑AIOS的两个核心底层技术栈——OpenMLDB机器学习数据库和OpenAIOS人工智能操作系统内核,开放上线了基于这两者的AIOS社区版。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

很多企业和开发者在使用机器学习(ML)技术时,已经意识到正确数据供给的重要性。

然而现有的传统数据系统,不论是事务型数据库、分析型数据库还是传统数仓,都无法面向机器学习提供正确高效的数据供给。实际应用开发与落地过程中,仍然会大量出现数据穿越、泄露、离线在线不一致、拼接错位等数据问题。

这是因为ML需解决3个核心数据问题:线上线下一致性(Consistency),数据闭环(Closed-loop),数据时序正确(Chronology)

OpenMLDB机器学习数据库一方面通过统一的数据存储引擎避免了跨数据库的信息交换,避免了大脑之间的信息交换;另一方面通过统一的数据计算引擎,使离线和在线使用同一套计算逻辑,确保了总结规律和线索演算时思维方式的一致。

在时序正确性和闭环完整性上,OpenMLDB也矫正了传统数据系统造成的机器学习最易出现的数据穿越、泄露以及闭环错位等问题。

除了数据上的困局,AI在计算、存储、通信等方面也是“资源大户”,低效的硬件资源利用率和高昂的成本投入成为了转型的阻碍。

无论是计算、存储还是通信,不同的异构芯片、异构存储、异构通信设备,都需要操作系统内核进行统一的管理与调度,保障任务的成功率与资源利用率。

第四范式OpenAIOS是一个完全面向AI的分布式操作系统内核,实现了多级计算内核、多级存储内核以及多级通信内核,来应对异构算力的管理和调度。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

以多级存储内核为例,面向存储密集型技术组件,因为内存和显存不够导致的任务失败是AI任务最常遇到的难题。

在不侵入现有应用和代码的情况下,OpenAIOS在操作系统内部建立起一套面向内存和显存的多级存储内核,通过自动扩容策略和多级缓存机制将存储容量进行扩展,降低整体存储成本的同时提高任务的成功率。

除了存储密集型技术组件,面向计算密集型技术组件、通信密集型技术组件,OpenAIOS也提供了感知硬件拓扑的异构计算调度能力,以及面向异构加速器的专用通信协议,提升计算效率的同时,减轻数据通信上的压力。

第四范式开源两大AI底层技术栈,推出开箱即用“AIOS社区版”

在开源的基础上,第四范式开放了开箱即用的“AIOS社区版”,整合了提供正确数据供给的机器学习数据库OpenMLDB和提升计算效率的AI操作系统内核OpenAIOS。社区和开发者可在免费的线上算力和应用开发环境进行体验和学习。

此外,AIOS社区版支持多种本地IDE,让大家保持PC上开发单机应用体验的同时,无缝地将分布式任务对接到异构云资源上。

除了内置的核心应用,AIOS社区版还提供应用商店,能支持所有的云原生第三方应用

第四范式也进一步公布了“Knot中国结”开源计划,将在一年内开源开放95%的核心技术,未来三年为企业培养超过10000名AI应用开发人才。

三、AI改变产业,关键是找到临界点

AI发展历程中,途经“高期望-能否落地-落地是否有用”等多次潮起潮落。如今,AI的价值再次引发一些讨论和质疑。

对此,第四范式创始人兼CEO戴文渊提到对于科技改变产业,最重要的是能否找到临界点,不再是在场景上获得一些提升,而是跨过这个临界点后,想象空间几乎变得无穷大。

在他看来,下一阶段的最大挑战,是如何进一步将AI带来的量变推到质变,使得企业真正实现AI转型。率先转型成功的企业,都是利用AI决策赋能关键业务场景,最终突破业务临界点,实现质变。

比如,在消费互联网领域,内容分发是关键业务场景之一,传统的分发方式受限于人工编辑,而上线AI决策后,分发规模得以增加,决策准确度不断提升,当最终边际成本下降至0的临界点时,用户规模指数级增长,引发了企业实现“质变”。

传统行业也有先行者。据百胜中国IT资深总监孙磊分享,百胜中国的很多领域已经发生了质变。

比如,以前外卖餐点派送依靠专人来分配配送,现在都是由AI系统做订单分发,配送效率也变得更高;再比如,每家餐厅的外送商圈从专人维护,到智能商圈系统的AI自动规划,保障了全局效率最优。

AI正帮助百胜的线上、线下、供应链、食品安全、客服、培训等各个业务领域提升,会逐渐覆盖全价值链、各种业务范畴,最终提升消费者体验、公司营运效率和服务质量,同时降低成本。​

第四范式与永辉彩食鲜的合作同样是基于其战略目标的关键业务场景,如智能定价中台、AI采购员。

永辉彩食鲜CTO乔新亮认为,在AI决策的协助下,人效获得极大提升,突破临界点后,1个采购员能完成100个采购员的工作,3000人变成能做100倍的生意,最终企业增长不再受制于人力与成本。

当AI在关键场景验证成功后,就能逐步拓展到所有业务领域,最后实现企业经营的质变。

结语:AI决策将是帮助企业转型的新范式

由于企业转型过程中需要多重能力,要让AI更高效地企业转型进程中发挥价值,需要将应用、数据、算力更好地联接协同,这也是第四范式今日发布新品的思路。

戴文渊说,第四范式的使命和目标是“AI For Everyone”,他相信AI决策是帮助企业转型的新范式,也是未来带领企业走向质变的重要方法。

未来,第四范式将继续做好应用、数据和算力之间的联接,聚集开放生态和合作伙伴的力量,来帮助更多企业加速智能化转型。