智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

智东西(公众号:zhidxcom)
作者 | 李水青
编辑 | 云鹏

智东西10月27日报道,今日,在2023中国计算机大会(CNCC)上,智谱AI CEO张鹏宣布,智谱AI推出第三代基座大模型ChatGLM3及相关系列产品。

这是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。评测显示,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中排名首位。

基于ChatGLM3,智谱AI全新上线了“智谱清言”,国内首推代码交互能力,支持图像处理、数学计算、数据分析等多个场景,张鹏在现场对这些能力进行了实时演示。

张鹏透露,最新版本的ChatGLM-turbo在最新AgentBench上已略超出GPT-3.5。在算力方面,ChatGLM3已支持昇腾、海光DCU等10余种国产硬件生态;考虑更多边缘侧需求,ChatGLM3提供1.5B、3B等更丰富的模型尺寸,支持在笔记本电脑、手机、汽车上部署。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

在开源生态方面,智谱AI将对话ChatGLM3-6B、长文本ChatGLM3-6B-32k、多模态CogVLM-17B、智能体AgentLM开源。

此外,面向企业级市场,智谱AI开放平台推出私有模型方案、专属模型方案、开放模型方案多种选择,据称ChatGLM-turbo的API价格下降50%。

一、ChatGLM3评测排名首位,新功能瞄向GPT-4V

ChatGLM3发布,是智谱AI今年来第三次对ChatGLM基座模型进行了深度优化。智谱AI采用了多阶段增强预训练方法、更丰富的训练数据和更优的训练方案,使ChatGLM3-6B具备更强大的性能。

1. 更强大性能,44项测试国内排名第一

测评显示,ChatGLM3在44个中英文公开数据集测试中国内同尺寸模型排名首位,其中,MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

2. 瞄向GPT-4V,四大技术升级

瞄向GPT-4V,ChatGLM3 本次实现了若干全新功能的迭代升级,包括:

(1)多模态理解能力的CogVLM,看图识语义,在10余个国际标准图文评测数据集上取得SOTA。
(2)代码增强模块Code Interpreter,根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务。
(3)网络搜索增强WebGLM,接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。
(4)ChatGLM3的语义能力与逻辑能力大大增强。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

3、更高效推理,速度提升2~3倍

ChatGLM3实现了更高效的推理,ChatGLM3通过高效动态推理和显存优化技术的应用,相较于目前最佳开源实现vLLM速度提升2~3倍。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

4、 全新Agent智能体能力,比二代提高100倍

针对近期讨论更火热的AI Agent能力,ChatGLM3采用全新Agent智能体算法,充分激活大模型智能体能力,在智能规划和执行方面,相比ChatGLM二代提高1000%。

智谱AI还开启国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

二、与GPT-3.5平齐,全面适配国产硬件生态

张鹏透露,最新版本的ChatGLM-turbo在最新AgentBench上和GPT-3.5平齐,甚至略有超出。

智谱AI很早就高度关注到算力问题,布局全面适配国产硬件生态,以保证算力安全。

据悉,自2022年初,GLM系列模型已支持在昇腾、神威超算、海光DCU架构上进行大规模预训练和推理。当前其已支持10余种国产硬件生态,包括昇腾、神威超算、海光DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。

考虑更多边缘侧需求,ChatGLM3提供1.5B、3B等更丰富的模型尺寸。支持国产芯片的Edge版模型ChatGLM3-1.5B,可在笔记本电脑、手机、汽车上部署。支持移动平台上CPU芯片推理,速度可达20 Tokens/s;精度方面,1.5B和3B模型在公开Benchmark上与ChatGLM-60接近。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

在开源生态方面,智谱AI将对话ChatGLM3-6B、长文本ChatGLM3-6B-32k、多模态CogVLM-17B、智能体AgentLM开源。据悉,ChatGLM-6B在全球已有超1000万下载量,累计四周居于Hugging Face趋势榜第一,GitHub超5万Stars。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

三、全新“智谱清言”上线,国内首推代码交互能力

在全新升级的ChatGLM3赋能下,生成式AI助手智谱清言已成为国内首个具备代码交互能力的大模型产品(Code Interpreter)。

体验地址:https://chatglm.cn/main/code

“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。以下分别为各个能力的演示情况截图:

处理数据生成图表:

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

代码绘制图形:

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

上传SQL代码分析:

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

随着WebGLM大模型能力的加入,智谱清言也具有了搜索增强能力,可以帮助用户整理出相关问题的网上文献或文章链接,并直接给出答案。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

此前已发布的CogVLM 模型则提高了智谱清言的中文图文理解能力,取得了接近GPT-4V的图片理解能力,它可以回答各种类型的视觉问题,并且可以完成复杂的目标检测,并打上标签,完成自动数据标注。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

四、推出智谱AI开放平台,API价格下降50%

面向企业级市场,智谱AI构建了智谱AI开放平台,包括私有模型方案、专属模型方案、开放模型方案。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

随着本次发布,智谱AI的API产品矩阵发生变化:从提供ChatGLM-Pro、ChatGLM、ChatGLM-Lite多款产品,向提供一个整体ChatGLM-turbo演化,价格下降50%。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

智谱AI开放平台不仅能够帮助提供API,也提供模型的定制化私有化以及自有数据的使用。平台还提供一些标准化的组件,比如外挂知识库、向量化能力等。

利用这些能力,用户能够快速的去构建自己的一些基本应用。

结语:全面对标OpenAI,智谱AI大模型再升级

2020年是大模型元年,GPT-3的出世标志着大模型进入“可用阶段”,也是生成式AI落地的第一阶段。这一阶段,产业关注的是怎么去构建一个精度足够高、稳定性足够好、更大规模的大模型。

智谱AI从2020年开始基于GLM预训练模型的框架做研发,到2021年发布第一个开源百亿大模型GLM-10B,到后续的一系列模型的诞生,不断迭代。对标OpenAI全模型产品线,是智谱AI在创立之初就一个写在愿景里的一个目标。

智谱AI推出ChatGLM3大模型!44项测试国内排名第一,适配更多国产芯片

可以看到,对标OpenAI推出的ChatGPT、DALL.E、Codex、WebGPT和GPT-4V,智谱AI推出了ChatGLM对话、CogView文生图、CodeGeeX代码、WebGLM搜索增强和ChatGLM3图文理解等产品,体现了国产大模型的实力积淀。