欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
“悟道”团队发布预训练模型“文汇”
2021-01-11
智东西
9
2021年1月11日,由北京智源人工智能研究院(以下简称“智源研究院”)、阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗、智谱.AI、循环智能等单位的科研骨干成立“悟道”联合攻关团队,发布了面向认知的超大规模新型预训练模型“文汇”。
本次发布的“文汇”模型与1月初OpenAI刚刚发布的DALL·E和CLIP这两个连接文本与图像的大规模预训练模型类似,“文汇”模型能够学习不同模态(文本和视觉领域为主)之间的概念,可以实现“用图生文”等任务,具有一定的认知能力。“文汇”模型参数规模达113亿,仅次于DALL·E模型的120亿参数量,是目前我国规模最大的预训练模型,并已实现与国际领先预训练技术的并跑。
2020年10月,为推动研发我国自主的大规模预训练模型,解决目前国际主流模型存在的问题,智源研究院启动了新型超大规模预训练模型研发项目“悟道”。
此次发布的是项目四大训练模型之一的“文汇”(面向认知的超大规模新型预训练模型)的一期研发成果,用于自动生成图片、文字以及视频,可具有初级认知能力。未来将着力于复杂认知推理任务的能力,使其更加接近人类水平。
此外,“悟道”项目还包括“文源”(以中文为核心的超大规模预训练语言模型)、“文澜”(超大规模多模态预训练模型)和“文溯”(超大规模蛋白质序列预训练模型)。