智东西（公众号：zhidxcom）
编 | 年年

导语：在公布1.17亿参数、3.45亿参数缩减版GPT-2模型之后，今天，OpenAI公布了7.74亿参数GPT-2模型。

智东西8月21日消息，据外媒报道，OpenAI今天公布了包含7.74亿个参数的GPT-2模型，同时还分享了一项开源法律协议，以帮助创建大型AI模型的公司建立自己的模型共享协议。

GPT-2是OpenAI于今年2月份发布的一款先进的会话式AI模型，也是当时规模最大的会话式AI模型，总计包含约15亿个参数，当时发布了包含1.17亿参数的GPT-2模型缩减版本。

OpenAI发布GPT-2模型一直比较克制，采用分阶段发布和基于伙伴关系的共享两种发布机制，据其解释主要原因是GPT-2模型生成的内容过于真实以至于容易被滥用。

一、7.74亿参数GPT-2模型公布

OpenAI今天推出了包含7.74亿个参数的GPT-2新版本，这是一款先进的会话式AI模型，在2月发布之后就引发了热烈讨论，其曾在2月和5月分别发布了包含1.17亿参数和3.45亿参数的较小规模缩减模型。

OpenAI今天还分享了一项开源法律协议，以帮助创建大型AI模型的公司建立自己的模型共享协议。尽管OpenAI表示已经与5家自2月份以来一直在研究该模型的组织进行了讨论，但尚未公布大约15亿个参数的完整GPT-2模型。

今天，OpenAI研究人员和哈佛大学研究助理Ariel Herbert-Voss在白皮书中详细介绍了OpenAI的GPT-2方法及其分阶段发布思路。

白皮书写到：“随着模型规模尺寸的增加，跨维度的性能例如生成连贯文本的可靠性趋于改善，我们决定不同时发布所有四个GPT-2模型，因为担心更大的模型被误用。通过交错的发布，我们可以留出时间进行风险分析，并使用较小模型的结果来判断较大模型需要采取的措施。”

由于担心被恶意行动者滥用和潜在的DeepFakes自动化威胁，当GPT-2在2月份首次亮相时，OpenAI选择不共享该模型的所有四个版本，GPT-2完整版共使用40GB的互联网文本进行了培训。

最初批评OpenAI分阶段发布方法的人士表示，不完整发布源代码对缺乏复制模型或其结果资源的科学家提出了无谓的难题，也有人认为这是OpenAI的宣传噱头。

▲左为马斯克，右为阿尔特曼

OpenAI是2015年由埃隆马斯克马联合YC总裁阿尔特曼等一众硅谷大佬发起成立的人工智能非营利组织，于2019年3月转变为商业组织，并在2019年7月获微软10亿美元投资。

二、GPT-2生成文本可靠性达70%

为了使错误信息传播的风险低于发布GPT-2时所预计的那样，OpenAI与安全专家合作，监控人们使用GPT-2，并对“自动检测、偏见和滥用潜力进行研究”。

为了继续探索滥用的可能性以及如何安全地发布GPT-2等大型模型，OpenAI与俄勒冈大学、德克萨斯大学、奥斯汀分校、米德尔伯里国际研究所和康奈尔大学建立了合作关系。

相反，本文中引用的GPT-2的潜在正面使用案例包括帮助作者完成工作、帮助软件工程师自动化编写代码、更好的聊天机器人以及回答有关健康的问题。

康奈尔大学本月早些时候在“外交事务（Foreign Affairs）”上发表的分析文章发现，超过70％阅读GPT-2所生成文本的人认为这完全可以作为纽约时报的一篇文章，文章可信度极高。

本文引用了艾伦AI研究所（Allen Institute for Hunging Face NLP）提出的一种交错发布方法，作为未来大型语言理解模型发布的可能途径。

“我们认为，分阶段发布和基于合作伙伴关系的模式共享相结合可能是AI模型发布的关键基础，特别是在强大的生成模型背景下，”研究人员在一篇博文中说道。

“随着时间的推移，大型模型固有的问题将会增长，而不是减少。我们希望GPT-2的工作将有助于为AI社区在考虑AI研究某些部分固有的发布挑战时提供可以借鉴的案例。”

结语：分阶段发布AI模型防止滥用

OpenAI在2019年2月发布GPT-2之后，分别于2月、5月和8月发布了包含1.17亿参数、3.45亿参数和7.74亿参数的GPT-2模型缩减版，对于分阶段发布OpenAI给出的理由是GPT-2模型生成的文本内容过于真实容易被滥用

OpenAI分阶段发布GPT-2模型受到了广泛的批评，尤其是相关领域从业者，因为分阶段发布为他们使用该模型带来了困扰，不过这并没有影响到GPT-2的分阶段发布计划。

虽然在英特尔推出包含83亿参数的MegatronLM之后，GPT-2不再是最大的会话式AI模型，但是其本身的意义还是非常重要，在公布完本次的7.74亿参数GPT-2模型缩减版之后，下一步可能就要公布完整15亿参数版本。

文章来源：Venture Beat