智东西(公众号:zhidxcom)
编 | 伟鸿
导语：Dota2半职业选手不敌人工智能！AI将参加下一届DOTA2世界锦标赛。
此前曾在竞技游戏Dota 2中击败业余选手的人工智能机器人OpenAI Five刚刚进行了另一项“基准”测试——与一个由职业和半职业选手组成的Dota2战队进行对战。出乎所有人意料的是，这个强劲的半职业战队在OpenAI Five的攻势下毫无还手之力。在比赛规则公平的情况下，战队内的职业选手、专业解说、教练竟无一能对AI造成威胁，AI展现了不弱于职业选手的精细操作和战术素养，“分路、补刀、抓人、推进”这些曾被认为只有人类才能完美执行的动作被OpenAI Five以更高效、更出色的方式展现出来。
最终，OpenAI Five摧枯拉朽地赢下了三局比赛的前两局，比赛进行时，被称为Dota数据权威的“dota plus大数据”平台分析的AI胜率一度达到了99%。直到最后一局，已经获得比赛胜利的AI有了一个更苛刻的限制——所用英雄由现场观众选出。在这样的情况下，选手终于获得了第三局游戏的胜利，为人类挽回了一点颜面。尽管如此，所有人都不能否认一个事实，OpenAI Five已经能在Dota2领域达到人类职业选手的水平。
为什么AI在一款游戏中的胜利能引起如此大的震动？首先我们要知道，Dota2是一款非常复杂的实时战略游戏，其中，英雄、技能、装备的不同使得游戏比国际象棋还要复杂百倍，细微的决策差别往往会引发截然不同的结果，因此，想要让AI在Dota2中击败人类，需要比围棋更复杂的程序和更庞大的计算量。
早在今年6月份，OpenAI Five已经了击败业余的Dota2玩家，人们惊叹于OpenAI Five如此快的成长速度，短短两个月，它已经能够和半职业选手对抗并取胜。开发人员解释道：“OpenAI Five通过自我学习技术，每天都要和自己进行共计180年的游戏对局，同时，它使用多达256个GPU和128000个CPU核心进行训练。”通过不断地自我学习，而不是单纯的模仿，OpenAI已经能研究出自己的战术策略。OpenAI团队在过去的一个月里对他们的AI还做了一些小小的调整，如增加了它的反应时间，并用新的、额外的策略来测试它。OpenAI的研究人员大卫·法尔希(David Farhi)说:“当出现AI计算范围之外的事情时，它总能想出更快、更准确的应对方式。”
一、OpenAI Five的技术特点
1.模型结构
OpenAI five的每一个网络都包含一个单层、1024个单元的LSTM模型，它可以看到当前的游戏状态，并在几个备选动作中选择一个。每个备选动作都有自己的具体含义，例如，确定单位的坐标，计算技能的时间等。
2.侦查
OpenAI Five从自我对战中学习（从随机权重开始），从而掌握侦查地图的方法。为了避免“策略崩溃”，研究者将其80％的时间用在与自身进行训练，而另外20％的时间则与过去AI进行训练。在第一场比赛中，英雄们漫无目的地绕着地图走，经过几个小时的训练后，已经出现了一些基本概念。几天之后，AI已经学会了人类基本的战术策略。
3.团队合作
OpenAI Five控制的英雄并没有一个确定的渠道来进行信息的互换，而是通过被研究人员称为“团队精神”的超参数控制来达到团队合作的目的。“团队精神”的范围从0到1，对OpenAI Five的每个英雄应该权衡多少个人利益与团队利益之间提供了平均值，以此来训练英雄什么时候独自战斗，什么时候一起战斗。
4.训练速度
OpenAI的训练系统是一种通用的RL训练系统，名为Rapid，可以应用于任何的训练环境。我们已经解决了OpenAI包括竞争性的自我对战（Competitive Self-Play）在内的许多复杂问题。训练系统分为运行游戏副本和代理收集经验的rollout worker和执行跨GPU组同步的optimizer nodes。
二、在电子游戏中测试AI的原因
去年，当谷歌旗下的DeepMind打败了人类最优秀的围棋选手时，谷歌也宣布他们下一步将进军游戏领域，试图让AI在著名的即时战略游戏《星际争霸2》中击败人类选手。《星际争霸2》拥有比DOTA2更复杂的游戏和单位设定，因此它所衍生出来的战术也浩如烟海，难以穷尽。让AI在《星际争霸2》中战胜职业选手将更具挑战性。
电子游戏拥有比传统的棋牌游戏更多的战术选择和不确定因素，在不同的英雄和装备组合的条件下，AI需要处理更多的信息和突发状况。另外，由于是“即时战略”，则需要AI更快，更准确的反映速度，这都是回合制的棋牌游戏所没有的。还有非常重要的一点是，由于游戏中“战争迷雾”的设定，AI无法准确知道人类的战术和动向，这就需要它进行和人类一样的思考和推理，如何识破人类的“战术欺骗”将成为需要重点攻克的领域。
以上原因让各大AI开发者纷纷瞄准了电子游戏作为下一个“主战场”，OpenAI的下一个目标是今年8月下旬在加拿大温哥华举行的顶级Dota 2赛事TI8，届时它将会与人类最顶级的职业选手角逐冠军。作为Team Human的一员，威廉说道：“我对OpenAI Five有信心，我认为它会击败真正的职业战队。”当人类在围棋领域沦陷后，能否守住“电子游戏”这一道防线，AI是否会彻底打破人类对它垄断？还需要时间的检验。但我相信，不论结局如何，都代表着人类在AI领域的又一次重大突破，这场战役，胜利的一方依旧是人类。
原文来自：OpenAI、CNET
