AI击败DotA顶级选手是不是突破?OpenAI放出了更多细节

新闻 人工智能
周末,OpenAI在DotA 2全球顶级赛事TI7(The International)的 中单1v1比赛中击败了顶级选手Dendi 。OpenAI的发起人之一,硅谷钢铁侠马斯克还顺势 连发三条twitter,赞赏OpenAI,谈监管,谈AI的风险 。

[[200484]]

周末,OpenAI在DotA 2全球顶级赛事TI7(The International)的 中单1v1比赛中击败了顶级选手Dendi 。OpenAI的发起人之一,硅谷钢铁侠马斯克还顺势 连发三条twitter,赞赏OpenAI,谈监管,谈AI的风险 。

但关于这个参赛的AI,大家并不是非常了解,因此对于这次胜利的解读,夸大其词者有, 质疑其并非突破 者也有。

直到今天,OpenAI终于在官方博客上公布了人工智能打DotA技术的进化历程、(部分)技术细节,以及和更多选手对战的视频,以及怎样打败这个AI。

成绩

我们在DotA 2上取得的结果表明,只要具备足够的计算能力,自我对抗可以使机器学习系统的水平超越人类(目前仅限于中单1v1)。

在1个月时间里,我们系统的水平从只能匹配高段玩家上升至能击败顶级职业选手。自那时以来,系统仍在继续得到优化。

有监督深度学习系统的性能取决于训练数据集,但在自我对抗系统中,随着系统变得更强大,可用数据也会自动得到优化。

下图是AI的TrueSkill得分:

随着时间发展,我们最好的AI的TrueSkill得分也在线性提高。TrueSkill是通过AI之间进行模拟游戏,观察胜率来计算的,相当于国际象棋的ELO评分。

TrueSkill得分的提高与系统各部分的改进都相关,为算法增加新功能、扩大规模都能提高得分。

AI怎样打DotA?

完整的DotA游戏是5v5对抗,但在某些巡回赛中也可以看到中单对抗。

我们的AI按照标准巡回赛规则来玩游戏,我们没有在1v1比赛中加入任何有利于AI的简化。

AI通过以下界面来操作:

  • 观察:bot API功能使AI可以像人类一样观察,包括英雄、兵线和附近地形。游戏是部分可观察的。

  • 操作:通过bot API进行操作,操作频率与人类选手相仿,具体操作包括移动位置、攻击其他单位,以及使用道具。

  • 反馈:在获胜后AI可以获得激励。基于其他基本指标,例如血量和补刀,AI也可以获得激励。

我们将十余种装备合成方式列入白名单,供AI使用,并选择其中一种进行评价。我们还利用传统的RL技术来训练最初的控兵线技巧。

开发历程

项目进程如下所示。下文提到的MMR全称Match Making Rating,也就是比赛匹配分级,相当于天梯积分。在DotA 2中,15%的玩家天梯分低于1500,58%的玩家低于3000,99.99%低于7500。

  • 3月1日:我们首个经典的增强学习系统配置于简单的DotA环境中。

  • 5月8日:天梯1500分的测试者表示,他的水平提升速度要高于AI。

  • 6月初:AI击败了天梯1500的测试者。

  • 6月30日:击败了大部分天梯3000分的测试者。

  • 7月8日:在对抗天梯7500分的半职业选手时,取得首胜。

  • 8月7日:3比0击败Blitz(前职业选手,天梯6200)、2比1击败Pajkatt(职业选手,天梯8500)、3比0击败CC&C(职业选手,天梯8900)。他们都认为,SumaiL知道如何击败这个AI。

  • 8月9日:10比0击败Arteezy(顶级职业选手,天梯10000)。他也认为SumaiL知道如何击败AI。

  • 8月10日:6比0击败SumaiL(顶级中单职业选手,天梯8300)。他认为这个AI是无法击败的。在与8月9日的AI对抗时,他取得了2比1的成绩。

  • 8月11日,2比0击败Dendi(前世界冠军、天梯7300的职业选手)。在对抗8月10日的AI时,这个AI取胜概率达到60%。

TI

我们的方法是将少量的“教练训练”与自我对抗结合在一起。这使得我们在周一到周四国际邀请赛(TI7)期间能大幅优化AI。

周一晚间,Pajkatt使用了不太常见的装备合成方式(购买了早期魔杖),并取得了胜利。我们随后将这种装备合成方式加入到训练的白名单中。

周三下午1点左右,我们测试了最新版AI。这个AI在第一波对抗中损失了相当一部分血量。我们一开始打算把代码回滚,不过又注意到,随后的游戏变得更有趣,而第一波对抗中的严重失血只是为了诱敌深入。进一步的自我对抗修复了问题,AI学会了应对诱饵策略。与此同时,我们将其结合至周一版本的AI,只用于第一波对抗。在Arteezy下午4点到达的20分钟前,我们完成了整个流程。

在与Arteezy的赛后,我们升级了控兵线模型,这使得TrueSkill评分增加了1分。在周四与Sumail的比赛之前,进一步的训练让TrueSkill评分又增加了2分。Sumail指出,AI学会了在对手视野外放技能。这基于我们此前从不知道的机制:在对手视野之外放技能,对方英雄就积累不到魔棒点数。

Arteezy也和我们MMR 7.5k的半职业测试版进行了比赛,几乎取得了胜利,但是,AI采用的一种策略令他惊讶。Arteezy随后表示,中国顶尖职业选手、iG.V战队的中单Paparazi(拒绝者)曾在和他的比赛中用过一次这种策略,但这并不是常见行为。

如何击败AI

尽管Sumail认为这个AI是“不可击败的”,但在某些非常少见的情况下,AI仍有可能被迷惑。我们在国际邀请赛的一场LAN活动上搭建了AI。玩家进行了超过1000盘游戏,尝试任何可能的方式去击败AI。

成功击败AI的策略主要包括3种类型:

  • 拉兵线:玩家可以在AI的二塔和三塔之间,反复吸引刚产生的兵线来追你。最终将会有大量兵线在地图上追你,而AI的防御塔将被磨血。

  • 毒球和风灵之纹:在1级情况下,这样的装备组合大幅提升玩家相对于AI的移速,从而快速拿到一血。你需要利用这样的优势去再次击杀AI。

  • 1级强推:这需要大量技巧,但有几名MMR 6k到7k的玩家靠在1级短时间内放3-5次技能,击杀了AI。

解决1v1中的这些问题类似于解决Pajkatt提出的漏洞。但在5v5情况下,这样的漏洞无法使用。我们需要一种系统,能处理从未见过的奇怪局面。

基础设施

我们还没有打算完整地讨论这个AI的内部原理,团队目前专注于解决5v5问题。

项目的第一步,是搞清楚如何基于实体GPU在云计算平台上运行DotA 2。

在GPU云计算实例上,游戏显示了出错消息。在Greg的个人GPU台式机上,也就是比赛中用的那台主机运行时,我们注意到,在连接显示器的情况下DotA可以启动,但在没有连接显示器时仍然显示出错消息。因此,我们对云计算GPU实例进行了配置,伪装已连接了显示器。

DotA目前并不支持定制的专用服务器,这意味着在没有GPU的情况下只能使用缓慢的软件加速。我们随后开发了一种机制,禁用大部分的OpenGL调用,仅仅保留了启动所需要的部分。

与此同时,我们开发了脚本机器人。考虑到内置机器人在1v1情况下表现不是很好,我们需要一个基准作为参考,并理解机器人API的所有语义。

这个脚本机器人在10分钟时间里完成了70次补刀,但仍落后于优秀的人类选手。

目前最优秀的1v1机器人能达到97次补刀(在此之前塔已经推掉,因此这个数字来自于推测),而理论最高值是101次。

如何解决5v5?

1v1很复杂,但5v5更加复杂。我们知道,我们需要进一步推动AI向前发展,解决5v5的问题。

我们可以从行为复制着手。DotA大约每天有100万盘公开比赛,这些比赛的回放会在Valve的服务器中保存两周。

我们下载了自去年11月份以来所有专家级的回放,积累了包括580万盘比赛在内的数据库(每盘比赛约45分钟,有10名玩家参与)。我们使用OpenDota去分析这些回放,并捐出了1.2万美元(相当于他们10年的筹资目标)去支持这个项目。

当然,在博客的最后,OpenAI再次表达了“我们要招人!”

责任编辑:张燕妮 来源: 36kr
相关推荐

2017-08-14 11:15:32

2019-12-16 09:38:07

人工智能机器学习技术

2019-11-18 10:34:24

戴尔

2021-08-04 15:20:44

开源技术 软件

2024-03-19 07:16:23

2021-09-15 05:19:35

算法裁员人工智能

2019-12-24 16:46:10

AI 数据人工智能

2021-01-22 16:25:15

AI 数据人工智能

2019-05-16 09:23:18

前端Title后端

2015-11-02 09:00:54

创业取舍

2023-03-31 08:11:04

2012-07-18 10:51:46

Office 2013

2019-11-18 21:32:39

Docker容器平台

2009-03-15 10:12:23

Mobile IE6浏览器

2019-11-29 08:00:36

AI 数据人工智能

2019-06-06 08:30:07

区块链数字货币比特币

2021-05-28 22:35:57

比特币加密货币BTC

2023-09-24 23:44:10

C++类型安全

2009-09-17 22:20:07

2012-07-02 09:40:45

小米手机
点赞
收藏

51CTO技术栈公众号