剛剛，OpenAI Five在Dota2最受關(guān)注的國際競賽TI8中進行了首場表演賽，對戰(zhàn)職業(yè)玩家隊伍paiNGame，也是TI8中最先被淘汰的一支隊伍，然而卻飲恨惜敗。雙方經(jīng)過激烈對戰(zhàn)，AI在操控速度和團隊支援方面遠遠超過人類，但對于技能的釋放和兵線的理解還有很大提升空間。

OpenAI Five，輸了。

此前以驚人的速度不斷進化，并且成功碾壓Dota2準(zhǔn)職業(yè)玩家后，OpenAI Five劍指TI8，挑戰(zhàn)現(xiàn)役職業(yè)人類玩家，并于剛剛結(jié)束了首場與人類的對戰(zhàn)。

51分鐘的時間里，OpenAI Five雖然在控制速度和團隊支援上遠超人類，但金幣數(shù)量只有一次稍稍領(lǐng)先，說明對英雄技能的釋放以及兵線的理解還有待提高。

OpenAI Five 在DOTA2 5V5團隊?wèi)?zhàn)中戰(zhàn)勝Top 05%玩家，讓好多研究強化學(xué)習(xí)的人激動了一把，更何況還有比爾·蓋茨的那句評價：“這是人工智能發(fā)展歷史上的一座重大里程碑”。

因此，對于這次在TI8的首場對戰(zhàn)，可謂吸足了眼球。

戰(zhàn)火一觸即發(fā)！

第一場演示賽，OpenAI Five對戰(zhàn)人類職業(yè)玩家隊伍paiN Game。

這是Pg的現(xiàn)役隊員

雖然pg是18支參賽隊伍中最弱的一隊（最先被淘汰），但不要忘了，這相當(dāng)于參加奧運賽短跑決賽中跑得最慢的那一位，也是人類的強中之強啊。

這次對戰(zhàn)，OpenAI選擇的英雄分別是：潮汐獵人、矮人直升機、水晶室女、死亡先知、巫妖。PG這方則選的是：萊恩、瘟疫法師、巫醫(yī)、狙擊手和斧王。

一上場，OpenAI的兵線就比當(dāng)時Benchmark賽的時候更加靠前，這是因為從5個信使變成了1個。

根據(jù)對戰(zhàn)前的預(yù)測，大部分投票者還是認為人類會贏（55%）。這或許也是OpenAI團隊?wèi)阎那樯蠄龅脑颉?/p>

實際戰(zhàn)況開始雙方勢均力敵，在地圖各處都在開打，難分難解，但開場20分鐘后，OpenAI Five就推倒了兩座塔，不過雙方的傷亡幾乎差不多。

幾分鐘后，OpenAI首次在金幣總量上超過了PG一點點，然后逐漸獲得優(yōu)勢，23殺vs18，OpenAI Five要領(lǐng)先2k。

如果你以為AI就會這樣獲勝，那么就想錯了！

OpenAI的英雄DP總喜換守在Roahn那里。不朽者Roshan是Dota 2中最為強大的中立生物，他是游戲中首個生成的單位，在比賽載入完成后即會出現(xiàn)，并且是唯一隨著時間成長的NPC。

OpenAI Five研究人員表示，DP守在Roshan那里，是因為要確認具體位置，這是訓(xùn)練時Roshan隨機化的一個副作用，AI控制的英雄不知道Roshan會從哪里出現(xiàn)，因此就喜歡守在那里確認。

至于人類這邊，坦白說，斧王一直表現(xiàn)不好，AI雖然在整體執(zhí)行力、控制技能釋放以及保命道具使用上遠超人類，但對于游戲的理解、兵線的牽扯以及大招的釋放還有待提高。

兵線對于游戲是很重要的，如果是人類這邊進行更多帶線牽扯，AI可能會提前10分鐘被推掉高地。

也很明顯能看出來，PG并沒有認真去對戰(zhàn)。OpenAI這邊的C位是飛機，但在買活死亡后且復(fù)活時間有100多秒，而人類這邊一直在AI的高地下玩，這段時間本是可以推下至少一路高地的。

一直到游戲結(jié)束，AI這邊人頭數(shù)量都是超過PG戰(zhàn)隊的，說明AI團戰(zhàn)和支援的速度更強，但是人類這邊經(jīng)濟始終沒有落后太多并在取得優(yōu)勢的情況下，迅速拉開經(jīng)濟差，說明現(xiàn)役職業(yè)玩家在DOTA2的資源分配和對兵線的理解上，仍然是人類的希望。

OpenAI Five訓(xùn)練：從簡單的操作中學(xué)到專業(yè)級的策略

1、OpenAI FIVE是如何工作的？

OpenAI Five是一個由5個人工神經(jīng)網(wǎng)絡(luò)組成的隊伍，可以把它想象成一個模擬的“大腦”，是專門為學(xué)習(xí)Dota而設(shè)計的。OpenAI Five將世界看作一個包含20000個數(shù)字的列表，這些數(shù)字對可見的游戲狀態(tài)（僅限于人類玩家被允許看到的信息）進行編碼，并通過發(fā)出8個數(shù)字的列表來選擇一個動作。

OpenAI團隊編寫的代碼在游戲狀態(tài)/操作和數(shù)字列表之間進行映射。 一旦經(jīng)過訓(xùn)練，這些神經(jīng)網(wǎng)絡(luò)就是純粹本能的生物——它們的神經(jīng)網(wǎng)絡(luò)實現(xiàn)了記憶，但不會進一步學(xué)習(xí)。OpenAI Five雖然是一個團隊，但并沒有設(shè)計特殊的溝通、交流結(jié)構(gòu)，只提供他們一種激勵（incentive）。

2、OpenAI Five的訓(xùn)練過程

OpenAI Five的神經(jīng)網(wǎng)絡(luò)從隨機參數(shù)開始，使用通用的訓(xùn)練系統(tǒng)Rapid來學(xué)習(xí)更好的參數(shù)。Rapid擁有OpenAI的5個游戲副本，此前的報道中也提到過，OpenAI Five每天通過成千上萬的并發(fā)游戲生成180年的游戲數(shù)據(jù)，使用了128,000個CPU內(nèi)核和256個GPU。

在每個游戲框架中，Rapid會計算出一個數(shù)值獎勵，當(dāng)有好事發(fā)生時（比如一個盟軍英雄獲得了經(jīng)驗）是正數(shù)，當(dāng)有壞事發(fā)生時（比如一個盟軍英雄被殺）是負數(shù)。而后Rapid應(yīng)用近端策略優(yōu)化（Proximal Policy Optimization）算法來更新神經(jīng)網(wǎng)絡(luò)制定動作的參數(shù)。

3、TAKEAWAY

就像人類在規(guī)劃一天的生活時不會計劃肌肉運動一樣，OpenAI社區(qū)(包括OpenAI)也期望通過長期規(guī)劃來獲取算法，以此來解決短期和長期的計劃，可能通過強化學(xué)習(xí)得以突破。

盡管OpenAI Five的底層算法非常簡單，但在沒有提供任何人工數(shù)據(jù)的情況下，它從簡單的操作中可以學(xué)到專業(yè)級的策略。

OpenAI DOTA進化時間線：只用1年，從1v1到5v5！

2016.11.05OpenAI選擇將Dota作為要攻克的目標(biāo)，因為這是Twitch在Linux上最受歡迎的游戲，并且有API。

2016.11.09OpenAI首次在Dota庫中提交。

2017.03.09首先在Rapid庫中提交。

2017.08.11OpenAI在Dota國際競賽TI7中，1v1戰(zhàn)勝了頂級Dota 2職業(yè)玩家Dendi。

2017.09.07OpenAI在Dota 2 1v1普通模式（normal gameplay）首次戰(zhàn)勝了職業(yè)玩家，后續(xù)又有十幾個職業(yè)玩家與其挑戰(zhàn)，對戰(zhàn)了上千次。

2018年1月在特定有限條件下（只有5位固定英雄，沒有守衛(wèi)，不能隱身等），OpenAI Five戰(zhàn)勝了腳本bot。

2018年4月OpenAI Five在有限制的情況下，戰(zhàn)勝了OpenAI自己組建的半職業(yè)人類玩家隊伍（雙方陣容固定而且一樣的：NEC，火槍，毒龍，冰女，巫妖；不能插眼；沒有肉山；不能用隱身道具；不能使用召喚物和幻象；沒有圣劍，瓶子，補刀斧，飛鞋，知識之書，魂淚；5只不能被攻擊的信使；不能掃描），被比爾·蓋茨稱之為“人工智能的一大里程碑”。

2018.06.06OpenAI Five戰(zhàn)勝了OpenAI自己組建的隊伍，這次的游戲限制相比上次少了一些。很多DOTA 2玩家表示，插眼和肉山非常重要，如果排除這些因素，對戰(zhàn)并不公平。所以，OpenAI Five學(xué)會了插眼與打肉山。

2018.08.05OpenAI在全球10萬+觀眾的直播見證下，戰(zhàn)勝了Dota 2 Top 0.5%的玩家（Blitz、Cap、Fogged、Merlini和MoonMeander，其中有四人是Dota2前職業(yè)玩家），創(chuàng)造了OpenAI Five Benchmark。這次的勝利解除了一些限制，比如英雄池有18個可供選擇，將AI時間調(diào)整為更接近人類的200ms。更詳細的介紹可以看此前新智元的報道。此前，很多評論員認為實現(xiàn)這一進步至少需要一年的時間，但OpenAI用差不多一個月就做到了。

2018.08.20OpenAI被指責(zé)不是通過機器視覺而是游戲API獲取數(shù)據(jù)，而人類玩家僅通過“看”來判斷，因此AI得出的結(jié)果和測距更加精準(zhǔn)，從而也更具優(yōu)勢。但OpenAI在賽前便公開所有條件，并不能稱“作弊”。

2018.08.22OpenAI Five在Dota2國際競賽TI8中進行首次對戰(zhàn)，對戰(zhàn)現(xiàn)役職業(yè)玩家隊伍Pain Game（是TI8中第一支被淘汰的隊伍），雖然人頭數(shù)一直領(lǐng)先，但最終不敵對手，首場比賽以失敗告終。