說起 MOBA 類手游，想必大家都能想到王者榮耀。它近日又有了新動(dòng)作。11 月 28 日騰訊宣布，旗下騰訊 AI Lab 與王者榮耀聯(lián)合研發(fā)的策略協(xié)作型 AI “絕悟” 推出升級(jí)版本 “絕悟 “完全體。 目前，“絕悟 “背后采用的創(chuàng)新算法突破了 AI 的英雄上限，英雄池?cái)?shù)量也從 40 個(gè)增至 100 + 個(gè)。創(chuàng)新算法能夠讓 AI 完全掌握所有英雄的所有技能，同時(shí)應(yīng)對高達(dá) 10 的 15 次方的英雄組合數(shù)變化，幾乎覆蓋人類玩家能夠選出的組合。另一技術(shù)亮點(diǎn)則是優(yōu)化了禁選英雄（BanPick，簡稱 BP）博弈策略，能綜合自身技能與對手情況等多重因素派出最優(yōu)英雄組合。 相關(guān)研究已被 AI 頂級(jí)會(huì)議 NeurIPS 2020 與頂級(jí)期刊 TNNLS 收錄，兩篇論文的一作均為騰訊的 Deheng Ye（葉德珩）。

同時(shí)，“絕悟” 完全體版本已在王者榮耀 App 限時(shí)開放。各榮耀玩家可以上線與之對戰(zhàn)，體驗(yàn)時(shí)間為 11 月 14 日至 30 日，絕悟在 20 個(gè)關(guān)卡的能力不斷提升，最強(qiáng)的 20 級(jí)于 11 月 28 日開放，接受 5v5 組隊(duì)挑戰(zhàn)。

AI 策略：紅方 AI 鎧大局觀出色，繞后蹲草叢扭轉(zhuǎn)戰(zhàn)局 積少成多，自古英雄出少年

王者榮耀中，最吸引人的稱號(hào)是：“全能高手”。想要獲得它卻很難，你需要在五個(gè)職業(yè)中（對抗路、中路、發(fā)育路、游走、打野）都擁有 4 個(gè)紫色熟練度英雄。但因?yàn)榫毩?xí)時(shí)間與精力限制，很少有人能精通所有英雄。 而 “絕悟”技術(shù)團(tuán)隊(duì)一年內(nèi)讓 AI 掌握的英雄數(shù)從 1 個(gè)增加到 100 + 個(gè)，完全解禁英雄池，此版本因此得名 “絕悟完全體”。 那么 “絕悟完全體” 是怎樣做到的呢？ 我們知道，從零學(xué)會(huì)單個(gè)陣容易如反掌，但面對多英雄組合時(shí)就難如登天。在對戰(zhàn)中，因?yàn)榈貓D龐大且信息不完備，不同的 10 個(gè)英雄組合應(yīng)該有不同的策略規(guī)劃、技能應(yīng)用、路徑探索及團(tuán)隊(duì)協(xié)作方式，這將使決策難度幾何級(jí)增加。并且，多英雄組合也帶來了 “災(zāi)難性遺忘” 問題，這使得模型容易邊學(xué)邊忘，是長期困擾開發(fā)者的大難題。

為了應(yīng)對上述問題，技術(shù)團(tuán)隊(duì)先引入 “老師分身” 模型，讓每個(gè) AI 老師在單個(gè)陣容上訓(xùn)練至精通，再引入一個(gè) AI 學(xué)生模仿學(xué)習(xí)所有的 AI 老師，最終讓 “絕悟” 掌握了所有英雄的所有技能，成為一代宗師。 同時(shí)，團(tuán)隊(duì)還制定了長期目標(biāo)，就是要讓 “絕悟” 學(xué)會(huì)所有英雄的技能，且每個(gè)英雄都能達(dá)到頂尖水平。為此他們在技術(shù)上做了三項(xiàng)重點(diǎn)突破： 首先團(tuán)隊(duì)構(gòu)建了一個(gè)最佳神經(jīng)網(wǎng)絡(luò)模型，讓模型適配 MOBA 類任務(wù)、表達(dá)能力強(qiáng)、還能對英雄操作精細(xì)建模。模型綜合了大量 AI 方法的優(yōu)勢，具體而言： 1. 在時(shí)序信息上引入長短時(shí)記憶網(wǎng)絡(luò)（LSTM）優(yōu)化部分可觀測問題； 2. 在圖像信息上選擇卷積神經(jīng)網(wǎng)絡(luò)（CNN）編碼空間特征； 3. 用注意力（Attention）方法強(qiáng)化目標(biāo)選擇； 4. 用動(dòng)作過濾（Action Mask）方法提升探索效率； 5. 用分層動(dòng)作設(shè)計(jì)加快訓(xùn)練速度； 6. 用多頭值估計(jì)（Multi-Head Value）方法降低估計(jì)方差等。

圖 | 網(wǎng)絡(luò)架構(gòu) 其次，團(tuán)隊(duì)借用圍棋的思路，采用了 CSPL（Curriculum Self-Play Learning，課程自對弈學(xué)習(xí)），能夠有效拓寬英雄池，讓 “絕悟 “掌握所有英雄技能。 CSPL 是一種讓 AI 從易到難的漸進(jìn)式學(xué)習(xí)方法，具體有以下幾個(gè)步驟： 1．“老師分身” 模型：挑選多組覆蓋全部英雄池的陣容，在小模型下用強(qiáng)化學(xué)習(xí)訓(xùn)練，得到多組 “老師分身” 模型； 2．遷移模型：蒸餾，把第一步得到的多個(gè)模型的能力遷移到同一個(gè)大模型中； 3．隨機(jī)陣容的強(qiáng)化訓(xùn)練：在蒸餾后的大模型里，隨機(jī)挑選陣容繼續(xù)強(qiáng)化訓(xùn)練和微調(diào)。通過多種傳統(tǒng)和新穎技術(shù)方法的結(jié)合，實(shí)現(xiàn)了在大的英雄池訓(xùn)練，同時(shí)還能不斷擴(kuò)展的目標(biāo)。

圖 | CSPL 流程圖。任務(wù)由易到難，模型從簡單到復(fù)雜，知識(shí)逐層深入。 實(shí)驗(yàn)結(jié)果表明，使用 CSPL 方法擴(kuò)展英雄池有明顯優(yōu)勢，能夠在非常有效地減少訓(xùn)練時(shí)間，同時(shí)保持良好的效果。

圖 | 實(shí)驗(yàn)結(jié)果 最后，團(tuán)隊(duì)還搭建了大規(guī)模訓(xùn)練平臺(tái) —— 騰訊開悟（aiarena.tencent.com）。該平臺(tái)依托項(xiàng)目積累的算法經(jīng)驗(yàn)、脫敏數(shù)據(jù)及騰訊云的算力資源，為訓(xùn)練所需的大規(guī)模運(yùn)算保駕護(hù)航。目前，開悟平臺(tái)于今年 8 月對 18 所高校開放，未來希望為更多科研人員提供技術(shù)與資源支持，深化課題研究。 排兵布陣，致人而不致于人

作為團(tuán)隊(duì)的大腦，教練在整個(gè)比賽中都起到了非常重要的作用。無論是在 BP 環(huán)節(jié)（禁選英雄）的選擇，還是陣容的壓制上面，稍有不慎就為給對手帶來先天優(yōu)勢，造成 “致于人” 的局面。因此，“絕悟” 要取得勝利就必須找到一個(gè)能排兵布陣的 AI 教練。

目前，簡單的做法是選擇貪心策略，即選擇當(dāng)前勝率最高的英雄。這針對單個(gè)英雄而言或許可以，但王者榮耀有上百個(gè)英雄，任意英雄間都有或促進(jìn)或克制的關(guān)系，只按勝率選擇很容易被對手針對，更需要綜合考慮敵我雙方、已選和未選英雄的相關(guān)信息，最大化己方優(yōu)勢，最小化敵方優(yōu)勢。 受到圍棋 AI 算法（Alpha Go）的啟發(fā)，團(tuán)隊(duì)使用蒙特卡洛樹搜索（MCTS）和神經(jīng)網(wǎng)絡(luò)結(jié)合的自動(dòng) BP 模型來解決這一問題。 MCTS 方法包括了選擇、擴(kuò)張、模擬和反向傳播四個(gè)步驟，會(huì)不斷迭代搜索，估算出可選英雄的長期價(jià)值。在這其中模擬部分最耗時(shí)，所以團(tuán)隊(duì)用估值神經(jīng)網(wǎng)絡(luò)替代該環(huán)節(jié)，加快了搜索速度，這樣能夠又快又準(zhǔn)地選出具備最大長期價(jià)值的英雄。要提到的是，圍棋等棋牌類游戲結(jié)束就能確定勝負(fù)，但 BP 結(jié)束只到確定陣容，還未對戰(zhàn)，所以勝負(fù)未分。因此團(tuán)隊(duì)利用絕悟自對弈產(chǎn)生的超過 3000 萬條對局?jǐn)?shù)據(jù)訓(xùn)練出一個(gè)陣容勝率預(yù)測器，用來預(yù)測陣容的勝率。勝率預(yù)測器得到的陣容勝率又被用來監(jiān)督訓(xùn)練估值網(wǎng)絡(luò)。

圖 | 蒙特卡洛搜索樹 除了常見的單輪 BP，AI 教練還學(xué)會(huì)了王者榮耀 KPL 賽場上常見的多輪 BP 賽制，該模式下不能選重復(fù)英雄，對選人策略要求更高。為此，團(tuán)隊(duì)引入多輪長周期判定機(jī)制，在 BO3/BO5 賽制中可以全局統(tǒng)籌、綜合判斷，做出最優(yōu) BP 選擇。訓(xùn)練后的 BP 模型在對陣基于貪心策略的基準(zhǔn)方法時(shí)，能達(dá)到近 70% 勝率，對陣按位置隨機(jī)陣容的勝率更接近 90%。 至此，強(qiáng)兵加軍師的組合，使得 “絕悟” 成為了不折不扣的一代宗師。

除了上述的 RL（強(qiáng)化學(xué)習(xí)）算法外，團(tuán)隊(duì)還開發(fā)了 SL（監(jiān)督學(xué)習(xí)）算法，針對大局觀和微操策略同時(shí)建模，讓絕悟同時(shí)擁有優(yōu)秀的長期規(guī)劃和即時(shí)操作，達(dá)到了非職業(yè)玩家的頂尖水平。

相關(guān)技術(shù)成果曾在 2018 年 12 月公開亮相對戰(zhàn)人類玩家。其實(shí)，團(tuán)隊(duì)對于監(jiān)督學(xué)習(xí)的研發(fā)一直在持續(xù)進(jìn)行中。今年 11 月 14 日起開放的絕悟第 1 到 19 級(jí)，就有多個(gè)關(guān)卡由監(jiān)督學(xué)習(xí)訓(xùn)練而成。

從研究方法上看，監(jiān)督學(xué)習(xí)對于 AI 智能體的研發(fā)有很高的價(jià)值。 1.“更像人”：通過挖掘人類數(shù)據(jù)預(yù)測未來的監(jiān)督學(xué)習(xí)是通常是研發(fā)游戲 AI 的第一步，并在眾多視頻游戲上取得較好效果。比如在明星大亂斗等復(fù)雜電子游戲中，純監(jiān)督學(xué)習(xí)能也學(xué)到達(dá)到人類高手玩家水平的 AI 智能體。 2. 多種深度學(xué)習(xí)的結(jié)合：監(jiān)督學(xué)習(xí)能復(fù)用為強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò)，如 AlphaGo 就是監(jiān)督學(xué)習(xí)結(jié)合強(qiáng)化學(xué)習(xí)。 3. 節(jié)約訓(xùn)練時(shí)間：同時(shí)適當(dāng)?shù)夭迦氡O(jiān)督學(xué)習(xí)可以縮短強(qiáng)化學(xué)習(xí)探索時(shí)間，比如 DeepMind 的星際爭霸 AI AlphaStar 就用監(jiān)督學(xué)習(xí)做強(qiáng)化訓(xùn)練的隱含狀態(tài)。

圖 | 網(wǎng)絡(luò)架構(gòu) 應(yīng)用上述諸多優(yōu)點(diǎn)，“絕悟 “可以實(shí)現(xiàn)一系列效果：訓(xùn)練快，在 16 張 GPU 卡上只需幾天，而強(qiáng)化學(xué)習(xí)則需幾個(gè)月；拓展能力強(qiáng)，能完成全英雄池訓(xùn)練；使用真實(shí)玩家的脫敏數(shù)據(jù)，配合有效采樣，產(chǎn)出的 AI 行為上會(huì)更接近人類。 隨著 AI 在游戲世界的發(fā)展，它們在數(shù)據(jù)的記憶和處理方面的優(yōu)勢能夠進(jìn)一步體現(xiàn)出來。那么如何利用 AI 來強(qiáng)化自己的隊(duì)伍，或許是當(dāng)下游戲教練需要思索的問題。 -End-

原文標(biāo)題：登上NeurIPS 2020：騰訊AI聯(lián)合王者榮耀推出“絕悟”完全體

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq