我們還時常感嘆兩年前 AlphaGo 的一舉成名，今天Deep Mind 的另一個游戲項目獲得新的突破。不僅和人類進(jìn)行一對一作戰(zhàn)，還可以進(jìn)行團(tuán)隊作戰(zhàn)，與人類進(jìn)行組隊。

Deep Mind 在周二發(fā)表推文 “ 我們最新的工作演示了如何在一個復(fù)雜的第一人稱多人游戲中實現(xiàn)多人游戲的性能，甚至可以與人類隊友進(jìn)行合作！”Deep Mind 開發(fā)了創(chuàng)新和強(qiáng)化學(xué)習(xí)技術(shù)，是人工智能系統(tǒng)在奪旗游戲中達(dá)到人類的水平，不僅各個人工智能獨立行動，同時學(xué)會配合，進(jìn)行團(tuán)隊?wèi)?zhàn)。Deep Mind 表示這項工作凸顯了多智能體培訓(xùn)對促進(jìn)人工智能發(fā)展的潛力。不得不說，在看完模擬游戲的視頻確實覺得挺有意思的，今天人工智能頭條就為大家介紹這個首款具有“團(tuán)隊精神” 的智能代理。

▌背景

Quake III Arena Capture the Flag——Quake III Arena 中文名稱：雷神之錘III競技場，是 1999 年在 PC 上推出的 一款FPS（第一人稱射擊類游戲）大作。Capture the flag 簡稱 CTF，CTF 在Quake 3 里分成藍(lán)紅兩邊在通常是一個對稱的（也有不對稱的）地圖中競賽。

競賽的目的是將對方的旗子帶回來，并且碰觸未被移動過的我方旗子，我隊就得一分，稱作一個 capture。一般會設(shè)定兩個要素，得分的極限以及時間極限，先到達(dá)分?jǐn)?shù)極限的隊伍獲勝，若是兩隊勢均力敵而難以得分，則通常會由時間的設(shè)定來結(jié)束一個游戲（match）。在奪旗模式中，殺死對手得1分，自己非正常死亡扣1分，奪取對方旗子得3分，殺死奪旗者得2分，重新拿到己方旗子得1分，成功奪取一次旗子（將旗子送回己方基地中）得5分。

▌前言

掌握多人視頻游戲中涉及的策略，戰(zhàn)術(shù)理解和團(tuán)隊配合一直是AI研究的關(guān)鍵性挑戰(zhàn)。如今，隨著強(qiáng)化學(xué)習(xí)的不斷發(fā)展，DeepMind 提出的的智能代理能夠在雷神之錘 III競技場奪旗游戲(Quake III Arena Capture the Flag) 中實現(xiàn)人類玩家的水平。

該游戲涉及復(fù)雜的多智能體環(huán)境，也是一個典型的 3D第一人稱視角的多人游戲。DeepMind 提出的智能代理展示了與人工智能體及人類玩家合作的能力。

下面我們將解讀 DeppMind 最新的這篇博文，進(jìn)一步了解這個 AI 智能體背后的技術(shù)及其在游戲中的表現(xiàn)。

所謂的多智能體學(xué)習(xí)的設(shè)置：指的是多個單智能體必須獨立行動，并學(xué)會與其他智能體進(jìn)行互動與合作。通過共適適應(yīng)智能體，世界在不斷變化，因而這是一個非常困難的問題。

我們的智能代理面臨的挑戰(zhàn)是直接從原始像素中進(jìn)行學(xué)習(xí)并產(chǎn)生動作，這種復(fù)雜性使得第一人稱視角的多人游戲，成為AI社區(qū)的一個碩果累累且活躍的研究領(lǐng)域。

在這項工作中，我們關(guān)注的游戲是 Quake III Arena（雷神之錘 III 競技場，我們從美學(xué)的角度對游戲進(jìn)行部分修改，但所有游戲機(jī)制都保持不變。）Quake III Arena是現(xiàn)代許多第一人稱視頻游戲的基礎(chǔ)，并吸引了具備長期競爭力的電子競技場景。

我們訓(xùn)練了一些能夠單獨學(xué)習(xí)并采取行動的智能代理，但它們必須要能夠在游戲中共同協(xié)作，以便抵御其他智能體 (不論是人工智能體還是人類游戲玩家) 的攻擊。

在這里CTF的規(guī)則很簡單，但其具有復(fù)雜的動態(tài)性。兩隊的游戲玩家要在給定的地圖上競爭，目標(biāo)是在保護(hù)己方旗幟不被奪走的同時，奪取對方的旗幟。為了獲得戰(zhàn)術(shù)優(yōu)勢，玩家可以射擊對方戰(zhàn)隊的玩家，并將它們送回復(fù)活點 (spawn point)。游戲時長為五分鐘，最終擁有旗幟最多的隊伍將獲勝。

從多智能代理的角度來看，CTF既要求玩家們能與己方隊友妥善合作，又要與敵方玩家相互競爭，同時還要靈活應(yīng)變可能遇到的游戲風(fēng)格的轉(zhuǎn)變。

為了讓這件事情更有意思，在這項工作中我們考慮CTF游戲的一種變體，其中每場游戲中的地圖布局都會發(fā)生變化。因此，我們的智能代理必須要學(xué)會一種通用的策略，而非記住某種游戲地圖的布局。此外，為了保證游戲競爭環(huán)境的公平，我們的智能體需要以與人類玩家類似的方式體驗CTF游戲世界：即通過觀察圖像的像素流，模擬游戲控制器并采取相應(yīng)的行動。

▌FTW 智能體

奪旗游戲是在程序生成的不同環(huán)境中進(jìn)行的，因此智能體必須能夠泛化到未知的地圖。智能體必須從零開始學(xué)習(xí)如何在未知的環(huán)境中進(jìn)行觀察，行動，合作及競爭，每場游戲都是一個單獨的強(qiáng)化信號：他們的團(tuán)隊是否獲得勝利。這是一個具有挑戰(zhàn)性的學(xué)習(xí)問題，其解決方案主要基于強(qiáng)化學(xué)習(xí)的三個基本概念：

我們不是訓(xùn)練一個單獨的智能體，而是訓(xùn)練一群的智能體。他們互相學(xué)習(xí)，合作，甚至競爭，彼此成為隊友或?qū)κ?，以便適應(yīng)多樣化的游戲方式。

智能體們都需要各自學(xué)習(xí)自身內(nèi)部的獎勵信號，這將促使智能體能夠生成自身內(nèi)部的目標(biāo)，如奪取一面旗幟。雙重優(yōu)化過程 (two-tier) 可直接優(yōu)化智能體內(nèi)部的獲勝獎勵，并基于內(nèi)部獎勵，運(yùn)用強(qiáng)化學(xué)習(xí)方法來進(jìn)一步地學(xué)習(xí)智能體的游戲策略。

智能體分別以快速和慢速兩種時間尺度開始游戲，這有助于提高它們使用內(nèi)存和生成一致動作序列的能力。

FTW(for the win) 智能體的結(jié)構(gòu)示意圖

該智能體的結(jié)構(gòu)結(jié)合了快速和慢速時間尺度上的循環(huán)神經(jīng)網(wǎng)絡(luò)（Fast RNN & Slow RNN），其中包括一個共享記憶模塊，并學(xué)習(xí)從游戲點到內(nèi)部的獎勵轉(zhuǎn)換。

由此產(chǎn)生的智能體，我們稱之為For The Win(FTW) 智能體，它學(xué)會了以非常高的標(biāo)準(zhǔn)玩CTF。更重要的是，該智能體學(xué)習(xí)到的游戲策略對地圖的大小，隊友的數(shù)量以及團(tuán)隊中的其他玩家都是穩(wěn)健魯棒的。

▌FTW的性能

下面演示了探索一些室外環(huán)境的游戲(其中FTW智能體互相競爭)，以及一些智能體與人類玩家在室內(nèi)環(huán)境中一起玩的游戲。

交互式的CTF 游戲瀏覽器，具有室內(nèi)和室外的程序生成環(huán)境游戲

室外環(huán)境的游戲是 FTW 智能體之間的游戲，而室內(nèi)環(huán)境下則是混合了人類玩家和 FTW 智能體的游戲。

在原文中通過6個不同場景，每個場景下3個不同角度的攝像頭為大家呈現(xiàn)更多的游戲過程，如果大家希望看到所有場景與角度的視頻，可以通過文章最后的原文鏈接進(jìn)行查看。

我們進(jìn)行了一場包括 40 名人類玩家的游戲比賽，在比賽中人類和智能體隨機(jī)配對，既有可能成為對手，也可能成為隊友。

在早前的一場 CTF 測試賽中，比賽雙方是經(jīng)過訓(xùn)練的智能體與人類玩家組成的隊伍

經(jīng)過訓(xùn)練學(xué)習(xí)，F(xiàn)TW 智能體已經(jīng)比強(qiáng)大的基線方法更強(qiáng)大，并且超過了人類玩家的勝率。事實上，在一份對游戲參與者的調(diào)查報告中顯示它們比人類玩家更具有合作性。

智能體在訓(xùn)練中的表現(xiàn)

FTW智能體的 Elo 評級 -- 獲勝概率超過了人類玩家和 Self-play + RS、Self-play 等基線方法。

此外，我們不僅僅只對智能體進(jìn)行了性能評估，還進(jìn)一步探索了這些智能體的行為及內(nèi)部表征的復(fù)雜度。

▌FTW的表征

為了理解智能體內(nèi)部是如何表征游戲狀態(tài)，我們觀察并在平面上繪制智能體中神經(jīng)網(wǎng)絡(luò)的激活模式。下圖中的點表示游戲中的情形，鄰近的點表示相似的激活模式。這些點根據(jù)不同的 CTF 游戲狀態(tài)進(jìn)行相應(yīng)地著色，這些狀態(tài)包括：智能體在哪個房間？旗幟的狀態(tài)怎樣？可以看到哪些隊友和對手？我們觀察到同樣顏色的簇表示該智能體以相似的方式表示類似的高級游戲狀態(tài)。

智能體是如何表征游戲世界狀態(tài)？智能體將不同情況下相同的游戲狀態(tài)進(jìn)行相似的表征。訓(xùn)練后的智能體甚至能夠直接用一些人工神經(jīng)元來編碼特定情況。

我們的智能體從未得知任何的游戲規(guī)則，卻能夠?qū)W習(xí)基本的游戲概念并有效地發(fā)展對CTF游戲的直觀認(rèn)識。實際上，我們可以發(fā)現(xiàn)，智能體中某些特定的神經(jīng)元可直接對最重要的游戲狀態(tài)進(jìn)行編碼，例如當(dāng)智能體的旗幟被奪走時，某個神經(jīng)元就會被激活；或者當(dāng)智能體的隊友奪取旗幟時，某個神經(jīng)元就將被激活等。我們的論文提供了進(jìn)一步的分析，涉及的內(nèi)容包括智能體在游戲過程中是如何利用記憶和視覺注意力機(jī)制的。

▌FTW的行為

除了豐富的游戲狀態(tài)表征外，智能體在游戲中又是如何采取行動的呢？

首先，需要注意的是我們的智能體有非?？斓姆磻?yīng)時間及非常準(zhǔn)確的命中率，這能解釋它們在游戲中的卓越表現(xiàn)。人為地減少反應(yīng)時間并降低命中率后，這僅是智能體獲得成功的其中一個因素。

訓(xùn)練后，我們?nèi)藶榈販p少反應(yīng)時間和降低命中率，智能體所取得的游戲表現(xiàn)。即使是與人類玩家保持相近的反應(yīng)時間和準(zhǔn)確率，我們的智能體的游戲表現(xiàn)也優(yōu)于人類玩家。

通過無監(jiān)督學(xué)習(xí)的方式，我們在智能體和人類的原型行為之間建立聯(lián)系，研究發(fā)現(xiàn)實際上智能體能夠?qū)W習(xí)了類似人類的行為，例如跟隨隊友并敵方的基地扎營等行為。

已訓(xùn)練的智能體所展示的三個行為示例行為

在訓(xùn)練過程中，這些行為是伴隨著強(qiáng)化學(xué)習(xí)和群體級進(jìn)化而出現(xiàn)的。隨著智能體以更加互補(bǔ)的方式進(jìn)行學(xué)習(xí)合作，諸如在訓(xùn)練初期跟隨隊友的類似行為將逐漸變少。

FTW 智能體群體的訓(xùn)練進(jìn)展

左上角展示了 30 個智能體在訓(xùn)練和互相演化過程中的 Elo 評級評分。右上角展示了這些演化事件的遺傳樹。底部展示了智能體訓(xùn)練過程中知識、內(nèi)部獎勵和行為概率的情況。

▌結(jié)束語

研究界最近在星際爭霸II 和 Dota 2這樣的復(fù)雜游戲中做了非常令人印象深刻的工作，雖然我們的研究側(cè)重于奪旗游戲，但研究貢獻(xiàn)是具有普遍性的，我們很高興看到其他人如何在不同的復(fù)雜環(huán)境中建立我們的技術(shù)。在未來，我們還希望進(jìn)一步改進(jìn)目前的強(qiáng)化學(xué)習(xí)和基于人口的培訓(xùn)方法?？偟膩碚f，我們認(rèn)為這項工作突出了多智能體培訓(xùn)推動人工智能發(fā)展的潛力