編者按：繼OpenAI發(fā)布Dota2的團戰(zhàn)AI后，DeepMind今天也發(fā)布了自家的最新研究，一些可以互相協(xié)作，也可以和人類選手合作的人工智能機器人。以下是論智對DeepMind博文的編譯。

在游戲項目中，讓AI掌握策略、理解戰(zhàn)術(shù)并進行團隊合作是非常重要的?，F(xiàn)在的強化學(xué)習(xí)經(jīng)過發(fā)展，我們的智能體在《雷神之錘III：競技場》的奪旗比賽（Capture the Flag）中的表現(xiàn)達到了人類水平，它們在團隊合作方面展示出了較高水準。

《雷神之錘III：競技場》的奪旗模式（CTF）是一款以第一人稱視角展示的多人游戲，參賽者分成兩組，紅隊和藍隊。每組隊員的目標是奪取對方的旗幟并將它帶回自己的基地，同時保護己方旗幟。殺死對手得1分，自己非正常死亡扣1分，奪取對方旗子得3分，殺死奪旗者得2分，重新拿到己方旗子得1分，成功奪取一次旗子（將旗子送回己方基地）得5分。五分鐘內(nèi)有較多旗子的一方獲勝。

我們訓(xùn)練的四個智能體在室內(nèi)和室外兩種環(huán)境下進行對戰(zhàn)，并逐漸修煉到能夠奪旗的水平

對人類來說，每個個體都有自己的目標和行動方式，但我們?nèi)匀荒茉趫F隊和組織中展示出集體智慧，我們將這一設(shè)置稱為“多智能體學(xué)習(xí)”：多個智能體必須獨立行動，但是要學(xué)習(xí)與其他智能體交互合作。這個問題非常困難，因為環(huán)境是在不斷變化的。

為了研究這一問題，我們以各類3D第一人稱視角的電子游戲為研究對象，它們代表了大多數(shù)游戲的形式，能反映各類玩家的策略，因為其中包括了他們對游戲的理解、手眼配合以及團隊計劃。我們的智能體所面臨的挑戰(zhàn)是直接從原始像素中學(xué)習(xí)，從而輸出動作。

實驗中我們選用的《雷神之錘III：競技場》游戲是現(xiàn)在許多第一人稱角色游戲的基礎(chǔ)，我們訓(xùn)練智能體像單人一樣學(xué)習(xí)和行動，但是仍要在團隊間進行合作，共同對抗敵方。

從一個多智能體的角度，CTF需要玩家既能和隊友完美合作，也要與敵人對抗，不論在什么風(fēng)格下都要保持水平的穩(wěn)定。

為了讓這一過程更有趣，我們還設(shè)計了一個CTF的變體，其中的平面地圖每一場都不一樣。結(jié)果我們的智能體被迫學(xué)習(xí)到了一種“通用策略”，而非靠對地圖的記憶獲勝。除此之外，為了評估游戲場地，我們的智能體用人類的方式感受了一下CTF的環(huán)境：它們通過一個虛擬游戲控制器觀察一連串的像素圖像和動作。

CTF的環(huán)境不斷更新，所以智能體必須適應(yīng)陌生地圖

我們的智能體必須從零開始學(xué)習(xí)在陌生環(huán)境中如何觀察地形、行動、合作、競爭，這一切都要從每場比賽的單一強化信號中得來：不論它們所在隊伍是否獲勝。這是一個具有挑戰(zhàn)性的學(xué)習(xí)問題，而解決方法基于三個強化學(xué)習(xí)的基本問題：

與訓(xùn)練單一智能體相反，我們訓(xùn)練的是多個智能體，它們通過與各種隊友和對手的互動來學(xué)習(xí)。

團隊里的每個智能體都從它自己的內(nèi)部獎勵信號中學(xué)習(xí)，從而讓智能體生成自己內(nèi)部的目標，例如獲得一面旗幟。兩階段的優(yōu)化過程優(yōu)化了智能體內(nèi)部的獎勵，同時用內(nèi)部獎勵的強化學(xué)習(xí)學(xué)習(xí)了智能體的策略。

智能體會在快慢兩種速度下進行訓(xùn)練，這樣會提高他們利用內(nèi)存并生成連續(xù)動作的能力。

最終訓(xùn)練出的智能體（FTW）在玩CTF上表現(xiàn)出了很高的水準。重要的是，該智能體在各種地圖、隊員數(shù)量的情況下，表現(xiàn)得都很穩(wěn)定。不論是在戶外模式還是室內(nèi)模式，或者有人類參與的比賽中，F(xiàn)TW都表現(xiàn)的很好。

我們組織了一場聯(lián)賽，其中有40名人類玩家，將人類和智能體隨機組合分配到游戲中。

FTW智能體學(xué)習(xí)之后比基準的方法更強大，同時超過了人類選手的取勝率。事實上，在對參賽者的評估上，智能體的合作能力比人類更強。

智能體在訓(xùn)練時的表現(xiàn)與人類的對比

理解智能體的內(nèi)部機制

為了了解智能體是如何表示游戲狀態(tài)的，我們查看了智能體神經(jīng)網(wǎng)絡(luò)的活動形式。下面的圖表展示了游戲過程中的情形，其中密密麻麻的點根據(jù)CTF在游戲中的狀態(tài)分成不同的顏色，根據(jù)顏色可以判斷：智能體在哪個房間？旗子的狀態(tài)如何？能看到哪個隊友或?qū)κ?？通過觀察顏色相同的點，我們發(fā)現(xiàn)在相似狀態(tài)的智能體動作也相似。

各色點點代表游戲中各種智能體所處的狀態(tài)和位置

我們不會告訴智能體游戲的規(guī)則，而是讓他們自己學(xué)習(xí)基礎(chǔ)概念。事實上，我們可以找到具體編碼有重要游戲狀態(tài)的神經(jīng)元，比如當旗子被奪走時活動的神經(jīng)元，或者隊友拿到旗時活動的神經(jīng)元。想知道更多智能體細節(jié)，可查看原論文。

除了這些多樣的表示，智能體實際上是怎樣運作的？首先，我們注意到智能體的反應(yīng)時間很快，并且還有精確的標記器。但是當人為地降低他們的精度和反應(yīng)時間，我們看到導(dǎo)致成功的只有一個因素。

智能體的精確度和反應(yīng)時間比人類要高

通過無監(jiān)督學(xué)習(xí)我們創(chuàng)建了智能體的原始動作，發(fā)現(xiàn)智能體實際上是在模仿人類行為，例如跟隨隊友或者在對手的基地“安營扎寨”。這些動作都是在訓(xùn)練中通過強化學(xué)習(xí)和進化得來的。

結(jié)語

最近人工智能在星際爭霸II和Dota 2這樣復(fù)雜的游戲中都取得了不小的進步，雖然這一項目的側(cè)重點在于“奪旗”游戲，但是做出的貢獻是通用的，研究人員表示，他們很高興看到其他研究者在不同環(huán)境中應(yīng)用這一技術(shù)。在未來，他們將對目前的強化學(xué)習(xí)和基于多個智能體的訓(xùn)練方法進行改進?？偟膩碚f，這項工作突出了多智能體訓(xùn)練的潛力，有助于它們與人類的合作。