剛剛，在更復(fù)雜的《星際爭(zhēng)霸 II》游戲中，DeepMind AI 以總比分 2:0 分別戰(zhàn)勝兩位職業(yè)人類(lèi)選手。這或許是自 2017 年 AlphaGo 在圍棋上戰(zhàn)勝人類(lèi)后，再次讓人類(lèi)刷新 AI 認(rèn)知的人機(jī)大戰(zhàn)。

此次與人類(lèi)對(duì)戰(zhàn)的 AI 是 AlphaGo 兄弟：AlphaStar。開(kāi)賽前幾個(gè)小時(shí)，DeepMind CEO 在 Twitter 上公布了這一名字。而在開(kāi)賽前一天，DeepMind 宣布 AI 將與人類(lèi)在《星際爭(zhēng)霸 II》中公開(kāi)對(duì)戰(zhàn)的消息，并表示在《星際爭(zhēng)霸 II》游戲的瘋狂難度模式下，其 AI 的勝率為 50%。

需要說(shuō)明的是，正如之前打 Dota 的 OpenAI 受到的降低反應(yīng)速度一樣，DeepMind 此次將 AlphaStar 的反應(yīng)速度“限制”到 APM 280，大致相當(dāng)于星際中等職業(yè)玩家的水平。就 AlphaStar 的表現(xiàn)來(lái)看，雖然最終在現(xiàn)場(chǎng) PK 時(shí)輸了最后一局比賽，但整體上還是完虐人類(lèi)。

比賽開(kāi)始，與 AlphaStar 對(duì)戰(zhàn)的第一個(gè)職業(yè)選手是 TLO，其世界排名為第 68 位。此次人機(jī)大戰(zhàn)是五局三勝制，TLO 雖然不是頂級(jí)星際選手，但讓人足夠驚嘆的是，AlphaStar 最終在約五十分鐘內(nèi)結(jié)束戰(zhàn)斗，以 3:0 的成績(jī)獲勝，人類(lèi)職業(yè)選手似乎毫無(wú)還手之力。

先來(lái)簡(jiǎn)單回顧下人機(jī)大戰(zhàn)第一場(chǎng)：AlphaStar 第一局一開(kāi)始就表現(xiàn)的很有全局觀(guān)，在 PvP 兩礦打一礦的情況下，TLO 很快被擊??；第二局一度打得很焦灼，但 AlphaStar 依然以 2:0 再贏一局；十分鐘后，TLO 潰敗給 AlphaStar，有網(wǎng)友說(shuō)選手太初級(jí)，批評(píng) TLO 作為職業(yè)選手在瞎打，沒(méi)有尊重熬夜看人機(jī)大賽的觀(guān)眾。不過(guò)，也有人說(shuō) AI 很可怕。

如果說(shuō)第一回合 AlphaStar 戰(zhàn)勝的是“初級(jí)”選手，那隨后與其對(duì)戰(zhàn)的職業(yè)選手是世界排名第 19 位的 MaNa ，其職業(yè)水平至少是中上游。

上圖顯示的是 AlphaStar 的決策過(guò)程，具體比賽過(guò)程就不說(shuō)了，結(jié)果是 MaNa 在大約 45 分鐘內(nèi)連輸五局被 AlphaStar 斬落馬下。

前一個(gè)職業(yè)選手 TLO 在 MaNa 輸?shù)舯荣惡蠓Q(chēng)，“相信我, 和一個(gè)像 AlphaStar 這樣的對(duì)手比賽是非常困難的, 它的打法和人類(lèi)完全不同，是你以前從未有過(guò)的經(jīng)驗(yàn)。 AlphaStar 給人留下了極深的印象, 這在游戲 AI 中也是前所未有的。"

AlphaStar 遇神殺神，干脆利落。這次應(yīng)該沒(méi)人責(zé)怪 MaNa 打得不好，他顯然拼盡了全力，而網(wǎng)友發(fā)出的慨嘆是希望終結(jié)者不會(huì)來(lái)那么快。

但最后一局讓網(wǎng)友們?yōu)槿祟?lèi)命運(yùn)緊張的情緒稍稍放松，與 MaNa 現(xiàn)場(chǎng)對(duì)戰(zhàn)的 AlphaStar 一著不慎，讓 MaNa 扳回一局，但最終以 1:5 輸?shù)舯荣悺?/p>

AlphaStar 的來(lái)歷

早在 2016 年，谷歌 DeepMind 的 AI 研究人員已經(jīng)開(kāi)始關(guān)注暴雪娛樂(lè)的《星際爭(zhēng)霸 II》。通過(guò)游戲來(lái)確定 AI 是否可以勝過(guò)人類(lèi)相對(duì)簡(jiǎn)單的復(fù)雜任務(wù)是 DeepMind 的研究人員長(zhǎng)期以來(lái)都在嘗試的項(xiàng)目。同年 11 月，DeepMind 曾在暴雪嘉年華上宣布與暴雪達(dá)成合作協(xié)議，將在《星際爭(zhēng)霸》系列游戲中進(jìn)行合作，將在游戲平臺(tái)中引入機(jī)器學(xué)習(xí)方法，進(jìn)行人工智能研究。

2017 年 8 月，Deepmind 與暴雪共同發(fā)布了合作計(jì)劃的首個(gè)成果：基于《星際爭(zhēng)霸 II》的人工智能研究環(huán)境 SC2LE，它允許研究者在 Linux 系統(tǒng)中接入游戲 API，開(kāi)放了 65000 場(chǎng)比賽的數(shù)據(jù)緩存用于訓(xùn)練 AI，并將添加 50 萬(wàn)場(chǎng)游戲數(shù)據(jù)到緩存中。

2018 年，同樣在暴雪嘉年華上，他們分享了人工智能模型在《星際爭(zhēng)霸》游戲中的突破。人工智能模型能執(zhí)行基本的宏觀(guān)戰(zhàn)略，還能防御像 Tower Rush 這樣的激進(jìn)戰(zhàn)術(shù)。而剛剛結(jié)束的“星際爭(zhēng)霸”賽則是是一項(xiàng)“重大挑戰(zhàn)”，因?yàn)檫@要求 AI 智能體“實(shí)現(xiàn)和平衡一些子目標(biāo)”，以便最終擊敗人類(lèi)選手。

例如，雖然游戲的目標(biāo)是擊敗對(duì)手，但玩家還必須考慮平衡多個(gè)子目標(biāo)，比如收集資源（水晶和氣礦）或建筑。此外，一場(chǎng)比賽的時(shí)間通常為幾分鐘到一小時(shí)不等，這意味著游戲中提早執(zhí)行的行動(dòng)會(huì)在很長(zhǎng)時(shí)間不見(jiàn)成效。最后，由于玩家智能看到部分地圖，這意味著智能體必須結(jié)合記憶與規(guī)劃才能成功。

AlphaStar 背后的 AI 技術(shù)

在圍棋任務(wù)中，對(duì)手間可以看到整個(gè)棋盤(pán)，但《星際爭(zhēng)霸 II》與此不同，我們通常無(wú)法看到整個(gè)地圖，需要派小兵出去偵查。而且游戲是不間斷進(jìn)行的，整個(gè)游戲甚至?xí)谐^(guò) 5000 步的操作。

DeepMind 科學(xué)家 Oriol Vinyals 曾在去年的一場(chǎng)以《AI 對(duì)戰(zhàn)星際爭(zhēng)霸勝算幾何？》的演講中提到，這個(gè)游戲基本上就是建造一些建筑物以及單位，在同一個(gè)地圖里與不同的組織相互競(jìng)爭(zhēng)。在這個(gè)游戲中，哪怕只是建造建筑物，也需要做出許多決策。除此之外，他們還要不斷收集和利用資源、建造不同的建筑物、不斷擴(kuò)張，因此整個(gè)游戲非常具有挑戰(zhàn)性。

他們?cè)谶@個(gè)游戲中使用的方法依舊是強(qiáng)化學(xué)習(xí)。他們要讓 AI 模仿人類(lèi)玩這個(gè)游戲的方式，但即使是模仿人類(lèi)點(diǎn)擊鼠標(biāo)和敲擊鍵盤(pán)的行為也非常困難，需要收集整個(gè)《星際爭(zhēng)霸》玩家的行為進(jìn)行分析。為此還引入了一個(gè)游戲引擎。

DeepMind 還為游戲過(guò)程設(shè)計(jì)了不同的指令和模式，這使得整個(gè)玩《星際爭(zhēng)霸》的過(guò)程變得獨(dú)一無(wú)二。如今，我們看到的 AlphaStar 正是上述想法的結(jié)晶。

現(xiàn)在的 AlphaStar 還是剛出生的嬰幼兒，不過(guò)以其極快的進(jìn)化速度，你也能想到日后的進(jìn)化版會(huì)是多么無(wú)可匹敵。到現(xiàn)在，或許還有很多人期待 2 月 15 日 AlphaStar 與世界排名第一的 Serral 進(jìn)行終極對(duì)決，但最終的結(jié)果可想而知。正如柯潔輸給 AlphaGo 時(shí)面臨的絕望一樣，人類(lèi)可能不愿意面對(duì)這樣的現(xiàn)實(shí)：在更多復(fù)雜的場(chǎng)景中，人類(lèi)可能正以難以想象的速度輸給 AI。