繼圍棋、Dota和星際爭(zhēng)霸后，AI進(jìn)軍體育游戲了！近日，谷歌AI發(fā)布足球游戲強(qiáng)化學(xué)習(xí)訓(xùn)練環(huán)境“足球引擎”，智能體經(jīng)過(guò)由易到難的強(qiáng)化學(xué)習(xí)自我比賽訓(xùn)練，成功完成跑動(dòng)配合、防守反擊、二過(guò)一、門前搶點(diǎn)得分等高級(jí)行為。足球游戲“虐電”要成為歷史了嗎？

強(qiáng)化學(xué)習(xí)（RL）的目標(biāo)是培養(yǎng)能夠與環(huán)境互動(dòng)并解決復(fù)雜任務(wù)的智能體，開發(fā)出機(jī)器人技術(shù)的更多實(shí)際應(yīng)用。近年來(lái)，讓智能體玩游戲，如標(biāo)志性的Atari主機(jī)游戲、圍棋游戲，專業(yè)視頻游戲等，如Dota 2或《星際爭(zhēng)霸2》，推動(dòng)了這一領(lǐng)域的快速發(fā)展。所有這些游戲都提供了極具挑戰(zhàn)性的訓(xùn)練環(huán)境，可以以安全、可重復(fù)的方式快速測(cè)試新的算法和理念。

對(duì)于強(qiáng)化學(xué)習(xí)來(lái)說(shuō)，足球類游戲尤其具有挑戰(zhàn)性，因?yàn)橹悄荏w需要在短期內(nèi)學(xué)會(huì)控制、學(xué)習(xí)陌生概念（比如傳球），并在高水平的不同戰(zhàn)略之間實(shí)現(xiàn)自然平衡。

為此，Google AI 發(fā)布了一個(gè)新的強(qiáng)化學(xué)習(xí)環(huán)境Google Research Football Environment，智能體的目標(biāo)是掌握世界上最受歡迎的體育項(xiàng)目——足球。該環(huán)境以流行的足球視頻游戲?yàn)槟Ｐ?，提供基于真?shí)的3D足球模擬，由智能體控制球隊(duì)中的一個(gè)或所有球員，學(xué)習(xí)如何傳球，并設(shè)法突破對(duì)方的防守取得進(jìn)球。這個(gè)環(huán)境由幾個(gè)關(guān)鍵部分組成：高度優(yōu)化的游戲引擎、一系列嚴(yán)格的基準(zhǔn)，以及由易變難的強(qiáng)化學(xué)習(xí)場(chǎng)景。為了便于研究，我們?cè)贕ithub上發(fā)布了基礎(chǔ)開源代碼的測(cè)試版。

強(qiáng)化學(xué)習(xí)“足球引擎”:真實(shí)模擬足球場(chǎng)上常見場(chǎng)景事件

該強(qiáng)化學(xué)習(xí)環(huán)境的核心是一種先進(jìn)的足球游戲模擬，稱為“足球引擎”，它基于一個(gè)足球游戲版本經(jīng)大量修改而成。根據(jù)兩支對(duì)方球隊(duì)的輸入動(dòng)作，模擬了足球比賽中的常見事件和場(chǎng)景，包括進(jìn)球、犯規(guī)、角球和點(diǎn)球、越位等?！白闱蛞妗辈捎酶叨葍?yōu)化的C++代碼編寫，可以在現(xiàn)有的計(jì)算機(jī)上運(yùn)行，無(wú)論是否依賴GPU渲染都可以運(yùn)行。在單CPU六核計(jì)算機(jī)上的運(yùn)行速度可以達(dá)到每天約2500萬(wàn)步。

“足球引擎”是一種先進(jìn)的足球游戲環(huán)境模擬，支持所有主要的足球比賽規(guī)則，如開球（左上），進(jìn)球（右上），犯規(guī)，出牌（左下），角球和點(diǎn)球（右下）和越位。

此外，該引擎還具備了針對(duì)強(qiáng)化學(xué)習(xí)的更多功能。首先，引擎可以從不同的狀態(tài)表示中學(xué)習(xí)，包括玩家位置之類的語(yǔ)義信息，也可以從原始像素進(jìn)行學(xué)習(xí)。其次，為了研究隨機(jī)性對(duì)游戲的影響，可以在隨機(jī)模式（默認(rèn)設(shè)置即為隨機(jī)模式）下運(yùn)行，在該模式下，環(huán)境和對(duì)手AI動(dòng)作中都存在隨機(jī)性，而在確定模式中不存在隨機(jī)性。第三，開箱即用，與廣泛使用的OpenAI Gym API 兼容。研究人員可以通過(guò)使用鍵盤或游戲手柄與智能體對(duì)戰(zhàn)，來(lái)獲得對(duì)游戲的感覺。

訓(xùn)練基準(zhǔn)：由易到難，進(jìn)球和帶球近門都有獎(jiǎng)勵(lì)

通過(guò)基準(zhǔn)測(cè)試，研究人員為基于足球引擎的強(qiáng)化學(xué)習(xí)研究設(shè)立了一系列基準(zhǔn)問(wèn)題，其目標(biāo)是針對(duì)固定的基于規(guī)則的對(duì)手進(jìn)行“標(biāo)準(zhǔn)”的足球游戲，這些對(duì)手是為此而手工設(shè)計(jì)的。我們提供三個(gè)版本的基準(zhǔn)：簡(jiǎn)單、普通和困難，實(shí)力由弱到強(qiáng)。

作為參考，本研究提供了兩種最先進(jìn)的強(qiáng)化學(xué)習(xí)算法的基準(zhǔn)測(cè)試結(jié)果：DQN和IMPALA，它們既可以在一臺(tái)機(jī)器上的多個(gè)進(jìn)程中運(yùn)行，也可以在多臺(tái)機(jī)器上同時(shí)運(yùn)行。我們針對(duì)兩種獎(jiǎng)勵(lì)設(shè)置進(jìn)行了研究，第一種設(shè)置提供的唯一獎(jiǎng)勵(lì)是取得進(jìn)球。第二種設(shè)置為智能體將球移動(dòng)至球門附近提供額外的獎(jiǎng)勵(lì)。

研究結(jié)果表明，簡(jiǎn)單模式下的基準(zhǔn)測(cè)試似乎更適用于單機(jī)版算法的研究，困難模式的基準(zhǔn)即使對(duì)于大規(guī)模分布式強(qiáng)化學(xué)習(xí)算法而言也具有很大的挑戰(zhàn)性?；诃h(huán)境的性質(zhì)和基準(zhǔn)測(cè)試的難度，我們期望這些測(cè)試和環(huán)境可用于研究當(dāng)前的科學(xué)難題，例如樣本有效的強(qiáng)化學(xué)習(xí)、稀疏獎(jiǎng)勵(lì)，或基于模型的強(qiáng)化學(xué)習(xí)等。

不同基線的不同難度級(jí)別的智能體的測(cè)試結(jié)果。對(duì)于簡(jiǎn)單模式基準(zhǔn)測(cè)試的對(duì)手，DQN智能體訓(xùn)練2000萬(wàn)步即可戰(zhàn)勝，而要戰(zhàn)勝中等和困難模式的對(duì)手需要使用大規(guī)模分布式算法，如IMPALA，需要訓(xùn)練2億步。

未來(lái)方向：從自訓(xùn)練到適應(yīng)對(duì)手

為了完成完整的足球策略訓(xùn)練，研究人員還提供了“足球?qū)W院”，提供各種測(cè)試難度的多個(gè)場(chǎng)景。研究人員可以探索新的研究思路，測(cè)試更高級(jí)的概念，并為課程學(xué)習(xí)研究思路提供基礎(chǔ)。

智能體可以從由易到難的場(chǎng)景中學(xué)習(xí)。“足球?qū)W院”場(chǎng)景示例包括，智能體必須學(xué)習(xí)如何在球員之間快速傳接球，并學(xué)習(xí)如何進(jìn)行防守反擊。研究人員可以使用簡(jiǎn)單的API，進(jìn)一步自定義場(chǎng)景并訓(xùn)練智能體解決更多問(wèn)題。

由上至下：（1）一個(gè)成功的進(jìn)攻策略，迎球跑動(dòng)，面對(duì)門將射門得分。（2）策動(dòng)并完成一次漂亮的反擊。（3）應(yīng)對(duì)前場(chǎng)2打1的簡(jiǎn)單方式。（4）角球后門前搶點(diǎn)得分。

此次提出的足球游戲智能體訓(xùn)練基準(zhǔn)遵循的是標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)設(shè)置，由智能體與固定的對(duì)手競(jìng)爭(zhēng)，競(jìng)爭(zhēng)對(duì)手被視為環(huán)境的一部分。而實(shí)際上，足球是一個(gè)雙方的游戲，是兩個(gè)不同的球隊(duì)之間的競(jìng)爭(zhēng)，一方必須要適應(yīng)對(duì)方的行動(dòng)和戰(zhàn)略。我們?yōu)檠芯窟@種環(huán)境提供了獨(dú)特的機(jī)會(huì)，一旦我們完成了自游戲的測(cè)試，就可以進(jìn)一步研究更多更有趣的測(cè)試環(huán)境。