在每個(gè)人的童年時(shí)期，我們是如何學(xué)會(huì)記住自己家附近的路的？我們是怎樣學(xué)會(huì)自己去朋友家、學(xué)?；蛘呷バ≠u(mài)部的？在沒(méi)有地圖的情況下，我們可能只是簡(jiǎn)單地記住了某條路長(zhǎng)什么樣，憑記憶引導(dǎo)自己。慢慢地，我們逐漸熟悉了自己的日?；顒?dòng)范圍，就變得有信心了，能知道自己身在何處，并且學(xué)習(xí)了新的更復(fù)雜的道路。偶爾你可能會(huì)迷路，但是憑借某個(gè)標(biāo)志甚至太陽(yáng)你又能找到正確的路。

在非結(jié)構(gòu)化的環(huán)境中導(dǎo)航是智能生物的特有的功能，想要實(shí)現(xiàn)遠(yuǎn)程導(dǎo)航，首先要對(duì)空間進(jìn)行內(nèi)部探索，然后要識(shí)別地標(biāo)，同時(shí)還要有強(qiáng)大的視覺(jué)處理能力。基于最近將深度強(qiáng)化學(xué)習(xí)應(yīng)用于迷宮導(dǎo)航的研究，DeepMind的研究人員也提出了一種端到端的深度強(qiáng)化學(xué)習(xí)方法，他們讓智能體在真實(shí)的城市空間中導(dǎo)航，無(wú)需地圖，并且這種方法還能遷移到不同城市環(huán)境。

導(dǎo)航是一項(xiàng)重要的認(rèn)知任務(wù)，它能讓人類(lèi)和動(dòng)物在沒(méi)有地圖的情況下，穿越過(guò)一片阡陌縱橫的區(qū)域。這種遠(yuǎn)距離導(dǎo)航可以同時(shí)進(jìn)行自我定位（我在這里）和目標(biāo)表示（我要去那里）。

在Learning to Navigate in Cities Without a Map這篇論文里，我們展示了一種交互式導(dǎo)航環(huán)境，利用第一人稱視角的谷歌街景照片做素材，將其游戲化以訓(xùn)練AI。標(biāo)準(zhǔn)的街景照片，人臉和車(chē)牌都被模糊，無(wú)法識(shí)別。我們建立了一個(gè)基于神經(jīng)網(wǎng)絡(luò)的智能體，學(xué)習(xí)使用視覺(jué)信息在多個(gè)城市中導(dǎo)航。注意，這項(xiàng)研究關(guān)注的是一般導(dǎo)航，而非駕駛導(dǎo)航；我們沒(méi)有使用交通信息，也沒(méi)有對(duì)車(chē)輛控制進(jìn)行建模。

數(shù)據(jù)來(lái)源于真實(shí)街景。從左至右分別為紐約時(shí)代廣場(chǎng)、中央公園和倫敦圣保羅大教堂

當(dāng)智能體達(dá)到目的地時(shí)，它就會(huì)獲得獎(jiǎng)勵(lì)（具體來(lái)說(shuō)是一個(gè)經(jīng)緯度坐標(biāo)），就像一個(gè)沒(méi)有地圖的郵遞員，要送無(wú)數(shù)的快遞。隨著時(shí)間的發(fā)展，智能體慢慢學(xué)會(huì)了用這種方法穿越整個(gè)城市。我們同樣證明了智能體可以學(xué)習(xí)多個(gè)城市的道路，并且這種學(xué)習(xí)方法能有效遷移到新的城市中。

在沒(méi)有地圖的情況下學(xué)習(xí)導(dǎo)航

我們不使用傳統(tǒng)的依賴外部映射和探索的傳統(tǒng)方法，而是讓智能體學(xué)習(xí)像人類(lèi)一樣導(dǎo)航，不用地圖、GPS定位或其他輔助工具，只用視覺(jué)觀察。我們創(chuàng)建了一個(gè)神經(jīng)網(wǎng)絡(luò)智能體，向其中輸入在環(huán)境中觀察到的圖像，并預(yù)測(cè)它在該環(huán)境中執(zhí)行的下一項(xiàng)操作。我們使用深度強(qiáng)化學(xué)習(xí)對(duì)其進(jìn)行端到端訓(xùn)練，類(lèi)似最近讓智能體在復(fù)雜的3D迷宮中學(xué)習(xí)導(dǎo)航的研究，以及用無(wú)監(jiān)督輔助方法玩游戲。與迷宮不同，我們利用真實(shí)的城市數(shù)據(jù)，例如倫敦、巴黎和紐約的復(fù)雜交叉路口、人行道、隧道和各種城市道路。此外，我們使用的方法可以遷移到不同城市，并可以優(yōu)化導(dǎo)航行為。

模塊化神經(jīng)網(wǎng)絡(luò)

我們智能體的神經(jīng)網(wǎng)絡(luò)包括三個(gè)部分：

能夠處理圖像并提取視覺(jué)特征的卷積網(wǎng)絡(luò)；

一個(gè)特定場(chǎng)所的循環(huán)神經(jīng)網(wǎng)絡(luò)，在內(nèi)部進(jìn)行對(duì)環(huán)境的記憶并學(xué)習(xí)表示“這里”（智能體的當(dāng)前位置）和“那里”（目標(biāo)位置）；

一個(gè)位置不變的循環(huán)網(wǎng)絡(luò)，能夠根據(jù)智能體位置的變化進(jìn)行導(dǎo)航。

特定場(chǎng)所的模塊被設(shè)計(jì)成可互換的，并且正如其名，對(duì)于每個(gè)城市都是唯一的，而視覺(jué)模塊和策略模塊是不隨著場(chǎng)景而變換的。

就像谷歌街景的界面一樣，智能體可以在原地打轉(zhuǎn)，也可以向前進(jìn)入到下一個(gè)場(chǎng)景。但與谷歌地圖和街景不同的是，智能體看不到小箭頭、局部或全景地圖以及標(biāo)志性的街景小人，它還需要學(xué)習(xí)區(qū)分開(kāi)放道路和人行道。目的地可能是幾公里以外的地方，智能體需要搜索幾百個(gè)全景圖才能到達(dá)。

我們證明了這種方法能提供一種機(jī)制，將導(dǎo)航知識(shí)遷移到新城市中。和人類(lèi)一樣，當(dāng)智能體來(lái)到一個(gè)新城市，我們會(huì)希望它學(xué)習(xí)一組新的地標(biāo)，但不必重新學(xué)習(xí)它的視覺(jué)表現(xiàn)或行為（例如，沿著街道向前縮放，或者在交叉路口轉(zhuǎn)向）。因此，使用MultiCity架構(gòu)，我們?cè)谠S多城市進(jìn)行首次訓(xùn)練，然后凍結(jié)策略網(wǎng)絡(luò)和視覺(jué)卷積網(wǎng)絡(luò)，并在一個(gè)新城市中建立唯一一個(gè)新的特定地區(qū)路徑。這種方法讓智能體在獲取新知識(shí)的同時(shí)不忘之前學(xué)到的東西，類(lèi)似漸進(jìn)式神經(jīng)網(wǎng)絡(luò)架構(gòu)。

學(xué)習(xí)導(dǎo)航是人工智能領(lǐng)域的基礎(chǔ)，試圖在智能體中復(fù)制導(dǎo)航功能還可以幫助科學(xué)家了解其生物學(xué)基礎(chǔ)。