在每個人的童年時期，我們是如何學(xué)會記住自己家附近的路的？我們是怎樣學(xué)會自己去朋友家、學(xué)?；蛘呷バ≠u部的？在沒有地圖的情況下，我們可能只是簡單地記住了某條路長什么樣，憑記憶引導(dǎo)自己。慢慢地，我們逐漸熟悉了自己的日?；顒臃秶?，就變得有信心了，能知道自己身在何處，并且學(xué)習(xí)了新的更復(fù)雜的道路。偶爾你可能會迷路，但是憑借某個標(biāo)志甚至太陽你又能找到正確的路。

在非結(jié)構(gòu)化的環(huán)境中導(dǎo)航是智能生物的特有的功能，想要實(shí)現(xiàn)遠(yuǎn)程導(dǎo)航，首先要對空間進(jìn)行內(nèi)部探索，然后要識別地標(biāo)，同時還要有強(qiáng)大的視覺處理能力。基于最近將深度強(qiáng)化學(xué)習(xí)應(yīng)用于迷宮導(dǎo)航的研究，DeepMind的研究人員也提出了一種端到端的深度強(qiáng)化學(xué)習(xí)方法，他們讓智能體在真實(shí)的城市空間中導(dǎo)航，無需地圖，并且這種方法還能遷移到不同城市環(huán)境。

導(dǎo)航是一項(xiàng)重要的認(rèn)知任務(wù)，它能讓人類和動物在沒有地圖的情況下，穿越過一片阡陌縱橫的區(qū)域。這種遠(yuǎn)距離導(dǎo)航可以同時進(jìn)行自我定位（我在這里）和目標(biāo)表示（我要去那里）。

在Learning to Navigate in Cities Without a Map這篇論文里，我們展示了一種交互式導(dǎo)航環(huán)境，利用第一人稱視角的谷歌街景照片做素材，將其游戲化以訓(xùn)練AI。標(biāo)準(zhǔn)的街景照片，人臉和車牌都被模糊，無法識別。我們建立了一個基于神經(jīng)網(wǎng)絡(luò)的智能體，學(xué)習(xí)使用視覺信息在多個城市中導(dǎo)航。注意，這項(xiàng)研究關(guān)注的是一般導(dǎo)航，而非駕駛導(dǎo)航；我們沒有使用交通信息，也沒有對車輛控制進(jìn)行建模。

數(shù)據(jù)來源于真實(shí)街景。從左至右分別為紐約時代廣場、中央公園和倫敦圣保羅大教堂

當(dāng)智能體達(dá)到目的地時，它就會獲得獎勵（具體來說是一個經(jīng)緯度坐標(biāo)），就像一個沒有地圖的郵遞員，要送無數(shù)的快遞。隨著時間的發(fā)展，智能體慢慢學(xué)會了用這種方法穿越整個城市。我們同樣證明了智能體可以學(xué)習(xí)多個城市的道路，并且這種學(xué)習(xí)方法能有效遷移到新的城市中。

在沒有地圖的情況下學(xué)習(xí)導(dǎo)航

我們不使用傳統(tǒng)的依賴外部映射和探索的傳統(tǒng)方法，而是讓智能體學(xué)習(xí)像人類一樣導(dǎo)航，不用地圖、GPS定位或其他輔助工具，只用視覺觀察。我們創(chuàng)建了一個神經(jīng)網(wǎng)絡(luò)智能體，向其中輸入在環(huán)境中觀察到的圖像，并預(yù)測它在該環(huán)境中執(zhí)行的下一項(xiàng)操作。我們使用深度強(qiáng)化學(xué)習(xí)對其進(jìn)行端到端訓(xùn)練，類似最近讓智能體在復(fù)雜的3D迷宮中學(xué)習(xí)導(dǎo)航的研究，以及用無監(jiān)督輔助方法玩游戲。與迷宮不同，我們利用真實(shí)的城市數(shù)據(jù)，例如倫敦、巴黎和紐約的復(fù)雜交叉路口、人行道、隧道和各種城市道路。此外，我們使用的方法可以遷移到不同城市，并可以優(yōu)化導(dǎo)航行為。

模塊化神經(jīng)網(wǎng)絡(luò)

我們智能體的神經(jīng)網(wǎng)絡(luò)包括三個部分：

能夠處理圖像并提取視覺特征的卷積網(wǎng)絡(luò)；

一個特定場所的循環(huán)神經(jīng)網(wǎng)絡(luò)，在內(nèi)部進(jìn)行對環(huán)境的記憶并學(xué)習(xí)表示“這里”（智能體的當(dāng)前位置）和“那里”（目標(biāo)位置）；

一個位置不變的循環(huán)網(wǎng)絡(luò)，能夠根據(jù)智能體位置的變化進(jìn)行導(dǎo)航。

特定場所的模塊被設(shè)計(jì)成可互換的，并且正如其名，對于每個城市都是唯一的，而視覺模塊和策略模塊是不隨著場景而變換的。

就像谷歌街景的界面一樣，智能體可以在原地打轉(zhuǎn)，也可以向前進(jìn)入到下一個場景。但與谷歌地圖和街景不同的是，智能體看不到小箭頭、局部或全景地圖以及標(biāo)志性的街景小人，它還需要學(xué)習(xí)區(qū)分開放道路和人行道。目的地可能是幾公里以外的地方，智能體需要搜索幾百個全景圖才能到達(dá)。

我們證明了這種方法能提供一種機(jī)制，將導(dǎo)航知識遷移到新城市中。和人類一樣，當(dāng)智能體來到一個新城市，我們會希望它學(xué)習(xí)一組新的地標(biāo)，但不必重新學(xué)習(xí)它的視覺表現(xiàn)或行為（例如，沿著街道向前縮放，或者在交叉路口轉(zhuǎn)向）。因此，使用MultiCity架構(gòu)，我們在許多城市進(jìn)行首次訓(xùn)練，然后凍結(jié)策略網(wǎng)絡(luò)和視覺卷積網(wǎng)絡(luò)，并在一個新城市中建立唯一一個新的特定地區(qū)路徑。這種方法讓智能體在獲取新知識的同時不忘之前學(xué)到的東西，類似漸進(jìn)式神經(jīng)網(wǎng)絡(luò)架構(gòu)。

學(xué)習(xí)導(dǎo)航是人工智能領(lǐng)域的基礎(chǔ)，試圖在智能體中復(fù)制導(dǎo)航功能還可以幫助科學(xué)家了解其生物學(xué)基礎(chǔ)。