人工智能系統(tǒng)，使機(jī)器人具備了像人類(lèi)一樣靈巧地掌握和操縱物體的能力，現(xiàn)在，研究人員表示，他們已經(jīng)開(kāi)發(fā)出一種算法，通過(guò)這種算法，機(jī)器可能學(xué)會(huì)獨(dú)立行走。來(lái)自加州大學(xué)伯克利分校和其中之一的谷歌人工智能研究部門(mén)的科學(xué)家們，在Arxiv.org上發(fā)表《通過(guò)深度強(qiáng)化學(xué)習(xí)，來(lái)學(xué)習(xí)走路》，它描述一個(gè)人工智能系統(tǒng)，教一個(gè)長(zhǎng)了四只腳的機(jī)器人穿越熟悉和不熟悉地形。

該論文作者解釋說(shuō)，深度強(qiáng)化學(xué)習(xí)可以用于自動(dòng)獲取一系列機(jī)器人任務(wù)數(shù)據(jù)，從而實(shí)現(xiàn)將感知輸入映射到低級(jí)動(dòng)作的策略的端到端學(xué)習(xí)。如果我們能在現(xiàn)實(shí)世界中，直接從零開(kāi)始學(xué)習(xí)移動(dòng)步態(tài)，原則上，我們就能獲得最適合于每個(gè)機(jī)器人的步態(tài)， 從而有可能獲得更好的靈活性、能源效率和穩(wěn)健性。

設(shè)計(jì)挑戰(zhàn)有兩方面。強(qiáng)化學(xué)習(xí)人工智能訓(xùn)練技術(shù)使用獎(jiǎng)勵(lì)或懲罰來(lái)驅(qū)動(dòng)個(gè)體朝著目標(biāo)前進(jìn)，需要大量的數(shù)據(jù)，在某些情況下需要數(shù)萬(wàn)個(gè)樣本，才能取得良好的結(jié)果。即：在美國(guó)，決定其結(jié)構(gòu)的參數(shù)通常需要進(jìn)行多次訓(xùn)練，這可能會(huì)隨著時(shí)間的推移損害機(jī)器人。

作者指出，深度強(qiáng)化學(xué)習(xí)在仿真中廣泛應(yīng)用于學(xué)習(xí)運(yùn)動(dòng)策略，甚至將其應(yīng)用到現(xiàn)實(shí)機(jī)器人中，但由于仿真中存在的差異，不可避免地會(huì)導(dǎo)致一些性能損失，需要大量的手工建模。事實(shí)證明，在現(xiàn)實(shí)世界中使用這種算法是具有挑戰(zhàn)性的。

為了尋求一種方法，用研究人員的話說(shuō)，可以讓一個(gè)系統(tǒng)在沒(méi)有模擬訓(xùn)練的情況下學(xué)習(xí)運(yùn)動(dòng)技能，他們開(kāi)發(fā)了一個(gè)名為 maximum entropy RL的強(qiáng)化學(xué)習(xí)框架。它優(yōu)化了學(xué)習(xí)策略，即被處理數(shù)據(jù)的隨機(jī)性最大化。在RL中，AI agent通過(guò)對(duì)策略中的行為進(jìn)行采樣并獲得獎(jiǎng)勵(lì)，不斷尋找行為的最優(yōu)路徑，即狀態(tài)和行為的軌跡。

他們開(kāi)發(fā)了一個(gè)由計(jì)算機(jī)工作站組成的流水線，該工作站更新神經(jīng)網(wǎng)絡(luò)，從Minitaur下載數(shù)據(jù)，并上傳最新的策略，機(jī)器人上搭載的Nvidia Jetson TX2執(zhí)行上述策略，收集數(shù)據(jù)，并通過(guò)以太網(wǎng)將數(shù)據(jù)上傳到工作站。兩小時(shí)內(nèi)，他們用一種獎(jiǎng)勵(lì)前進(jìn)速度、懲罰大角度加速度和俯仰角的算法，走了16萬(wàn)步，成功地訓(xùn)練了這架小型 機(jī)器人在平坦的地形上行走，越過(guò)木塊等障礙物，爬上斜坡和臺(tái)階。

研究人員寫(xiě)道，據(jù)我們所知，這個(gè)實(shí)驗(yàn)是一個(gè)深層強(qiáng)化學(xué)習(xí)算法的第一個(gè)例子，該算法直接在現(xiàn)實(shí)世界中學(xué)習(xí)不受驅(qū)動(dòng)的四足動(dòng)物運(yùn)動(dòng)，不需要任何模擬或預(yù)先訓(xùn)練。