在智能體的開發(fā)中，強化學(xué)習(xí)與大語言模型、視覺語言模型等基礎(chǔ)模型的進一步融合究竟能擦出怎樣的火花？谷歌 DeepMind 給了我們新的答案。

一直以來，DeepMind 引領(lǐng)了強化學(xué)習(xí)（RL）智能體的發(fā)展，從最早的 AlphaGo、AlphaZero 到后來的多模態(tài)、多任務(wù)、多具身 AI 智能體 Gato，智能體的訓(xùn)練方法和能力都在不斷演進。

從中不難發(fā)現(xiàn)，隨著大模型越來越成為人工智能發(fā)展的主流趨勢，DeepMind 在智能體的開發(fā)中不斷嘗試將強化學(xué)習(xí)與自然語言處理、計算機視覺領(lǐng)域融合，努力實現(xiàn)不同模態(tài)任務(wù)的統(tǒng)一。Gato 很好地說明了這一點。

近日，谷歌 DeepMind 在一篇新論文《Towards A Unified Agent with Foundation Models》中，探討了利用基礎(chǔ)模型打造統(tǒng)一的智能體。

一作 Norman Di Palo 為帝國理工學(xué)院機器學(xué)習(xí)博士生，在谷歌 DeepMind 實習(xí)期間（任職研究科學(xué)家）參與完成本論文。

論文地址：https://arxiv.org/pdf/2307.09668.pdf

何謂基礎(chǔ)模型（Foundation Models）呢？我們知道，近年來，深度學(xué)習(xí)取得了一系列令人矚目的成果，尤其在 NLP 和 CV 領(lǐng)域?qū)崿F(xiàn)突破。盡管模態(tài)不同，但具有共同的結(jié)構(gòu)，即大型神經(jīng)網(wǎng)絡(luò)，通常是 transformer，使用自監(jiān)督學(xué)習(xí)方法在大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)集上進行訓(xùn)練。

雖然結(jié)構(gòu)簡單，但基于它們開發(fā)出了極其有效的大語言模型（LLM），能夠處理和生成具有出色類人能力的文本。同時，ViT 能夠在無監(jiān)督的情況下從圖像和視頻中提取有意義的表示，視覺語言模型（VLM）可以連接描述語言中視覺輸入或?qū)⒄Z言描述轉(zhuǎn)換為視覺輸出的數(shù)據(jù)模態(tài)。

這些模型的規(guī)模和能力使社區(qū)創(chuàng)造出了「基礎(chǔ)模型」一詞，這些模型可以用作涵蓋各種輸入模態(tài)的下游任務(wù)的支柱。

問題來了：我們能否利用（視覺）語言模型的性能和能力來設(shè)計更高效和通用的強化學(xué)習(xí)智能體呢？

在接受網(wǎng)絡(luò)規(guī)模的文本和視覺數(shù)據(jù)訓(xùn)練后，這些模型的常識推理、提出和排序子目標(biāo)、視覺理解和其他屬性也出現(xiàn)了。這些都是需要與環(huán)境交互并從環(huán)境中學(xué)習(xí)的智能體的基本特征，但可能需要花費大量的時間才能從反復(fù)試錯中顯現(xiàn)出來。而利用存儲在基礎(chǔ)模型中的知識，我們能夠極大地引導(dǎo)這一過程。

受到這一思路的啟發(fā)，谷歌 DeepMind 的研究者設(shè)計了一個全新的框架，該框架將語言置于強化學(xué)習(xí)機器人智能體的核心，尤其是在從頭開始學(xué)習(xí)的環(huán)境中。

圖 1：框架示意圖。

他們表示，這個利用了 LLM 和 VLM 的框架可以解決強化學(xué)習(xí)設(shè)置中的一系列基礎(chǔ)問題，具體如下：

1）高效探索稀疏獎勵環(huán)境

2）重新使用收集的數(shù)據(jù)來有序引導(dǎo)新任務(wù)的學(xué)習(xí)

3）調(diào)度學(xué)得的技巧來解決新任務(wù)

4）從專家智能體的觀察中學(xué)習(xí)

在最近的工作中，這些任務(wù)需要不同的、專門設(shè)計的算法來單獨處理，而本文證明了利用基礎(chǔ)模型開發(fā)更統(tǒng)一方法的可能性。

此外，谷歌 DeepMind 將在 ICLR 2023 的 Reincarnating Reinforcement Learning Workshop 中展示該研究。

以語言為中心的智能體框架

該研究旨在通過分析基礎(chǔ)模型的使用，設(shè)計出更通用的 RL 機器人智能體，其中基礎(chǔ)模型在大量圖像和文本數(shù)據(jù)集上進行預(yù)訓(xùn)練。該研究為 RL 智能體提出了一個新框架，利用 LLM 和 VLM 的出色能力使智能體能夠推理環(huán)境、任務(wù)，并完全根據(jù)語言采取行動。

為此，智能體首先需要將視覺輸入映射到文本描述；然后該研究要用文本描述和任務(wù)描述 prompt LLM，以向智能體提供語言指令。最后，智能體需要將 LLM 的輸出轉(zhuǎn)化為行動。

使用 VLM 連接視覺和語言

為了以語言形式描述從 RGB 相機獲取的視覺輸入，該研究使用了大型對比視覺語言模型 CLIP。

CLIP 由圖像編碼器和文本編碼器組成，在含有噪聲的大型圖像 - 文本描述對數(shù)據(jù)集上進行訓(xùn)練。每個編碼器輸出一個 128 維的嵌入向量：圖像嵌入和匹配的文本描述會經(jīng)過優(yōu)化以具有較大的余弦相似度。為了從環(huán)境中生成圖像的語言描述，智能體會將觀察Ot提供給，并將可能的文本描述 ln提供給，如下圖 2 所示：

用 LLM 進行推理

語言模型將語言形式的 prompt 作為輸入，并通過自回歸計算下一個 token 的概率分布并從此分布中采樣來生成語言形式的輸出。該研究旨在讓 LLM 獲取表征任務(wù)的文本指令，并生成一組供機器人解決的子目標(biāo)。在模型方面，該研究使用 FLAN-T5，定性分析表明，F(xiàn)LAN-T5 的表現(xiàn)略好于未根據(jù)指令進行微調(diào)的 LLM。

LLM 的 in-context 學(xué)習(xí)能力使該研究能夠直接使用它們，無需進行域內(nèi)微調(diào)，并僅需要提供兩個任務(wù)指令和所需的語言輸出樣本來指導(dǎo) LLM 的行為。

將指令轉(zhuǎn)化為行動

然后，使用語言條件策略網(wǎng)絡(luò)將 LLM 提供的語言目標(biāo)轉(zhuǎn)化為行動。該參數(shù)化為 Transformer 的網(wǎng)絡(luò)將語言子目標(biāo)的嵌入和時間步 t 時的 MDP 狀態(tài)（包括物體和機器人終端執(zhí)行器的位置）作為輸入，每個輸入都用不同的向量表征，然后輸出機器人在時間步 t + 1 時要執(zhí)行的動作。如下所述，該網(wǎng)絡(luò)是在 RL 循環(huán)中從頭開始訓(xùn)練的。

收集與推斷的學(xué)習(xí)范式

智能體從與環(huán)境的交互中學(xué)習(xí)，其方法受到收集與推理范式的啟發(fā)。

在「收集」階段，智能體與環(huán)境互動，以狀態(tài)、觀察結(jié)果、行動和當(dāng)前目標(biāo)（s_t, o_t, a_t, g_i）的形式收集數(shù)據(jù)，并通過其策略網(wǎng)絡(luò) f_θ(s_t, g_i) → a_t 預(yù)測行動。每一集結(jié)束后，智能體都會使用 VLM 來推斷收集到的數(shù)據(jù)中是否出現(xiàn)了任何子目標(biāo)，從而獲得額外獎勵，將在后面詳細說明。

在「推斷」階段，研究者會在每個智能體完成一集后，即每完成 N 集后，通過行為克隆對經(jīng)驗緩沖區(qū)中的策略進行訓(xùn)練，從而在成功的情節(jié)上實現(xiàn)一種自我模仿。然后，更新后的策略權(quán)重將與所有分布式智能體共享，整個過程重復(fù)進行。

應(yīng)用與成果

將語言作為智能體的核心，這為解決 RL 中的一系列基本挑戰(zhàn)提供了一個統(tǒng)一的框架。在這部分內(nèi)容中，研究者討論了這些貢獻：探索、重用過去的經(jīng)驗數(shù)據(jù)、調(diào)度和重用技能以及從觀察中學(xué)習(xí)。算法 1 描述了整體框架：

探索：通過語言生成課程

Stack X on Y 和 Triple Stack 的結(jié)果。在下圖 4 中，研究者所提出框架與僅通過環(huán)境獎勵進行學(xué)習(xí)的基線智能體進行了比較。從學(xué)習(xí)曲線可以清楚地看到，在所有任務(wù)中，本文的方法都比基線方法高效得多。

值得注意的是，在 Triple Stack 任務(wù)中，本文智能體的學(xué)習(xí)曲線迅速增長，而基線智能體仍然只能獲得一個獎勵，這是因為任務(wù)的稀疏度為 10^6 。

這些結(jié)果說明了一些值得注意的問題：可以將任務(wù)的稀疏程度與達到一定成功率所需的步驟數(shù)進行比較，如下圖 5 所示。研究者還在 「抓取紅色物體」任務(wù)上訓(xùn)練了該方法，這是三個任務(wù)中最簡單的一個，其稀疏程度約為 10^1。可以看到，在本文的框架下，所需步驟數(shù)的增長速度比任務(wù)的稀疏程度更慢。這是一個特別重要的結(jié)果，因為通常在強化學(xué)習(xí)中，情況是正好相反的。

提取和轉(zhuǎn)移：通過重用離線數(shù)據(jù)進行高效的連續(xù)任務(wù)學(xué)習(xí)

研究者利用基于語言的框架來展示基于智能體過去經(jīng)驗的引導(dǎo)。他們依次訓(xùn)練了三個任務(wù)：將紅色物體堆疊在藍色物體上、將藍色物體堆疊在綠色物體上、將綠色物體堆疊在紅色物體上，將其稱之為 [T_R,B、T_B,G、T_G,R]。

順序任務(wù)學(xué)習(xí)的經(jīng)驗重用結(jié)果。智能體應(yīng)用這種方法連續(xù)學(xué)習(xí)了 [T_R,B、T_B,G、T_G,R]。在每個新任務(wù)開始時，研究者都會重新初始化策略權(quán)重，目標(biāo)是探索本文框架提取和重用數(shù)據(jù)的能力，因此要隔離并消除可能由網(wǎng)絡(luò)泛化造成的影響。

下圖 7 中繪制了智能體需要在環(huán)境中采取多少交互步驟才能在每個新任務(wù)中達到 50% 的成功率。實驗清楚地說明了本文使用技術(shù)在重復(fù)利用以前任務(wù)收集的數(shù)據(jù)方面的有效性，從而提高了新任務(wù)的學(xué)習(xí)效率。

這些結(jié)果表明，本文提出的框架可用于釋放機器人智能體的終身學(xué)習(xí)能力：連續(xù)學(xué)習(xí)的任務(wù)越多，學(xué)習(xí)下一個任務(wù)的速度就越快。

調(diào)度和重復(fù)使用所學(xué)技能

至此，我們已經(jīng)了解到框架如何使智能體能夠高效地探索和學(xué)習(xí)，以解決回報稀少的任務(wù)，并為終身學(xué)習(xí)重復(fù)使用和傳輸數(shù)據(jù)。此外，框架還能讓智能體調(diào)度和重復(fù)使用所學(xué)到的 M 技能來解決新任務(wù)，而不局限于智能體在訓(xùn)練過程中遇到的任務(wù)。

這種模式與前幾節(jié)中遇到的步驟相同：一條指令會被輸入到 LLM，如將綠色物體疊放在紅色物體上，或?qū)⒓t色疊放在藍色物體上，再將綠色疊放在紅色物體上，然后 LLM 會將其分解為一系列更短視距的目標(biāo)，即 g_0:N。然后，智能體可以利用策略網(wǎng)絡(luò)將這些目標(biāo)轉(zhuǎn)化為行動，即 f_θ(s_t, g_n) → a_t。

從觀察中學(xué)習(xí)：將視頻映射到技能

通過觀察外部智能體學(xué)習(xí)是一般智能體的理想能力，但這往往需要專門設(shè)計的算法和模型。而本文智能體可以以專家執(zhí)行任務(wù)的視頻為條件，實現(xiàn) one-shot 觀察學(xué)習(xí)。

在測試中，智能體拍攝了一段人類用手堆疊物體的視頻。視頻被分為 F 個幀，即 v_0:F。然后，智能體使用 VLM，再配上以子目標(biāo) g_0:M 表示的關(guān)于所學(xué)技能的 M 文本描述來檢測專家軌跡遇到了哪些子目標(biāo)，具體如下圖 8：

更多技術(shù)細節(jié)和實驗結(jié)果請查閱原論文。