春梦下面一抽一抽的会宫缩吗,亚洲中文字幕无码亚洲人成

擴(kuò)散模型（diffusion model）在 CV 領(lǐng)域甚至 NLP 領(lǐng)域都已經(jīng)有了令人印象深刻的表現(xiàn)。最近的一些工作開始將 diffusion model 用于強(qiáng)化學(xué)習(xí)（RL）中來(lái)解決序列決策問(wèn)題，它們主要利用 diffusion model 來(lái)建模分布復(fù)雜的軌跡或提高策略的表達(dá)性。

但是，這些工作仍然局限于單一任務(wù)單一數(shù)據(jù)集，無(wú)法得到能同時(shí)解決多種任務(wù)的通用智能體。那么，diffusion model 能否解決多任務(wù)強(qiáng)化學(xué)習(xí)問(wèn)題呢？我們最近提出的一篇新工作——“Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning”，旨在解決這個(gè)問(wèn)題并希望啟發(fā)后續(xù)通用決策智能的研究：

論文題目：Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning

論文鏈接：

https://arxiv.org/abs/2305.18459

背景

數(shù)據(jù)驅(qū)動(dòng)的大模型在 CV 和 NLP 領(lǐng)域已經(jīng)獲得巨大成功，我們認(rèn)為這背后源于模型的強(qiáng)表達(dá)性和數(shù)據(jù)集的多樣性和廣泛性?；诖耍覀儗⒆罱鋈Φ纳墒綌U(kuò)散模型（diffusion model）擴(kuò)展到多任務(wù)強(qiáng)化學(xué)習(xí)領(lǐng)域（multi-task reinforcement learning），利用 large-scale 的離線多任務(wù)數(shù)據(jù)集訓(xùn)練得到通用智能體。目前解決多任務(wù)強(qiáng)化學(xué)習(xí)的工作大多基于 Transformer 架構(gòu)，它們通常對(duì)模型的規(guī)模，數(shù)據(jù)集的質(zhì)量都有很高的要求，這對(duì)于實(shí)際訓(xùn)練來(lái)說(shuō)是代價(jià)高昂的?；?TD-learning 的強(qiáng)化學(xué)習(xí)方法則常常面臨 distribution-shift 的挑戰(zhàn)，在多任務(wù)數(shù)據(jù)集下這個(gè)問(wèn)題尤甚，而我們將序列決策過(guò)程建模成條件式生成問(wèn)題（conditional generative process），通過(guò)最大化 likelihood 來(lái)學(xué)習(xí)，有效避免了 distribution shift 的問(wèn)題。

方法

具體來(lái)說(shuō)，我們發(fā)現(xiàn) diffusion model 不僅能很好地輸出 action 進(jìn)行實(shí)時(shí)決策，同樣能夠建模完整的（s,a,r,s'）的 transition 來(lái)生成數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)提升強(qiáng)化學(xué)習(xí)策略的性能，具體框架如圖所示：

對(duì)于決策規(guī)劃任務(wù)，我們將模型稱為；對(duì)于數(shù)據(jù)生成（增強(qiáng)）任務(wù)，我們將模型稱為。我們的擴(kuò)散模型基于 DDPM 的訓(xùn)練方式，利用損失訓(xùn)練，它能夠預(yù)測(cè)逆向過(guò)程每一步的噪聲。對(duì)于，它的損失函數(shù)可以表示為：

其中

是軌跡的標(biāo)準(zhǔn)化累積回報(bào)，是 Demonstration Prompt，可以表示為：

*表示專家軌跡，即是從每個(gè)任務(wù)下的一條或幾條專家軌跡采樣得到的時(shí)間步長(zhǎng)的一段包含狀態(tài)和動(dòng)作的軌跡。對(duì) 做 classifi-free guidance，并在測(cè)試推理過(guò)程中生成未來(lái) 步長(zhǎng)的動(dòng)作序列，在實(shí)驗(yàn)中我們選取第一個(gè)動(dòng)作與環(huán)境交互。對(duì)于，它的損失函數(shù)可以表示為：

其中

值得注意的是這里我們需要擴(kuò)散模型建模整個(gè)（s,a,r）的完整軌跡，并且由于目標(biāo)是完成數(shù)據(jù)生成任務(wù)，需要盡可能多樣化的數(shù)據(jù)，不需要模型 condition 在上，自然也不需要 classifier-free guidance。

模型結(jié)構(gòu)

為了更好地建模多任務(wù)數(shù)據(jù)，并且統(tǒng)一多樣化的輸入數(shù)據(jù)，我們用 transformer 架構(gòu)替換了傳統(tǒng)的 U-Net 網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)圖如下：

▲ 關(guān)于模型結(jié)構(gòu)和更多細(xì)節(jié)，還請(qǐng)參考我們的論文

實(shí)驗(yàn)

我們首先在 Meta-World MT50 上開展實(shí)驗(yàn)并與 baselines 進(jìn)行比較，我們?cè)趦煞N數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分別是包含大量專家數(shù)據(jù)，從 SAC-single-agent 中的 replay buffer 中收集到的 Near-optimal data（100M）；以及從 Near-optimal data 中降采樣得到基本不包含專家數(shù)據(jù)的 Sub-optimal data（50M）。實(shí)驗(yàn)結(jié)果如下：

可以看到我們的方法在同樣大小的數(shù)據(jù)上不僅超越了大多數(shù)離線強(qiáng)化學(xué)習(xí)方法，并且也超過(guò)了兩種多任務(wù)在線強(qiáng)化學(xué)習(xí)方法，其中 PaCo 是目前的 SOTA 方法。我們的方法通過(guò) classifier-free guidance 得到最優(yōu)行為，對(duì)數(shù)據(jù)集質(zhì)量的依賴性不強(qiáng)，在 Sub-optimal data 上的表現(xiàn)相比其他 sequence modeling 的方法有很大提升。在我們的實(shí)驗(yàn)中也觀察到 Behavior Cloning（BC）在 Near-optimal data 上和我們的方法相比具有 competitive performance，但 BC 嚴(yán)重依賴數(shù)據(jù)集質(zhì)量，在 Sub-optimal data 上性能急劇下降。在數(shù)據(jù)增強(qiáng)方面，我們的方法也同樣有效，明顯提升了數(shù)據(jù)集的質(zhì)量以增強(qiáng)策略性能，實(shí)驗(yàn)結(jié)果如下：

我們選取 45 個(gè)任務(wù)的 Near-optimal data 訓(xùn)練，從表中我們可以觀察到在見(jiàn)過(guò)的任務(wù)上，我們的方法均取得了最好的性能。甚至給定一段 demonstration prompt，能泛化到?jīng)]見(jiàn)過(guò)的任務(wù)上并取得較好的表現(xiàn)。我們選取四個(gè)任務(wù)對(duì)原數(shù)據(jù)和生成的數(shù)據(jù)做 T-SNE 可視化分析，發(fā)現(xiàn)我們生成的數(shù)據(jù)的分布基本匹配原數(shù)據(jù)分布，并且在不偏離的基礎(chǔ)上擴(kuò)展了分布，使數(shù)據(jù)覆蓋更加全面。

同樣也具有泛化性，更多實(shí)驗(yàn)分析可以參見(jiàn)論文。

總結(jié)

我們提出了一種基于擴(kuò)散模型（diffusion model）的一種新的、通用性強(qiáng)的多任務(wù)強(qiáng)化學(xué)習(xí)解決方案，它不僅可以通過(guò)單個(gè)模型高效完成多任務(wù)決策，而且可以對(duì)原數(shù)據(jù)集進(jìn)行增強(qiáng)，從而提升各種離線算法的性能。我們未來(lái)將把遷移到更加多樣、更加通用的場(chǎng)景，旨在深入挖掘其出色的生成能力和數(shù)據(jù)建模能力，解決更加困難的任務(wù)。同時(shí)，我們會(huì)將遷移到真實(shí)控制場(chǎng)景，并嘗試優(yōu)化其推理速度以適應(yīng)某些需要高頻控制的任務(wù)。

原文標(biāo)題：NeurIPS 2023 | 擴(kuò)散模型解決多任務(wù)強(qiáng)化學(xué)習(xí)問(wèn)題

文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴