作者：文永明，李博研，張寧寧，李小建，熊楚依，劉潔璽

采用深度強(qiáng)化學(xué)習(xí)算法解決了多智能體編隊(duì)協(xié)同控制問(wèn)題?；诙嘀悄荏w深度確定性策略梯度算法（MADDPG）構(gòu)建分布式編隊(duì)控制架構(gòu)，并結(jié)合集中式訓(xùn)練-分布式執(zhí)行框架進(jìn)行求解。針對(duì)多智能體環(huán)境不穩(wěn)定問(wèn)題，依據(jù)單個(gè)智能體的局部信息構(gòu)建對(duì)應(yīng)獎(jiǎng)勵(lì)函數(shù)。針對(duì)大規(guī)模編隊(duì)協(xié)同控制，實(shí)現(xiàn)了多個(gè)多智能體環(huán)境下的算法訓(xùn)練與評(píng)估。試驗(yàn)結(jié)果表明，應(yīng)用該算法的多智能體能夠完成協(xié)同任務(wù)，且所有智能體都可得到合理的協(xié)同控制策略。

0引言

多智能體系統(tǒng)（MAS）由若干單獨(dú)控制的、通過(guò)無(wú)線網(wǎng)絡(luò)連接的智能體構(gòu)成，在諸如控制、編隊(duì)、分配、博弈和分布式估計(jì)等問(wèn)題中廣泛研究并取得了一定進(jìn)展。在已知系統(tǒng)動(dòng)力學(xué)模型基礎(chǔ)上，研究者們對(duì)多智能體系統(tǒng)基礎(chǔ)理論開(kāi)展了大量研究。傳統(tǒng)的系統(tǒng)識(shí)別試驗(yàn)依據(jù)輸入-輸出數(shù)據(jù)確定分析模型，但在實(shí)際應(yīng)用中，復(fù)雜過(guò)程建模困難且昂貴。此外，傳統(tǒng)的控制方法在與復(fù)雜環(huán)境交互時(shí)存在局限性，固定策略不能應(yīng)用于不同環(huán)境或任務(wù)場(chǎng)景中。深度強(qiáng)化學(xué)習(xí)關(guān)注一個(gè)智能體的策略模型，借鑒了不完全可知馬爾可夫決策中的最優(yōu)控制思想，智能體通過(guò)與環(huán)境交互來(lái)最大化長(zhǎng)期累積獎(jiǎng)勵(lì)，控制優(yōu)化與策略學(xué)習(xí)之間存在著緊密聯(lián)系。因此，深度強(qiáng)化學(xué)習(xí)技術(shù)在系統(tǒng)控制方面存在廣闊的應(yīng)用前景。 深度強(qiáng)化學(xué)習(xí)算法分為基于值的強(qiáng)化學(xué)習(xí)算法和基于策略的強(qiáng)化學(xué)習(xí)算法2類(lèi)。

1) Q學(xué)習(xí)及深度Q學(xué)習(xí)算法是最常用且直接的基于值的算法，它通過(guò)動(dòng)作值函數(shù)來(lái)獲得最優(yōu)策略。通過(guò)每個(gè)智能體學(xué)習(xí)一個(gè)獨(dú)立的最優(yōu)方程，將基于值的算法直接應(yīng)用于多智能體系統(tǒng)。然而，在學(xué)習(xí)過(guò)程中鄰居智能體更新時(shí)，當(dāng)前智能體的獎(jiǎng)勵(lì)和狀態(tài)轉(zhuǎn)移等信息也會(huì)發(fā)生改變。在這種情況下，環(huán)境就會(huì)出現(xiàn)不穩(wěn)定性問(wèn)題，并且也不再滿足馬爾可夫性，最終導(dǎo)致基于值的算法的收斂性得不到保證。

2) 基于策略的算法是另一類(lèi)深度強(qiáng)化學(xué)習(xí)算法，該類(lèi)算法通過(guò)獨(dú)立的神經(jīng)網(wǎng)絡(luò)來(lái)近似隨機(jī)策略。執(zhí)行者-評(píng)估者 (Actor-Critic, AC) 算法結(jié)合了基于值和基于策略的算法，其中執(zhí)行者代表生成動(dòng)作的策略函數(shù)，評(píng)估者代表評(píng)價(jià)動(dòng)作獎(jiǎng)勵(lì)的值逼近器。深度確定性策略梯度算法（DDPG）是一種無(wú)模型的AC算法，它結(jié)合了確定性策略梯度和深度Q學(xué)習(xí)算法，其中執(zhí)行者和評(píng)估者均用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行逼近。多智能體深度確定性策略梯度方法（MADDPG）將DDPG擴(kuò)展到一個(gè)多智能體協(xié)同完成的任務(wù)環(huán)境，在這個(gè)環(huán)境中智能體智能獲得局部信息。MADDPG是一個(gè)針對(duì)多智能體場(chǎng)景重新設(shè)計(jì)的AC模型，旨在解決不斷變化的環(huán)境和多智能體間的復(fù)雜問(wèn)題。

1理論基礎(chǔ)

1.1 代數(shù)圖論

1.2 問(wèn)題描述

2基于MADDPG迭代的編隊(duì)協(xié)同控制框架

2.1 傳統(tǒng)控制設(shè)計(jì)

2.2 編隊(duì)協(xié)同控制算法框架設(shè)計(jì)

圖1 編隊(duì)控制算法框架

2.3 學(xué)習(xí)目標(biāo)設(shè)計(jì)

2.4 編隊(duì)協(xié)同控制算法流程

3試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)設(shè)置

圖2 試驗(yàn)交互拓?fù)鋱D

3.2 結(jié)果與分析

本文在3.1節(jié)展示的環(huán)境中運(yùn)行并評(píng)估本文算法，仿真結(jié)果如圖3所示，圖4給出了智能體訓(xùn)練前后運(yùn)動(dòng)軌跡對(duì)比。 4個(gè)智能體的長(zhǎng)期累計(jì)獎(jiǎng)勵(lì)得分如圖3(a)所示。在學(xué)習(xí)過(guò)程中得分是逐漸增加的，并且在50?000次迭代后收斂到6以?xún)?nèi)，這意味著MAS在50?000次迭代后可以有效消除初始誤差；同時(shí)，這個(gè)得分也意味著MAS實(shí)現(xiàn)理想編隊(duì)和到達(dá)目標(biāo)位置所需的代價(jià)。圖3(b)是智能體最后50次訓(xùn)練收斂時(shí)的穩(wěn)定獎(jiǎng)勵(lì)。由圖可見(jiàn)，4個(gè)智能體可以快速實(shí)現(xiàn)穩(wěn)定編隊(duì)，且跟蹤誤差同樣意味著獎(jiǎng)懲可以在1?s內(nèi)收斂至接近于0。 4個(gè)智能體在訓(xùn)練前后的初始、1?s、2?s、3?s和4?s編隊(duì)狀態(tài)如圖4所示。圖中藍(lán)色點(diǎn)為領(lǐng)航者，對(duì)應(yīng)圖2中0號(hào)藍(lán)色點(diǎn)，粉色、灰色和綠色點(diǎn)分別對(duì)應(yīng)圖2中1號(hào)粉色點(diǎn)、2號(hào)紫色點(diǎn)和3號(hào)橙色點(diǎn)。試驗(yàn)結(jié)果表明，由于缺乏環(huán)境的先驗(yàn)知識(shí)，MAS在首次嘗試時(shí)會(huì)偏離隊(duì)形。當(dāng)智能體通過(guò)在環(huán)境中反復(fù)試錯(cuò)積累經(jīng)驗(yàn)，MAS會(huì)收斂形成一個(gè)穩(wěn)定的編隊(duì)。最終，領(lǐng)航者可以到達(dá)目標(biāo)位置且追隨者可以與領(lǐng)航者保持編隊(duì)位置穩(wěn)定。

圖 3 試驗(yàn)環(huán)境下仿真結(jié)果

圖 4 智能體訓(xùn)練前后狀態(tài)對(duì)比

4結(jié)束語(yǔ)

本文采用多智能體策略梯度算法，結(jié)合集中訓(xùn)練和分布執(zhí)行的框架，研究并求解多智能體協(xié)同編隊(duì)控制問(wèn)題，設(shè)計(jì)構(gòu)建了一種基于多智能體深度確定性策略梯度算法的分布式編隊(duì)控制框架，并給出了算法的訓(xùn)練流程。通過(guò)對(duì)多智能體合作環(huán)境的仿真訓(xùn)練與評(píng)估，驗(yàn)證了本文算法的有效性。試驗(yàn)結(jié)果表明，本文算法能夠使智能體在動(dòng)力學(xué)模型先驗(yàn)知識(shí)未知的情況下協(xié)同完成任務(wù)，有助于解決數(shù)學(xué)模型過(guò)于復(fù)雜而難以識(shí)別的控制問(wèn)題。

審核編輯：黃飛