此文是根據(jù)北京大學(xué)工學(xué)院謝廣明教授于2019年5月在浙江寧波余姚舉行的第六屆中國機(jī)器人峰會上的《一種基于強(qiáng)化學(xué)習(xí)與計(jì)算流體力學(xué)結(jié)合的機(jī)器魚運(yùn)動控制方法》報告錄音整理摘編部分而成，

以賽促研，挖掘有特點(diǎn)并結(jié)合實(shí)際的項(xiàng)目

海洋夢是中國夢的重要組成部分，而建設(shè)海洋強(qiáng)國越來越受到重視。謝廣明指出了水下機(jī)器人的研究方向，他認(rèn)為，要對單體上的水下智能仿生機(jī)器人進(jìn)行研究，研發(fā)各種各樣的魚、海豚等兩棲的仿生機(jī)器人，通過控制其它方面來提升性能；另一方面，要通過感知通信、關(guān)鍵技術(shù)編隊(duì)協(xié)作運(yùn)輸?shù)燃夹g(shù)，使一群機(jī)器人共同完成任務(wù)，變成產(chǎn)業(yè)化提供服務(wù)。

此外，謝廣明還表示要以水中機(jī)器人為主體展開各項(xiàng)競賽活動，通過比賽吸引更多的國內(nèi)外高校一起促進(jìn)技術(shù)的進(jìn)步，不光是被動地參與比賽，而是真的主動提出一些有特點(diǎn)、又跟實(shí)際發(fā)展相結(jié)合的項(xiàng)目。據(jù)謝廣明介紹，他們最初設(shè)計(jì)比賽項(xiàng)目都偏科研類，逐漸由純學(xué)術(shù)的比賽走向跟實(shí)際應(yīng)用結(jié)合。并希望通過各種比賽聯(lián)盟，成為一個競賽、教學(xué)、科研、產(chǎn)業(yè)化的平臺，將來也會吸引一些企業(yè)進(jìn)入，形成紐帶作用，提升水平發(fā)展，形成共贏的局面。

仿真訓(xùn)練困難重重

水下機(jī)器人發(fā)展很難，看上去空間好像很遠(yuǎn)，但實(shí)際上難度很大，它的通信和能源不好定位。謝廣明指出，有些項(xiàng)目用大型機(jī)器人不好操作，需要開發(fā)小型仿生機(jī)器人，但這種機(jī)器魚以及控制等方面仍存在很多問題，比如模型難建立、難以做得精巧。因此，用深度強(qiáng)化學(xué)習(xí)來提高機(jī)器人的自主性、智能性或許成為解題思路。但深度強(qiáng)化學(xué)習(xí)同樣存在問題，它的迭代周期非常長，需要長期訓(xùn)練。

仿真訓(xùn)練也得到了大家的關(guān)注，但是仿真和實(shí)際的距離還是很大，仿真中訓(xùn)練的效果直接用到機(jī)器人上，會不會產(chǎn)生成像效果？謝廣明認(rèn)為這之間還是有一定距離。機(jī)器魚有柔性，如何仿真才能夠跟實(shí)際更接近呢？這也不好弄。如果用流體仿真，比陸地仿真更復(fù)雜，代價更大，就面臨更多的困難。

強(qiáng)化學(xué)習(xí)與計(jì)算流體力學(xué)結(jié)合攻破難關(guān)

面對這么多難題，應(yīng)該如何運(yùn)用呢？謝廣明表示，經(jīng)過一段時間的初步嘗試后，他們形成了基于深度強(qiáng)化學(xué)習(xí)的代理模型，確定程度后，再置于CFD的精細(xì)仿真環(huán)境中，調(diào)整參數(shù)，最終取得實(shí)際效果。然后將代理模型和精確仿真之間進(jìn)行切換，形成訓(xùn)練系統(tǒng)。在這個過程中，謝廣明及其團(tuán)隊(duì)發(fā)現(xiàn)用傳統(tǒng)控制實(shí)現(xiàn)不了讓機(jī)器魚走期望的軌道。

于是，他們開始使用預(yù)先設(shè)定的直線進(jìn)行模擬訓(xùn)練，再用曲線進(jìn)行CFD測試，最后再真實(shí)環(huán)境中進(jìn)行測試。目前已實(shí)現(xiàn)用DRL方法來控制仿生機(jī)器人魚的運(yùn)動，并結(jié)合實(shí)際實(shí)驗(yàn)數(shù)據(jù)和計(jì)算流體力學(xué)（CFD），提出了自切換模擬系統(tǒng)，實(shí)現(xiàn)了從模擬到現(xiàn)實(shí)的策略遷移，只有在直線上訓(xùn)練，機(jī)器人才能在現(xiàn)實(shí)世界中追蹤任何不超過其運(yùn)動能力的曲線。謝廣明表示，未來將設(shè)計(jì)更復(fù)雜的任務(wù)來形成連續(xù)化，進(jìn)行抗干擾研究、節(jié)能研究、多機(jī)器人協(xié)作研究等多方面的研究，使機(jī)器人能完成更復(fù)雜的任務(wù)。