此文是根據(jù)北京大學工學院謝廣明教授于2019年5月在浙江寧波余姚舉行的第六屆中國機器人峰會上的《一種基于強化學習與計算流體力學結合的機器魚運動控制方法》報告錄音整理摘編部分而成，

以賽促研，挖掘有特點并結合實際的項目

海洋夢是中國夢的重要組成部分，而建設海洋強國越來越受到重視。謝廣明指出了水下機器人的研究方向，他認為，要對單體上的水下智能仿生機器人進行研究，研發(fā)各種各樣的魚、海豚等兩棲的仿生機器人，通過控制其它方面來提升性能；另一方面，要通過感知通信、關鍵技術編隊協(xié)作運輸?shù)燃夹g，使一群機器人共同完成任務，變成產業(yè)化提供服務。

此外，謝廣明還表示要以水中機器人為主體展開各項競賽活動，通過比賽吸引更多的國內外高校一起促進技術的進步，不光是被動地參與比賽，而是真的主動提出一些有特點、又跟實際發(fā)展相結合的項目。據(jù)謝廣明介紹，他們最初設計比賽項目都偏科研類，逐漸由純學術的比賽走向跟實際應用結合。并希望通過各種比賽聯(lián)盟，成為一個競賽、教學、科研、產業(yè)化的平臺，將來也會吸引一些企業(yè)進入，形成紐帶作用，提升水平發(fā)展，形成共贏的局面。

仿真訓練困難重重

水下機器人發(fā)展很難，看上去空間好像很遠，但實際上難度很大，它的通信和能源不好定位。謝廣明指出，有些項目用大型機器人不好操作，需要開發(fā)小型仿生機器人，但這種機器魚以及控制等方面仍存在很多問題，比如模型難建立、難以做得精巧。因此，用深度強化學習來提高機器人的自主性、智能性或許成為解題思路。但深度強化學習同樣存在問題，它的迭代周期非常長，需要長期訓練。

仿真訓練也得到了大家的關注，但是仿真和實際的距離還是很大，仿真中訓練的效果直接用到機器人上，會不會產生成像效果？謝廣明認為這之間還是有一定距離。機器魚有柔性，如何仿真才能夠跟實際更接近呢？這也不好弄。如果用流體仿真，比陸地仿真更復雜，代價更大，就面臨更多的困難。

強化學習與計算流體力學結合攻破難關

面對這么多難題，應該如何運用呢？謝廣明表示，經過一段時間的初步嘗試后，他們形成了基于深度強化學習的代理模型，確定程度后，再置于CFD的精細仿真環(huán)境中，調整參數(shù)，最終取得實際效果。然后將代理模型和精確仿真之間進行切換，形成訓練系統(tǒng)。在這個過程中，謝廣明及其團隊發(fā)現(xiàn)用傳統(tǒng)控制實現(xiàn)不了讓機器魚走期望的軌道。

于是，他們開始使用預先設定的直線進行模擬訓練，再用曲線進行CFD測試，最后再真實環(huán)境中進行測試。目前已實現(xiàn)用DRL方法來控制仿生機器人魚的運動，并結合實際實驗數(shù)據(jù)和計算流體力學（CFD），提出了自切換模擬系統(tǒng)，實現(xiàn)了從模擬到現(xiàn)實的策略遷移，只有在直線上訓練，機器人才能在現(xiàn)實世界中追蹤任何不超過其運動能力的曲線。謝廣明表示，未來將設計更復雜的任務來形成連續(xù)化，進行抗干擾研究、節(jié)能研究、多機器人協(xié)作研究等多方面的研究，使機器人能完成更復雜的任務。