馬里蘭大學(xué)計算機科學(xué)家Dinesh Manocha與百度研究和香港大學(xué)的一組同事合作，開發(fā)了一種如照片般真實的仿真模型，用于培訓(xùn)和驗證自動駕駛車輛。與當(dāng)前的游戲引擎或高保真計算機圖形和數(shù)學(xué)渲染流量模式系統(tǒng)相比，新系統(tǒng)提供了更豐富，更真實的模擬。

Fig. View synthesis results and effectiveness of depth refinement

他們的系統(tǒng)被稱為增強自動駕駛仿真(AADS，Augmented Autonomous Driving Simulation)，可以使自動駕駛技術(shù)在實驗室更容易評估，也可以提高路測的安全性。

科學(xué)家們在2019年3月27日發(fā)表在《科學(xué)機器人》(Science Robotics)雜志上的一篇研究論文中描述了他們的研究方法。

“這項工作代表了一種新的仿真范例，我們可以在將它部署到真實汽車上并在高速公路或城市道路上進(jìn)行測試之前測試自動駕駛技術(shù)的可靠性和安全性，”該論文的相應(yīng)作者之一Manocha表示（Manocha同時任職于計算機科學(xué)，電氣和計算機工程以及馬里蘭大學(xué)高級計算機研究所）。

自動駕駛汽車的一個潛在好處是，它可能比人類駕駛員更安全，因為人類駕駛員容易分心、疲勞和情緒化，做出會導(dǎo)致錯誤的決定。但是為了確保安全，自動駕駛汽車必須對駕駛環(huán)境進(jìn)行評估和反應(yīng)?？紤]到汽車在道路上可能遇到各種各樣的情況，自動駕駛系統(tǒng)需要在極具挑戰(zhàn)的條件下進(jìn)行數(shù)億英里的試駕，以證明其可靠性。

雖然這可能需要幾十年的時間才能在道路上完成，但通過計算機仿真可以快速、高效、更安全地進(jìn)行初步評估。計算機仿真可以準(zhǔn)確地表示真實世界，并對周圍物體的行為進(jìn)行建模。目前的仿真系統(tǒng)在還原真實的光環(huán)境和呈現(xiàn)真實的交通流模式或駕駛員行為這三方面仍存在不足。

AADS是一個數(shù)據(jù)驅(qū)動系統(tǒng)，它能更準(zhǔn)確地表示自動駕駛汽車在路上接收到的信號。自動駕駛汽車依賴于感知模塊和導(dǎo)航模塊，感知模塊接收和解釋現(xiàn)實世界的信息，導(dǎo)航模塊根據(jù)感知模塊做出決定，比如轉(zhuǎn)向哪里、是否剎車或加速。

Fig. The inputs, processing pipeline, and outputs of our AADS system.

在現(xiàn)實世界中，自動駕駛汽車的感知模塊通常接收來自攝像頭和激光雷達(dá)傳感器的信號，這些傳感器使用光脈沖來測量周圍的距離。在目前的模擬器技術(shù)中，感知模塊接收來自計算機生成的圖像和行人、自行車和其他汽車的數(shù)學(xué)建模的運動模式的借號，只是對現(xiàn)實世界的一種相對粗糙的表達(dá)。因為計算機生成的圖像模型必須是手工生成的，所以創(chuàng)建圖像模型也是一個耗時耗財?shù)氖虑椤?/p>

AADS系統(tǒng)結(jié)合了照片、視頻和激光雷達(dá)點云(類似于3D形狀渲染)與行人、自行車和其他汽車的真實軌跡數(shù)據(jù)。這些數(shù)據(jù)可以用來預(yù)測其他車輛或行人在路上的駕駛行為和未來的位置，以計算出更安全的導(dǎo)航路徑。

Fig. TrafficPredict evaluations

“我們用視頻和照片來模擬真實世界，”Manocha說，“但我們也在捕捉真實的行為和運動模式。人類開車的方式不容易被數(shù)學(xué)模型和物理定律捕捉到。所以，我們從所有可用的視頻中提取了真實軌跡的數(shù)據(jù)，并使用社會科學(xué)方法對駕駛行為建模。這種數(shù)據(jù)驅(qū)動的方法為我們提供了一個更加現(xiàn)實和有益的交通仿真模型”。

在使用真實的視頻圖像和激光雷達(dá)數(shù)據(jù)進(jìn)行建模時，科學(xué)家們面臨著一個長期的挑戰(zhàn):每一個場景都必須對自動駕駛汽車的運動做出反應(yīng)，即使這些運動可能沒有被最初的攝像頭或激光雷達(dá)傳感器捕捉到。無論照片或視頻以什么樣的角度或視角被捕捉到，都必須使用預(yù)測方法進(jìn)行渲染或模擬。這就是為什么仿真技術(shù)總是如此嚴(yán)重地依賴于計算機生成的圖形，也嚴(yán)重依賴于基于物理的預(yù)測技術(shù)。

為了克服這一挑戰(zhàn)，研究人員開發(fā)了一種技術(shù)，可以將真實街道場景的各個部分分離出來，并將它們呈現(xiàn)為單獨的元素，這些元素可以被重新合成，以創(chuàng)建大量真實的照片駕駛場景。

Fig. Novel view synthesis pipeline

通過AADS，車輛和行人可以從一個環(huán)境中平移到另一個環(huán)境中。可以根據(jù)不同的交通等級重建道路。每個場景的多個視角在車道變換和轉(zhuǎn)彎期間提供更真實的圖像。此外，與其他視頻模擬技術(shù)相比，先進(jìn)的圖像處理技術(shù)可實現(xiàn)平滑過渡并減少失真。圖像處理技術(shù)還用于提取軌跡，從而模擬駕駛員行為。

“因為我們使用的是真實世界的視頻和真實世界的動作，我們的感知模塊比以往的方法擁有更準(zhǔn)確的信息，”Manocha說。“然后，由于仿真模型的真實感，我們可以更好地評估自主駕駛系統(tǒng)的導(dǎo)航策略”。

Fig. Comparison of traffic synthesis

Manocha說，通過發(fā)表這項工作，科學(xué)家們希望一些開發(fā)自動駕駛汽車的公司可以采用同樣的數(shù)據(jù)驅(qū)動方法來改進(jìn)他們自己的仿真模型，用于測試和評估自動駕駛系統(tǒng)。

參考文獻(xiàn)：

[1]W. Li, C. W. Pan, R. Zhang, J. P. Ren, Y. X. Ma, J. Fang, F. L. Yan, Q. C. Geng, X. Y. Huang, H. J. Gong, W. W. Xu, G. P. Wang, D. Manocha, R. G. Yang. AADS: Augmented autonomous driving simulation using data-driven algorithms. Science Robotics, 2019.