DRIVE Labs 系列文章

第五站：提高道路狀況的可見性

自然環(huán)境瞬息萬變，雷雨、大霧以及白天黑夜的光線不同等都會影響自動駕駛汽車的行駛。此外，道路上其他汽車的燈光狀態(tài)也會對自動駕駛汽車觀察道路情況產(chǎn)生影響。因而提升自動駕駛汽車在不同環(huán)境中的“可視”能力對于保證安全駕駛而言至關重要。DRIVE Labs“常學常新”系列是 NVIDIA DRIVE 團隊推出的、以一輛自動駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細解析自動駕駛汽車如何一路“過關斬將”，以及 NVIDIA 技術與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第五期“提高道路狀況的可見性”，將為大家介紹自動駕駛汽車如何利用 AI 和深度神經(jīng)網(wǎng)絡，“看清”不同光線及不同環(huán)境下的道路狀況，以保證行車安全。

上期文章主要介紹了用于車周環(huán)境監(jiān)測的 DNN 與 AI 技術，本期文章將緊接上期 DNN 的相關內(nèi)容，介紹用于評估汽車攝像頭可見度的 ClearSightNet DNN、用于汽車遠光燈控制的 AutoHighBeamNet DNN 以及 AI 賦能的汽車光源感知等內(nèi)容。話不多說，一起來看看吧！

真實的駕駛環(huán)境中的照明條件千變?nèi)f化，白天黑夜的照明來源各有不同，不同路段也會因城市建設或道路狀況有不同的照明條件，迎面而來或車前車后車輛的車燈也會對自動駕駛汽車的道路判斷產(chǎn)生影響，因而保持自動駕駛汽車“觀察”道路能力的穩(wěn)定性并優(yōu)化其根據(jù)實際情況進行燈光操作的能力，對于保持安全穩(wěn)定的自動駕駛而言至關重要。

ClearSightNet 助力評估攝像頭的可視性

ClearSightNet 深度神經(jīng)網(wǎng)絡

自動駕駛汽車依靠攝像頭來實現(xiàn)對周圍環(huán)境的觀察。然而，一些環(huán)境因素，比如雨、雪和其他障礙，會影響攝像頭的可見度。除了能夠感知周邊環(huán)境，任何一個可靠的感知系統(tǒng)都應當有推斷出傳感器所傳輸數(shù)據(jù)有效性的能力。

如以上視頻所示，NVIDIA 基于三項必要需求，開發(fā)出了一種 ClearSightNet DNN，用以評估攝像頭的可見度并幫助確定遮擋、障礙以及可見度降低的根本原因，旨在打造擁有可推理出攝像頭失明的根本原因的能力、能夠輸出可操作的有意義的信息且能以最小計算消耗在多個攝像頭上運行的深度神經(jīng)網(wǎng)絡。

ClearSightNet 根據(jù)攝像頭失明的兩種情況將攝像頭圖像分成不同的對應區(qū)域，這兩種情況分別是遮擋和可見度降低：

• 遮擋部分是指攝像頭被不透明遮擋物（如灰塵、泥土或雪等）遮擋或攝像頭不包含任何信息（如因太陽照射而造成像素飽和）兩種情況。在該情況下，感知通常會完全受損。

• 可見度降低則是指攝像頭并未被完全阻礙，只是因為大雨、水滴、炫光和霧等因素導致可見度受損的情況。在該情況下，感知往往是部分受損，但依然被看作擁有較低的置信度。

ClearSightNet 輸出示例。輸入圖像（左）和經(jīng) ClearSightNet 輸出圖層覆蓋的輸入圖像（右）。在圖中所示的情況下，84％ 的圖像像素受到遮擋的影響，其中部分遮擋顯示為綠色，完全遮擋顯示為紅色

ClearSightNet DNN 會在輸入圖像上覆蓋一層圖層從而實現(xiàn)可視化，通過分類顯示可見度信息，持續(xù)輸出端到端的分析以及關于攝像頭失明的詳細信息，例如，當可見度低時，車輛可以選擇不開啟自動駕駛功能，并提醒用戶清潔攝像頭鏡頭或擋風玻璃，或者使用 ClearSightNet 輸出以通知用戶攝像頭感知可信度計算結果，由此對汽車實現(xiàn)最大程度的控制。

AutoHighBeamNet DNN

助力實現(xiàn)自動可靠的遠光燈控制

光線太刺眼？AI 如何避免其他車輛的遠光眩光

車輛行駛過程中，人類駕駛員或自動駕駛系統(tǒng)會根據(jù)道路照明情況調(diào)整汽車燈光，以“看清”道路具體情況。在夜晚，汽車一般會使用遠光燈來增加車輛的夜間可視范圍，但同時，遠光燈也會產(chǎn)生眩光從而給其他駕駛員造成危險。為克服該問題，NVIDIA 利用攝像頭圖像訓練了基于攝像頭的 AutoHighBeamNet DNN（如以上視頻所示），該 DNN 可自動生成輸出以控制車輛的遠光燈系統(tǒng)，從而提高夜間行駛的視野范圍和安全性。

AutoHighBeamNet 從廣泛的駕駛場景中進行學習，以期實現(xiàn)真正自主可靠的遠光燈控制。根據(jù)攝像頭圖像中的情況，該 DNN 將車輛分為兩類：任何一輛行駛中的汽車都會被定義為打開前大燈或尾燈的汽車；路邊停放的所有燈都熄滅的汽車則被定義為非活動車輛。該 DNN 僅對根據(jù)攝像頭圖像中感知到正在行駛的車輛做出反應。

AutoHighBeamNet 是 AutoDrivingBeam 視覺感知模塊的一部分，該模塊的輸出可基于汽車制造商的需求進行定制，以根據(jù)車輛模塊具體輸入信號產(chǎn)生相應的遠光燈控制信號。遠光燈控制信號可以采用兩種不同的模式：

• 自動遠光燈（AHB）模式，它提供二進制開/關控制。在 AHB 模式下（如下圖所示），車輛的遠光燈將在夜間照明不佳的情況下自動打開。但是當檢測到行駛中的車輛進入視野范圍時，遠光燈會自動關閉并切換為近光燈。車輛遠離后，遠光燈將自動重新打開。

自動開/關遠光燈控制示例

• 自適應驅動光束（ADB）模式，可精確控制各個遠光 LED 陣列以創(chuàng)建無眩光區(qū)域（GFZ）。在 ADB 模式下（如下圖所示），車輛通過使遠光燈 LED 陣列前照燈中的各個 LED 變暗來防止給遠處行駛車輛中的駕駛員造成眩光。與 AHB 模式相似，在車輛離開檢測范圍后，變暗的區(qū)域將自動變回全亮度狀態(tài)。因此，在 ADB 模式下始終可以保持遠光燈開啟，以提高夜間行駛的安全性，同時也不會引起其他道路使用者眩光。

自適應驅動光束控制示例

NVIDIA 推出的 AutoHighBeamNet，利用 AI 克服了原有局限性，基于感知減少了迎面駛來的車輛大燈所帶來的眩光影響，助力提升了自動駕駛汽車夜間行駛的安全性。

使用軟件定義的 AI 優(yōu)化光源感知

隨著自動駕駛技術的不斷發(fā)展，利用軟件定義的 AI 來增強自動駕駛汽車的性能和功能，逐漸成為實現(xiàn)更安全、更高效運營的最新功能的關鍵方式。NVIDIA 使用軟件定義的 AI 技術，在幾周內(nèi)顯著提高了光源感知 DNN 的性能和功能，例如：增加范圍、添加分類功能等。

NVIDIA 的光源感知 DNN 最初的版本采用固定功能設計方法，為自動駕駛汽車配備了自動遠光燈控制模塊，旨在區(qū)分有主動照明的車輛（與無主動照明的車輛，并使用這些結果提供輸入信號來自動控制低/高光束切換。在光源感知 DNN 的最新版本中，NVIDIA 使用了軟件定義的 AI 技術，可在不需要改變底層硬件和平臺的前提下，通過軟件更新快速增加和改善 DNN 功能。其中的最新功能包括：

• 擴大汽車前車燈和尾燈的檢測范圍：可檢測迎面而來的車輛前燈與前方車輛的尾燈，同時，對于車輛前燈的最遠檢測范圍超過 800 米；

• 路燈：將路燈作為一個單獨的光源類來進行檢測；

• 其他照明：檢測交通信號燈或者甚至于摩天大樓的燈光等照明；

基于快速軟件定義 AI，可創(chuàng)建一個全面的經(jīng)過標記的訓練數(shù)據(jù)集，并且能將其擴展到未來的用例。該數(shù)據(jù)集面向未來，捕獲比單一固定功能特征所需的更多信息，并通過重新排列和重新處理數(shù)據(jù)標簽，產(chǎn)生經(jīng)過改進的訓練數(shù)據(jù)集，以擴展和改進 DNN 的能力，且后續(xù)在功能更新過程中也無需進行成本高昂的重新標記工作。

NVIDIA 利用軟件定義 AI，在短短幾周內(nèi)就于光源感知 DNN 的功能和性能方面取得了顯著的進步，不僅增加了光源感知數(shù)量，還將檢測范圍提高了 4 倍。NVIDIA 基于 AI 實現(xiàn)的光源感知功能快速開發(fā)和迭代，證明了軟件定義的開發(fā)方式存在的顯著優(yōu)勢。在生產(chǎn)系統(tǒng)中，利用軟件定義的方法可助力廠商通過 OTA 方式快速部署更新功能至消費者車輛之上。

未來，NVIDIA 的光源感知工作還將包括檢測應急和服務車輛的應急閃爍燈，以及檢測專用照明（如建筑區(qū)域使用的照明）等，不斷拓寬自動駕駛車輛的光源檢測范圍，以實現(xiàn)更安全、全面的光源檢測來支持自動駕駛汽車有關的燈光決策。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動駕駛之旅，下期我們將在此基礎上為大家介紹 NVIDIA 如何利用 AI 和 RNN 提高自動駕駛汽車的路況預測和規(guī)劃能力，敬請期待！點擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs& Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

往期精彩回看

「入門篇」：自動駕駛基礎功能

「第二站」：基本路況感知

「第三站」：讀懂交通標志與信號燈

「第四站」：監(jiān)控車外的風吹草動

掃描下方海報二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計算平臺如何推動人工智能、元宇宙、云技術和可持續(xù)計算的下一波浪潮。加入 GTC23，切勿錯過 AI 的決定性時刻！