DRIVE Labs 系列文章

第二站：基本路況感知

實(shí)際路況中充滿著復(fù)雜多變的現(xiàn)實(shí)挑戰(zhàn)，自動駕駛汽車能夠借助深度神經(jīng)網(wǎng)絡(luò) “感知”實(shí)際路況、“預(yù)判”潛在風(fēng)險(xiǎn)并“做出”恰當(dāng)選擇，以增強(qiáng)自動駕駛汽車的安全性與可靠性。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動駕駛汽車如何一路“過關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第二期“基本路況感知”，將帶您了解自動駕駛汽車如何利用深度神經(jīng)網(wǎng)絡(luò)感知基本路況，實(shí)現(xiàn)安全駕駛！

上期文章為大家介紹了用于不同功能的深度神經(jīng)網(wǎng)絡(luò)（DNN），本期文章則將詳細(xì)介紹其中用于基本路況感知的 LaneNet DNN、WaitNet DNN 和路徑感知集成等具體的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用。和 NVIDIA 一起上路看看自動駕駛汽車道路實(shí)況測試吧！

城市道路的復(fù)雜性和實(shí)時(shí)性對自動駕駛汽車的“隨機(jī)應(yīng)變”能力提出了更高的要求。在行駛期間，自動駕駛汽車能夠利用數(shù)據(jù)感知實(shí)際路況、選擇正確的行駛路徑以及對現(xiàn)實(shí)情況做出即時(shí)反應(yīng)則至關(guān)重要。NVIDIA 構(gòu)建的感知軟件，憑借強(qiáng)大的計(jì)算性能，助力自動駕駛汽車安全平穩(wěn)行駛！

基于 LaneNet DNN 開展車道線檢測

高精度車道檢測

車道線標(biāo)記對于自動駕駛汽車來說是重要的行車指南，能為車輛提供關(guān)鍵的駕駛環(huán)境信息，即自動駕駛汽車所處位置以及目的地等。穩(wěn)健且高精的車道線監(jiān)測，對于自動駕駛汽車來說至關(guān)重要。以上視頻為大家介紹了 NVIDIA 如何訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)穩(wěn)健的車道線預(yù)測。

深度神經(jīng)網(wǎng)絡(luò)（DNN）處理現(xiàn)已成為一種重要的基于 AI 的車道檢測技術(shù)。NVIDIA 高精度 LaneNet 解決方案在卷積神經(jīng)網(wǎng)絡(luò)處理圖像時(shí)，能夠以保留高清信息的方式對實(shí)況道路圖像數(shù)據(jù)進(jìn)行編碼，為豐富的空間信息創(chuàng)建足夠的冗余，以便保證在卷積神經(jīng)網(wǎng)絡(luò)固有的降采樣過程中信息的完整性。此外，借助高精度的 LaneNet DNN，自動駕駛汽車還能在使用低清圖像處理方式的同時(shí)，保留高清圖像當(dāng)中豐富的可用信息，以便車內(nèi)推斷進(jìn)行更有效的計(jì)算。

左：來自高精度 LaneNet 的逐幀像素級車道線檢測。右：像素級檢測在經(jīng)過后期處理之后顯示為車道線。在圖像邊界附近進(jìn)行額外的像素級車道線檢測，就意味著在實(shí)際行車場景中，可以將車道線檢測范圍增加數(shù)十米。

高精度 LaneNet DNN的主要優(yōu)勢包括：

• 增加了車道線檢測的范圍

• 優(yōu)化了車道線邊緣檢測的準(zhǔn)確率/召回率

• 提升了車道線檢測的穩(wěn)健性

借助 LaneNet DNN 高精度車道線檢測，自動駕駛汽車能夠在道路上對車身進(jìn)行更好的定位，同時(shí)也能感知規(guī)劃出一條更安全的行駛路徑。

利用 WaitNet DNN 進(jìn)行交叉路口檢測

WaitNet 深度神經(jīng)網(wǎng)絡(luò)

自動駕駛汽車在保持預(yù)測車道和路線行駛的過程中，會經(jīng)過形態(tài)各異且實(shí)況萬變的交叉路口。觀看以上視頻，了解 NVIDIA 如何利用基于 AI 的實(shí)時(shí)感知深度神經(jīng)網(wǎng)絡(luò)—WaitNet 深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)自動駕駛汽車對交叉路口的實(shí)時(shí)感知和分類。

WaitNet 表示檢測自動駕駛汽車必須停車等待的情況，是一種卷積深度神經(jīng)網(wǎng)絡(luò)，通過攝像頭圖像數(shù)據(jù)進(jìn)行訓(xùn)練，并對如交叉路口、施工區(qū)域和收費(fèi)站等需要等待的情形進(jìn)行推理和分類。

借助 WaitNet DNN 實(shí)現(xiàn)基于場景的交叉路口檢測（以黃色顯示）。交通信號燈檢測以紫色顯示。

WaitNet DNN的交叉路口檢測及分類過程與人類駕駛員檢測交叉路口的方式十分相似。WaitNet DNN 能夠綜合分析道路的多項(xiàng)特征，如停車標(biāo)識，交通信號燈或者特殊地點(diǎn)或位置的車道線標(biāo)記等，進(jìn)行場景感知并檢測是否有交叉路口出現(xiàn)，并對其進(jìn)行分類，可減少特征級檢測錯(cuò)誤的發(fā)生機(jī)率，提高自動駕駛的安全性。此外，WaitNet DNN 還能夠進(jìn)行遠(yuǎn)距離檢測并對同一圖像幀中的多個(gè)交叉路口進(jìn)行分類。

利用深度神經(jīng)網(wǎng)絡(luò)感知交叉路口結(jié)構(gòu)

AI 如何幫助自動駕駛汽車感知交叉路口結(jié)構(gòu)

交叉口是常見的道路特征，無論是社區(qū)中的四向停車，還是在布滿交通信號指示的多車道交匯口。以上視頻展示了 NVIDIA 如何借助 AI 來感知自動駕駛汽車在日常駕駛中可能遇到的各種交叉口結(jié)構(gòu)。

事實(shí)上，NVIDIA 利用算法擴(kuò)展了 WaitNet DNN 預(yù)測交叉口結(jié)構(gòu)的能力，開發(fā)了基于 DNN 的交叉口結(jié)構(gòu)感知功能作為 WaitNet DNN 的添加。NVIDIA 將這些交叉口結(jié)構(gòu)視為所謂“關(guān)節(jié)”的點(diǎn)集合。正如人體通過關(guān)節(jié)的連接來做出動作一樣，NVIDIA 通過將交叉口結(jié)構(gòu)的關(guān)節(jié)連接到車輛需遵循的路徑中，來實(shí)現(xiàn)自動駕駛車輛的正確行駛。

上圖展示了基于 DNN 進(jìn)行的交叉口結(jié)構(gòu)預(yù)測。如圖所示，我們可以檢測交叉口結(jié)構(gòu)特征并將其分為不同類別。例如，測試車輛和現(xiàn)場其他車輛的交叉口的入口和出口點(diǎn)，以及人行橫道的入口和出口。

該 DNN 不會分割圖像輪廓，而是能夠區(qū)分不同車道的交叉口入口和出口點(diǎn)，并且其針對遮擋和部分遮擋的交叉口結(jié)構(gòu)預(yù)測更具可靠性，還能夠預(yù)測繪制的和推斷的交叉口結(jié)構(gòu)線。

此外，該實(shí)時(shí)感知功能具有可擴(kuò)展性，無需人工標(biāo)記便可處理各種類型的交叉口，還能夠與擁有高質(zhì)量數(shù)據(jù)的地圖信息相結(jié)合，創(chuàng)建用于處理復(fù)雜路口的多樣性和冗余，可助力自動駕駛汽車應(yīng)對復(fù)雜的交叉口結(jié)構(gòu)所帶來的挑戰(zhàn)。

路徑感知集成

路徑感知集成

自動駕駛汽車在實(shí)況中運(yùn)行會遇到多種多樣的情況，如若汽車僅在一種路徑感知信號下行駛，則無法保證置信度的實(shí)時(shí)正確性，且如果唯一的路徑感知輸入失敗，自動駕駛功能也許會失靈；就算功能不失靈，也可能導(dǎo)致操作的舒適度和平穩(wěn)度有所降低。

為建立實(shí)時(shí)的置信度，NVIDIA 在路徑感知軟件中引入了多樣性和冗余。但由于不同的 DNN 在訓(xùn)練數(shù)據(jù)、編碼、模型架構(gòu)和訓(xùn)練輸出方面完全不同，各種深度神經(jīng)網(wǎng)絡(luò)（DNN）產(chǎn)生的路徑感知信號在很大程度上是相互獨(dú)立的。為實(shí)現(xiàn)感知功能的“協(xié)同并進(jìn)與互相配合”，NVIDIA 利用集成技術(shù)，即機(jī)器學(xué)習(xí)的方式將基礎(chǔ)模型進(jìn)行組合以構(gòu)建最優(yōu)的預(yù)測模型（如以上視頻所示）。在 NVIDIA 路徑感知集成中，基礎(chǔ)模型包含三個(gè)不同的深度神經(jīng)網(wǎng)絡(luò)：

• LaneNet DNN可以預(yù)測車道線路

• PathNet DNN能在無論是否存在車道線路的情況下，都能夠預(yù)測和定義可行駛路徑的范圍

• PilotNet DNN能夠根據(jù)人類駕駛員的駕駛軌跡預(yù)測駕駛中心路徑

高置信度路徑感知集成示例（包括左車道，汽車所在車道以及右車道的中心路徑）。高置信度的結(jié)果在可視化中呈現(xiàn)出粗的綠色中心路徑線條。實(shí)心的白色線代表車道預(yù)測線，也是由集成計(jì)算得出。

以上深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)輸出結(jié)合高清地圖輸出，共同構(gòu)成了感知集成輸出。通過對不同的路徑感知信號的聯(lián)合分析，NVIDIA 建立并測量了汽車在實(shí)況駕駛中的路徑感知可靠性，為實(shí)現(xiàn)可靠駕駛提供了可視化參考和全面的分析結(jié)果。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動駕駛之旅。點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

DRIVE Labs“常學(xué)常新”系列

往期精彩回看

「入門篇」：自動駕駛基礎(chǔ)功能

掃描下方海報(bào)二維碼，即可免費(fèi)注冊 GTC 23，切莫錯(cuò)過這場 AI 和元宇宙時(shí)代的技術(shù)大會！