可通行區(qū)域檢測(cè)對(duì)于自動(dòng)駕駛車輛的環(huán)境感知和路徑規(guī)劃至關(guān)重要。過(guò)去十年基于學(xué)習(xí)的可通行區(qū)域檢測(cè)算法取得了很大的成功，但是基本上都是關(guān)注城市場(chǎng)景的可通行區(qū)域檢測(cè)。相比于規(guī)則的城市場(chǎng)景道路，越野場(chǎng)景道路復(fù)雜多變，可通行區(qū)域檢測(cè)更加困難，另外目前缺少開(kāi)源的越野場(chǎng)景可通行檢測(cè)數(shù)據(jù)集和算法基準(zhǔn)。因此，本文開(kāi)源第一個(gè)覆蓋多種越野場(chǎng)景的可通行區(qū)域檢測(cè)數(shù)據(jù)集，ORFD。ORFD采集了包括草原、林地、農(nóng)田和鄉(xiāng)村道路等不同場(chǎng)景道路，覆蓋晴天、雨天、霧天和雪天等不同無(wú)人車行駛天氣狀況，包含強(qiáng)光、日光、微光和黑暗等光照條件。ORFD一共有12198幀激光雷達(dá)點(diǎn)云和圖像對(duì)數(shù)據(jù)，在圖像視角進(jìn)行了標(biāo)注，包含三種類別：可通行區(qū)域、不可通行區(qū)域和不可到達(dá)區(qū)域（如天空）。我們同時(shí)還提出了一個(gè)基于Transformer的越野場(chǎng)景可通行區(qū)域檢測(cè)模型OFF-Net，利用交叉注意力機(jī)制自適應(yīng)融合點(diǎn)云和圖像的多模態(tài)信息。數(shù)據(jù)集和基準(zhǔn)代碼下載鏈接：https://github.com/chaytonmin/Off-Road-Freespace-Detection。

主要工作與貢獻(xiàn)

我們開(kāi)源了第一個(gè)越野場(chǎng)景可通行區(qū)域檢測(cè)數(shù)據(jù)集ORFD，包括草原、林地、農(nóng)田和鄉(xiāng)村道路等不同場(chǎng)景道路，覆蓋晴天、雨天、霧天和雪天等不同無(wú)人車行駛天氣狀況，包含強(qiáng)光、日光、微光和黑暗等光照條件。

我們提出了一個(gè)越野場(chǎng)景可通行區(qū)域檢測(cè)基準(zhǔn)算法OFF-Net，采用Transformer結(jié)構(gòu)聚合全局信息，設(shè)計(jì)cross-attention自適應(yīng)挖掘點(diǎn)云和圖像的多模態(tài)信息。

我們的越野場(chǎng)景可通行區(qū)域檢測(cè)數(shù)據(jù)集ORFD和算法基準(zhǔn)OFF-Net，有助于提高無(wú)人車在越野場(chǎng)景的自主行使能力。

算法流程

城市場(chǎng)景道路和越野場(chǎng)景道路對(duì)比

圖1 （a） 城市場(chǎng)景道路有清晰的道路邊界 （b）越野場(chǎng)景可通行區(qū)域難以準(zhǔn)確定義。

數(shù)據(jù)采集裝置

圖2 越野場(chǎng)景可通行區(qū)域檢測(cè)數(shù)據(jù)集ORFD采集裝置：Pandora 40線的激光雷達(dá)，相機(jī)和激光雷達(dá)一體。聯(lián)合標(biāo)注激光雷達(dá)和相機(jī)。

越野場(chǎng)景可通行區(qū)域檢測(cè)數(shù)據(jù)集ORFD

圖3 越野場(chǎng)景可通行區(qū)域檢測(cè)數(shù)據(jù)集ORFD，包括草原、林地、農(nóng)田和鄉(xiāng)村道路等不同場(chǎng)景道路，覆蓋晴天、雨天、霧天和雪天等不同無(wú)人車行駛天氣狀況，包含強(qiáng)光、日光、微光和黑暗等光照條件。采集了30段道路數(shù)據(jù)，一共有12198幀激光雷達(dá)點(diǎn)云和圖像對(duì)數(shù)據(jù)。在圖像視角進(jìn)行了標(biāo)注，包含三種類別：可通行區(qū)域、不可通行區(qū)域和不可到達(dá)區(qū)域（如天空）。

數(shù)據(jù)集劃分

越野場(chǎng)景可通行區(qū)域檢測(cè)基準(zhǔn)算法OFF-Net

圖4 提出的越野場(chǎng)景可通行區(qū)域檢測(cè)基準(zhǔn)算法OFF-Net。首先將激光雷達(dá)點(diǎn)云投到相機(jī)視角得到深度圖，然后計(jì)算得到法向量圖，再利用Transformer網(wǎng)絡(luò)融合法向量圖和圖像，得到道路分割結(jié)果。

實(shí)驗(yàn)結(jié)果

審核編輯：郭婷