Ⅰ.介紹

交通場景分割是智能車輛在檢測障礙物、規(guī)劃路徑和自主導(dǎo)航中的基本任務(wù)。語義分割，也稱為圖像分析或圖像理解[1]，旨在將圖像劃分為預(yù)定義的非重疊區(qū)域并將其轉(zhuǎn)換為抽象語義信息。近年來，隨著計算機硬件特別是圖形處理單元（GPU）的快速發(fā)展，大規(guī)模標(biāo)記數(shù)據(jù)的出現(xiàn)，深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）在圖像分類和目標(biāo)檢測中的應(yīng)用迅速發(fā)展，并已成為當(dāng)前主流的圖像分割方法。最近，大多數(shù)研究都致力于通過使網(wǎng)絡(luò)更深更廣來提高語義分割的準(zhǔn)確性。然而，增加參數(shù)往往以犧牲計算機的內(nèi)存為代價，并導(dǎo)致網(wǎng)絡(luò)速度較慢。因此，如何在保證實時功能的前提下提高準(zhǔn)確性是深度學(xué)習(xí)中最重要的任務(wù)之一。

深度傳感器的出現(xiàn)使得可以獲得深度信息，其包含比RGB圖像更多的位置信息。將深度圖應(yīng)用于圖像語義分割有兩種方法：一種是將原始深度圖像和RGB圖像組合成四通道RGB-D圖像作為CNN輸入[2] - [4]；另一種是將包含更豐富深度信息和RGB圖像的圖像分別輸入到兩個CNN中[5] - [7]。具體地，借助于關(guān)于深度圖像中提供的對象關(guān)系的豐富信息，兩種方法都可以實現(xiàn)比僅使用RGB圖像更好的性能。但是，將數(shù)據(jù)輸入兩個CNN會增加導(dǎo)致網(wǎng)絡(luò)速度變慢的參數(shù)數(shù)量。因此，在本文中，為了提高精度，將視差、高度和角度圖（DHA）與RGB圖像融合成6通道RGB-DHA圖并直接用作輸入數(shù)據(jù)。

本文著重于構(gòu)建一個性能良好的快速功能語義分割網(wǎng)絡(luò)，特別是對于駕駛員更關(guān)心的道路目標(biāo)。因此，提出了一種新的網(wǎng)絡(luò)架構(gòu)，然后添加深度圖及其導(dǎo)出的高度和范數(shù)角度圖來訓(xùn)練網(wǎng)絡(luò)以獲得更高的精度。主要工作如下：

一個名為D-AlexNet網(wǎng)絡(luò)的完全卷積神經(jīng)網(wǎng)絡(luò)是基于AlexNet [8]開發(fā)的，它具有一個包含多個卷積層的簡單結(jié)構(gòu)，以提高網(wǎng)絡(luò)的前向速度。

D-AlexNet實現(xiàn)2.2x +參考加速，并將參數(shù)減少39倍以上。

6通道RGB-DHA地圖可以在語義分割中獲得比僅使用RGB圖像作為輸入更好的結(jié)果，尤其是用于識別交通場景中的道路目標(biāo)，例如行人和汽車。

Ⅱ. 相關(guān)工作

A.RGB語義分割

完全卷積網(wǎng)絡(luò)（FCN）[9]用卷積層替換傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的最后一個完全連接層，這為FCN應(yīng)用于語義分割奠定了基礎(chǔ)。由L.C.Chen等人提出的Deeplab [10]通過使用孔算法減小步幅和條件隨機場來微調(diào)網(wǎng)絡(luò)獲得了更好的結(jié)果。 SegNet [11]，[12]通過使用編碼器 - 解碼器結(jié)構(gòu)從較高層恢復(fù)具有來自較低層的空間信息的特征圖來實現(xiàn)像素級語義分割。在[13]，[14]中，使用多尺度特征集合來提高性能。 PSPNet [15]通過聚合上下文信息來完成預(yù)測。

在現(xiàn)有硬件上實時執(zhí)行分段。一些方法已被用于加速網(wǎng)絡(luò)。 SegNet [12]通過減少網(wǎng)絡(luò)中的層數(shù)來提高前向速度。 A. Chaurasia等。 [16]直接將編碼器塊鏈接到相應(yīng)的解碼器以減少處理時間。 Z. Hengshuang等[17] 提出了基于壓縮PSPNet的圖像級聯(lián)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在適當(dāng)?shù)?a target="_blank">標(biāo)簽指導(dǎo)下包含多分辨率分支，以產(chǎn)生實時推斷。

B.具有深度信息的語義分割

與單個RGB圖像相比，深度圖包含更多位置信息，這有利于語義分割。在[18]中，原始深度圖像被簡單地視為單通道圖像，然后應(yīng)用CNN來提取室內(nèi)語義分割的特征。在[5]中，深度信息被用作三個通道：水平視差、地面高度和范數(shù)角。Qi等人 [19]提出了一個3D圖形神經(jīng)網(wǎng)絡(luò)（3DGNN），它建立了k-最近鄰圖，并最終提升了預(yù)測。上述工作證明，使用更多特征信息作為訓(xùn)練網(wǎng)絡(luò)的輸入有助于提高語義分割的準(zhǔn)確性。

III.網(wǎng)絡(luò)體系結(jié)構(gòu)

一般而言，使用更深層的網(wǎng)絡(luò)結(jié)構(gòu)將得到更好的語義分割，盡管它通常以犧牲具有許多訓(xùn)練參數(shù)和更長的運行時間為代價，這不能滿足智能駕駛的實時要求。為了直觀地解決這個問題，我們認(rèn)為減少網(wǎng)絡(luò)參數(shù)和簡化網(wǎng)絡(luò)模型可以加速網(wǎng)絡(luò)，而且，添加深度信息可以提高網(wǎng)絡(luò)性能。由AlexNet [8]和N. Hyeonwoo [20]提出的基于VGG16網(wǎng)絡(luò)的編碼器 - 解碼器網(wǎng)絡(luò)架構(gòu)的推動，我們提出的深度完全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如圖1所示，包括11個卷積層、3個匯集層、3個上采樣層和1個softmax層。

在新的網(wǎng)絡(luò)結(jié)構(gòu)中，AlexNet通過以下方式進行修改，使其適用于像素級語義分段任務(wù)：

為了使網(wǎng)絡(luò)適應(yīng)不同大小的圖像，刪除了AlexNet的完整連接層。然后，第一卷積層的步幅從4變?yōu)?，最大匯集層的內(nèi)核大小從3×3變?yōu)?×2。

實驗結(jié)果表明，卷積層中包結(jié)構(gòu)的存在不能提高最終語義分割的準(zhǔn)確性。因此，我們刪除了第二、第四和第五卷積數(shù)據(jù)包并刪除了兩個LRN層。

內(nèi)部協(xié)變量的存在將增加深度網(wǎng)絡(luò)訓(xùn)練的難度。 本文在每個卷積層和ReLU層之間添加了批量歸一化層來解決這個問題。

所有卷積層的卷積核被統(tǒng)一為3×3大小，卷積核輸出的數(shù)量為96。

參考Z.D.Matthew等人使用的上采樣方法[21]，我們在匯集過程中記錄每個匯集窗口的最大特征值位置，并將其置于上采樣過程中的相應(yīng)位置。解碼器是編碼器的鏡像結(jié)構(gòu)，除了其內(nèi)核大小為1×1的第六個卷積層。解碼器網(wǎng)絡(luò)的輸出是K個特征映射，然后將其饋送到softmax層以產(chǎn)生K通道類概率圖，其中K是類的數(shù)量。分割的結(jié)果是圖像的每個像素對應(yīng)于具有最大預(yù)測概率的類。

Ⅳ.多特征地圖

與使用原始深度信息學(xué)習(xí)深度網(wǎng)絡(luò)相比，DHA圖像可以包含更豐富的圖像特征信息。該過程包括以下步驟。

A.水平視差圖

從Cityscapes數(shù)據(jù)集獲得的左圖像和右圖像可用于生成具有立體匹配算法的視差圖。根據(jù)匹配程度，立體視覺匹配算法可以分為三類：局部匹配算法、半全局匹配算法和全局匹配算法。全局匹配算法獲得最高的匹配精度和最差的實時性能。局部匹配算法是最快的，但其匹配精度非常低。

圖1. D-AlexNet網(wǎng)絡(luò)的結(jié)構(gòu)

半全局匹配算法可以更好地匹配精度和實時計算需求，因此本文選擇此方法來獲取視差圖。

M. Dongbo [22]提出的邊緣保持平滑方法用于通過優(yōu)化粗略視差圖并使視差值更連續(xù)來提高分割精度。

B. 地面以上的高度

基于所獲得的視差圖，可以通過等式（1）和（2）獲得對應(yīng)于圖像坐標(biāo)系中的P'（u，v）像素的世界坐標(biāo)系中的P（x，y，z）點，

其中x和y是世界坐標(biāo)系中點P的坐標(biāo)，z是點P和相機之間的距離，f和b分別是攝像機的焦距和兩個攝像機的基線長度，fy和Cy是相機的內(nèi)部參數(shù)，y是像素的高度。由于攝像機的安裝不能保證與地平面完全平行，因此需要進行校正。選擇視差圖中的地面區(qū)域的一部分，并且使用最小二乘法來擬合地面。通過假設(shè)擬合的地平面方程是Y = aX + bZ + c，a，b和c的值可以通過等式（3）獲得。在校正地之后，可以通過等式（4）獲得實際像素高度。

在高度圖中，天空、建筑物和樹對應(yīng)于較大的高度值，而諸如車輛和行人的較重要的對象對應(yīng)于相對較小的高度值。為了突出重要目標(biāo)，使用等式（5）來變換對應(yīng)于每個像素的高度值，以生成高度值在0到255之間的高度圖像。

C.曲面法線

對于城市交通場景，一般來說，路面是水平的，物體的表面，如建筑物、交通標(biāo)志、車輛等是垂直的。根據(jù)這些特征，可以使用算法在盡可能多的點上找到與局部估計的表面法線方向最對齊或最正交的方向。因此，為了利用這種結(jié)構(gòu)，由G . Saurabh等人提出的算法[ 5 ]用于確定重力方向。

最后，通過計算像素法線方向和預(yù)測重力方向之間的角度，可以獲得所需的角度信息。

V. 實驗與分析

實驗是在Caffe學(xué)習(xí)平臺上進行的。此外，我們的所有實驗都是在表I所示的軟件和硬件上進行的。

A.數(shù)據(jù)集和評估指標(biāo)

我們將我們的系統(tǒng)應(yīng)用于最近的城市場景理解數(shù)據(jù)——城市風(fēng)景，其中包含5000幅精細(xì)和20000幅粗注釋圖像。此外，數(shù)據(jù)集提供由立體相機捕獲的左視圖和右視圖，從而提供獲得視差圖和深度圖的機會。在這篇論文中，選擇了5000幅經(jīng)過精細(xì)注釋的圖像，并將其分成訓(xùn)練、驗證和測試集。這些集合分別包含2，975，500和1，525幅圖像。圖像大小被轉(zhuǎn)換為200×400，以縮短訓(xùn)練時間并減少內(nèi)存消耗。為了標(biāo)記重要的交通信息，交通場景分為11種類別包括道路、道路邊界、建筑物、電線桿、交通標(biāo)志、樹木、草坪、天空、人、汽車、自行車或摩托車，全局準(zhǔn)確率和網(wǎng)絡(luò)轉(zhuǎn)發(fā)時間都被用于評估。

B.訓(xùn)練過程

在訓(xùn)練過程中，卷積層的權(quán)重以與AlexNet相同的方式初始化，以及H.Kaiming等人使用的方法[23]用于初始化批量標(biāo)準(zhǔn)化層的重量。交叉熵被用作訓(xùn)練網(wǎng)絡(luò)和計算損失值的損失函數(shù)。在反向傳播階段，采用隨機梯度下降來優(yōu)化網(wǎng)絡(luò)權(quán)重。初始學(xué)習(xí)率和動量分別設(shè)定為0.01和0.9。另外，將重量衰減設(shè)定為0.0005以防止網(wǎng)絡(luò)過度擬合。值得注意的是，為了保持?jǐn)?shù)據(jù)的純度并簡化培訓(xùn)過程，我們在沒有數(shù)據(jù)增加的情況下訓(xùn)練我們的網(wǎng)絡(luò)，并且沒有使用其他數(shù)據(jù)集的預(yù)訓(xùn)練模型。

對于每300個培訓(xùn)時間，我們對驗證集進行了準(zhǔn)確性評估并保存了快照?；赗GB-DHA圖像的驗證準(zhǔn)確度，訓(xùn)練損失值曲線如圖2所示。更多迭代可能意味著更高的準(zhǔn)確度。但是，當(dāng)準(zhǔn)確度和損失開始收斂時，停止訓(xùn)練是可行的。因此，對網(wǎng)絡(luò)進行了10000次迭代訓(xùn)練，選擇具有最高精度的Caffe模型作為最終用于場景分割的模型。

圖2.不同網(wǎng)絡(luò)的訓(xùn)練損失和準(zhǔn)確度曲線。

C.比較和分析

我們首先評估了我們提出的網(wǎng)絡(luò)如何有效地加速語義分割，將SegNet [11]和SegNet-basic [12]作為基線。當(dāng)將RGB圖像和RGB-DHA圖像作為輸入數(shù)據(jù)時，網(wǎng)絡(luò)的性能結(jié)果如表II所示。我們提出的網(wǎng)絡(luò)結(jié)構(gòu)比SegNet快2.2倍，比SegNet-basic快1.8倍。從圖2和表II中我們可以發(fā)現(xiàn)，我們提出的架構(gòu)可以通過競爭性分段結(jié)果獲得更好的實時結(jié)果。此外，對于每個網(wǎng)絡(luò)幀，使用RGB-DHA圖像獲得的驗證精度高于使用RGB圖像獲得的驗證精度，這也表明更多特征信息對于改善網(wǎng)絡(luò)性能是有用的。

圖3.測試集中的語義分段結(jié)果示例

為了進一步了解每個特征圖中的效率增益，我們首先將從第4節(jié)獲得的三個特征圖與RGB圖像合并為4通道圖像，然后將所有3個特征圖像與RGB圖像合并為6通道圖像。之后，4通道和6通道圖像都被用作訓(xùn)練網(wǎng)絡(luò)的輸入數(shù)據(jù)。測試結(jié)果如表Ⅲ所示，從中可以得出結(jié)論：與基于3通道圖像的圖像相比，基于4通道和6通道圖像的分割精度明顯提高。在相同的訓(xùn)練參數(shù)下，從RGB-D，RGB-H，RGB-A和RGB-DHA圖像獲得的全局精度比從原始RGB圖像獲得的全局精度分別為3.7％、2.1％、3％和4％。 以RDB-DHA 6通道圖像為輸入，我們提出的系統(tǒng)最終實現(xiàn)了73.4％的分割精度。

圖3顯示了我們的網(wǎng)絡(luò)模型的測試集上的語義分段結(jié)果，分別以3通道，4通道和6通道作為輸入。如圖所示，基于RGB圖像獲得的分割結(jié)果有時是粗糙的，并且在道路上或在不同類別的邊界輪廓周圍存在許多錯誤分類的像素。例如，在圖3（b）的左圖中，路面中的許多像素被錯誤分類為人行道?；谒耐ǖ缊D像的效果通常比基于RGB三通道圖像的效果更好，并且RGB-DHA圖像可以進一步提高分割精度，其顯示更少的錯誤分類點。

此外，當(dāng)使用RGB-DHA圖像作為凈輸入時，諸如行人和汽車的道路目標(biāo)比使用RGB圖像作為凈輸入具有更高的分段精度。例如，行人段準(zhǔn)確度從79％上升到84％，汽車段精度從85.8％上升到91％。一些細(xì)節(jié)比較如圖4所示。可以看出，圖4（c）和圖4（f）中的行人和汽車具有比圖4（b）和圖4（e）更清晰的輪廓，這將有助于不同道路目標(biāo)的行為分析。

圖4.行人和汽車的詳細(xì)比較示例。

VI.結(jié)論

本文提出了一種基于新型深度完全卷積網(wǎng)絡(luò)（D-AlexNet）和多特征映射（RGB-DHA）的交通場景語義分割方法。對于Titan X GPU上的每個400×200分辨率圖像，網(wǎng)絡(luò)可以實現(xiàn)22ms的良好實時性能。從原始RGB圖像獲得視差圖、高度圖和角度圖，并融合成6通道圖像以訓(xùn)練網(wǎng)絡(luò)。實驗表明，與使用RGB圖像作為輸入相比，使用多特征圖作為網(wǎng)絡(luò)的輸入可以實現(xiàn)4％更高的分割精度。在未來，我們將重點關(guān)注更高效的深度網(wǎng)絡(luò)，以聯(lián)合語義分割，目標(biāo)跟蹤和參數(shù)識別。