攝像頭是無(wú)人車(chē)系統(tǒng)中最重要的傳感器之一，具有明顯的優(yōu)點(diǎn)和缺點(diǎn)：廉價(jià)、高幀率、信息豐富、觀測(cè)距離遠(yuǎn)，但是易受環(huán)境影響、缺乏深度信息。因此，如何建立高準(zhǔn)確率、高召回率的物體識(shí)別系統(tǒng)，是無(wú)人車(chē)感知模塊的核心問(wèn)題。

上周，來(lái)自百度美研Apollo感知團(tuán)隊(duì)的資深軟件架構(gòu)師——陳光，在Apollo開(kāi)發(fā)者社群內(nèi)為我們帶來(lái)關(guān)于《基于單目攝像頭的物體檢測(cè)》的內(nèi)容分享。幫助開(kāi)發(fā)者更加了解Apollo 2.5和3.0里廣泛使用的單目攝像頭物體檢測(cè)模塊。

錯(cuò)過(guò)社群直播的開(kāi)發(fā)者可以從以下資料回顧干貨內(nèi)容：

基于單目攝像頭的物體檢測(cè)

本次分享將會(huì)從以下四個(gè)方面展開(kāi)：

一、物體檢測(cè)模型中的算法選擇

二、單目攝像頭下的物體檢測(cè)神經(jīng)網(wǎng)絡(luò)

三、訓(xùn)練預(yù)測(cè)參數(shù)的設(shè)計(jì)

四、模型訓(xùn)練與距離測(cè)算

物體檢測(cè)模型中的算法選擇

物體檢測(cè)（Object Detection）是無(wú)人車(chē)感知的核心問(wèn)題，要求我們對(duì)不同的傳感器（如圖中覆蓋不同觀測(cè)范圍FOV的無(wú)人車(chē)傳感器）設(shè)計(jì)不同的算法，去準(zhǔn)確檢測(cè)出障礙物。例如在Apollo中，為3D點(diǎn)云而設(shè)計(jì)的的CNN-SEG深度學(xué)習(xí)算法，為2D圖像而設(shè)計(jì)的YOLO-3D深度學(xué)習(xí)算法等。

物體檢測(cè)要求實(shí)時(shí)準(zhǔn)確的完成單幀的障礙物檢測(cè)，并借助傳感器內(nèi)外參標(biāo)定轉(zhuǎn)換矩陣，將檢測(cè)結(jié)果映射到統(tǒng)一的車(chē)身坐標(biāo)系或世界坐標(biāo)系中。準(zhǔn)確率、召回率、算法時(shí)耗是物體檢測(cè)的重要指標(biāo)。本次分享只覆蓋Apollo中基于單目攝像頭的物體檢測(cè)模塊。

相關(guān)文獻(xiàn)如下：

1. Object Detection with Discriminatively Trained Part Based Models. IEEE Trans. PAMI, 32(9):1627–1645, 2010.

2. Faster RCNN, ICCV 2015

3. SSD: Single Shot MultiBox Detector, ECCV 2016

4. yolo9000: Better, Faster, Stronger, CVPR 2017

5. Focal Loss for Dense Object Detection, ICCV 2017

在眾多物體檢測(cè)模型中，我們?nèi)绾芜x擇最合適的算法？尤其是以2-stage為代表的Faster-RCNN, RFCN 和以 single stage為代表的SSD、YOLO之中應(yīng)該如何選擇？CVPR 2017一篇來(lái)自谷歌的論文《Speed/Accuracy Trade-offs for Modern Convolutional Object Detectors》做了比較細(xì)致的比較和評(píng)測(cè)。它將物體檢測(cè)神經(jīng)網(wǎng)絡(luò)拆解為主框架Meta-architecture和特征描述模塊Feature Extractor。并選擇了不同的組合方式，去驗(yàn)證模型的實(shí)效性和準(zhǔn)確率。

如圖所示，在 MS COCO數(shù)據(jù)集上，YOLO V2取得了實(shí)時(shí)速度下良好的檢測(cè)準(zhǔn)確率。Faster RCNN+重載的 Inception ResNet V2雖然取得了最好準(zhǔn)確率，但是時(shí)耗過(guò)長(zhǎng)。完全不能滿足無(wú)人車(chē)對(duì)實(shí)時(shí)性的要求?；谶@種理論分析和在百度自有數(shù)據(jù)集上的評(píng)測(cè)，我們最終選擇了YOLO作為主框架，以改進(jìn)的DarkNet作為特征描述模塊（Feature Extractor)。

2單目攝像頭下的物體檢測(cè)神經(jīng)網(wǎng)絡(luò)

Apollo 2.5和3.0中，我們基于YOLO V2設(shè)計(jì)了單目攝像頭下的物體檢測(cè)神經(jīng)網(wǎng)絡(luò), 我們簡(jiǎn)稱(chēng)它 Multi task YOLO-3D, 因?yàn)樗罱K輸出單目攝像頭3D障礙物檢測(cè)和2D圖像分割所需的全部信息。

它和原始的YOLO V2有以下幾種不同：

1. 實(shí)現(xiàn)多任務(wù)輸出：

(1)物體檢測(cè)，包括2D框(以像素為單位），3D真實(shí)物體尺寸（以米為單位），障礙物類(lèi)別和障礙物相對(duì)偏轉(zhuǎn)角（Alpha Angle，和KITTI數(shù)據(jù)集定義一致）。下文會(huì)詳細(xì)講解各個(gè)輸出的意義。

(2)物體分割：車(chē)道線信息，并提供給定位模塊，這里不做敘述。

2. 特征描述模塊引入了類(lèi)似FPN的Encoder和Decoder設(shè)計(jì)：在原始Darknet基礎(chǔ)上中，加入了更深的卷積層（Feature Map Size更小）同時(shí)添加反卷積層，捕捉更豐富圖像上下文信息（Context Information）。高分辨率多通道特征圖，捕捉圖像細(xì)節(jié)（例如Edge，Corner），深層低分辨率多通道特征圖，編碼更多圖像上下文信息。和FPN類(lèi)似的飛線連接，更好的融合了圖像的細(xì)節(jié)和整體信息。

3. 降低每層卷積核數(shù)目，加快運(yùn)算速度。例如我們發(fā)現(xiàn)卷積核數(shù)目減半，實(shí)驗(yàn)中準(zhǔn)確率基本不變。

如前文所述，物體檢測(cè)最終輸出包括2D框(以像素為單位），3D真實(shí)物體尺寸（以米為單位），障礙物類(lèi)別和障礙物相對(duì)偏轉(zhuǎn)角（Alpha Angle，和KITTI數(shù)據(jù)集定義一致）等信息。

和YOLO V2算法一樣， 我們?cè)跇?biāo)注樣本集中通過(guò)聚類(lèi)，產(chǎn)生一定數(shù)目的“錨”模板，去描述不同類(lèi)別、不同朝向、不同大小的障礙物。例如對(duì)小轎車(chē)和大貨車(chē)，我們會(huì)定義不同的錨模板，去描述它們的實(shí)際物理尺寸。

為什么我們要去訓(xùn)練、預(yù)測(cè)這些參數(shù)呢？我們以相機(jī)成像的原理來(lái)解釋?zhuān)横樋紫鄼C(jī)(Pinhole Camera)通過(guò)投影變換，可以將三維Camera坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo)。這個(gè)變換矩陣解釋相機(jī)的內(nèi)在屬性，稱(chēng)為相機(jī)內(nèi)參（Camera Intrinsic） K。（本圖及下文中部分圖像引自三方論文等）

對(duì)任意一個(gè)相機(jī)坐標(biāo)系下的障礙物的3D框，我們可以用它的中心點(diǎn) T = {X, Y, Z}，長(zhǎng)寬高 D = {L, W, H}，以及各個(gè)坐標(biāo)軸方向上的旋轉(zhuǎn)角 R = {?, φ , θ}來(lái)描述。這種9維的參數(shù)描述和3D框8點(diǎn)的描述是等價(jià)的，而且不需要冗余的8*3個(gè)坐標(biāo)參數(shù)來(lái)表示。

因此，對(duì)一個(gè)相機(jī)坐標(biāo)系下3D障礙物，我們通過(guò)相機(jī)內(nèi)參，可以投射到2D圖像上，得到2D框[c_x, c_y, h, w]。從圖中可以看到，一個(gè)障礙物在相機(jī)下總共有9維3D描述和4維2D描述，他們之間通過(guò)相機(jī)內(nèi)參矩陣聯(lián)系起來(lái)。

然而，只通過(guò)2D框[c_x, c_y, h, w]，是沒(méi)有辦法還原成完整的3D障礙物信息。

3訓(xùn)練預(yù)測(cè)參數(shù)的設(shè)計(jì)

而通過(guò)神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)3D障礙物的9維參數(shù)，也會(huì)比較困難，尤其是預(yù)測(cè)障礙物3D中心點(diǎn)坐標(biāo)。所以我們要根據(jù)幾何學(xué)來(lái)設(shè)計(jì)我們到底要訓(xùn)練預(yù)測(cè)哪些參數(shù)。

首先利用地面平行假設(shè)，我們可以降低所需要預(yù)測(cè)的3D參數(shù)。

例如：（1）我們假設(shè)3D障礙物只沿著垂直地面的坐標(biāo)軸有旋轉(zhuǎn)，而另外兩個(gè)方向并未出現(xiàn)旋轉(zhuǎn)，也就是只有yaw偏移角，剩下的Pitch Roll均為0。（2）障礙物中心高度和相機(jī)高度相當(dāng)，所以可以簡(jiǎn)化認(rèn)為障礙物的Z=0。

從右圖可以看到，我們現(xiàn)在只有6維3D信息需要預(yù)測(cè)，但還是沒(méi)有辦法避免預(yù)測(cè)中心點(diǎn)坐標(biāo)X和Y分量。

第二，我們可以利用成熟的2D障礙物檢測(cè)算法，準(zhǔn)確預(yù)測(cè)出圖像上2D障礙物框(以像素為單位）。

第三，對(duì)3D障礙物里的6維描述，我們可以選擇訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)方差較小的參數(shù)，例如障礙物的真實(shí)物理大小，因?yàn)橐话阃活?lèi)別的障礙物的物理大小不會(huì)出現(xiàn)量級(jí)上的偏差（車(chē)輛的高度一般在2-5米之間，很少會(huì)出現(xiàn)大幅變化）。而yaw 轉(zhuǎn)角也比較容易預(yù)測(cè)，跟障礙物在圖像中的位置關(guān)系不大，適合通用物體檢測(cè)框架來(lái)訓(xùn)練和預(yù)測(cè)。實(shí)驗(yàn)中也多次證明此項(xiàng)。

所以現(xiàn)在我們唯一沒(méi)有訓(xùn)練和預(yù)測(cè)的參數(shù)就是障礙物中心點(diǎn)相對(duì)相機(jī)坐標(biāo)系的偏移量X分量和Y分量。需要注意的是障礙物離相機(jī)的物理距離Distance=sqrt(X^2+Y^2)。所以得到X和Y，我們自然就可以得到障礙物離相機(jī)的真實(shí)距離，這是單目測(cè)距的最終要求之一。

綜上，我們可以合理的推斷出, 實(shí)現(xiàn)單目攝像頭的3D障礙物檢測(cè)需要兩部分：

1. 訓(xùn)練網(wǎng)絡(luò)，并預(yù)測(cè)出大部分參數(shù)：

（1）圖像上2D障礙物框預(yù)測(cè)，因?yàn)橛袑?duì)應(yīng)的大量成熟算法文獻(xiàn)；

（2）障礙物物理尺寸，因?yàn)橥?lèi)別內(nèi)方差較??；

（3）不被障礙物在圖像上位置所影響，并且通過(guò)圖像特征（Appearance Feature）可以很好解釋的障礙物yaw偏轉(zhuǎn)角。

2. 通過(guò)圖像幾何學(xué)，來(lái)計(jì)算出障礙物中心點(diǎn)相對(duì)相機(jī)坐標(biāo)系的偏移量X分量和Y分量。

4模型訓(xùn)練與距離測(cè)算

模型訓(xùn)練上，我們需要注意一些潛在的細(xì)節(jié)：

1) 確保標(biāo)注質(zhì)量，尤其是3D障礙物框?？梢越柚す饫走_(dá)等來(lái)輔助標(biāo)注障礙物尺寸，偏轉(zhuǎn)角等等；

2) 定義合適的損失函數(shù)，可以參考Zoox的paper《3D Bounding Box Estimation Using Deep Learning and Geometry》；

3) 做好數(shù)據(jù)增強(qiáng)，避免過(guò)擬合, 圖中簡(jiǎn)單描繪了一些Data Augmentation的方式。對(duì)于無(wú)人車(chē)，我們可以嘗試更多的方法。

當(dāng)我們訓(xùn)練好相應(yīng)的神經(jīng)網(wǎng)絡(luò)，輸出我們需要的各個(gè)參數(shù)之后，我們需要考慮的是如何計(jì)算出障礙物離攝像頭的距離。根據(jù)之前介紹，通過(guò)內(nèi)參和幾何學(xué)關(guān)系，我們可以鏈接起圖像中3D障礙物大?。▎挝粸橄袼兀┖驼鎸?shí)3D坐標(biāo)系下障礙物大?。▎挝粸槊祝?。

我們采用單視圖度量衡（ Oxford教授 A. Zisserman的論文《Single View Metrology》）來(lái)解釋這個(gè)幾何關(guān)系：任一物體，已知它的長(zhǎng)寬高、朝向和距離，則它在圖像上的具體形狀大小等可唯一確定；反之亦然。

如圖中房屋的支撐柱，大小高度完全相同，但是處于圖像的不同位置，所占用的像素、長(zhǎng)寬都有差別。

基于單視圖度量衡，我們可以建立一個(gè)哈希查詢表，去根據(jù)物體圖像尺寸，物理尺寸，朝向角來(lái)查詢物體的距離。

對(duì)于每種障礙物，我們根據(jù)它的平均（或單位）尺寸，去建立查詢表，覆蓋360度yaw 角的變化，來(lái)映射不同的距離。（例如2D框的25像素高，yaw角為30度，則它的距離為100米等等）。圖中示例了一個(gè)小轎車(chē)在不同距離下、不同偏轉(zhuǎn)角yaw angle情況下，在圖像上的顯示。

對(duì)于這樣一個(gè)簡(jiǎn)單的算法，速度上可以達(dá)到0.07毫秒/每幀圖像。而在準(zhǔn)確率上，我們分別在KITTI數(shù)據(jù)集和Apollo內(nèi)部數(shù)據(jù)集上做了評(píng)測(cè)。在KITTI上取得了很好的效果，0-30米內(nèi)障礙物誤差大概在1米左右。隨著距離增大，誤差會(huì)增大，但是最終誤差不超過(guò)8%。

在Apollo數(shù)據(jù)集上，這個(gè)簡(jiǎn)單算法也取得了不錯(cuò)的效果。最大誤差不超過(guò)6%。

綜上，我們可以整理出Apollo里單目攝像頭下的障礙物檢測(cè)流程圖：輸入單幅圖像，預(yù)測(cè)大部分參數(shù)；基于單視圖度量衡，我們可以預(yù)測(cè)出剩余的參數(shù)距離和中心點(diǎn)坐標(biāo)。

Apollo里單目攝像頭下的障礙物檢測(cè)穩(wěn)定快速，對(duì)繁忙路段和高速場(chǎng)景都可以適配。檢測(cè)速度在30HZ以上。

Apollo里單目攝像頭下的障礙物算法已經(jīng)成功入庫(kù)到Apollo 2.5 和 Apollo 3.0，并在CIDI等項(xiàng)目中使用。