自動(dòng)駕駛無疑是目前汽車圈兒里最常見的討論話題了，特斯拉剛剛推出的全自動(dòng)駕駛硬件更是把這個(gè)話題炒得火熱，這次全自動(dòng)駕駛夢想似乎離我們更近了一步。

　　硅谷出來的公司總喜歡搞“硬件先行，軟件升級(jí)”，蘋果如此，強(qiáng)制更新的微軟也不例外，特斯拉也一樣。在推出V7.0 OTA空中升級(jí)包固件后，特斯拉將獲得前所未有科技功能——自動(dòng)駕駛，必須強(qiáng)調(diào)的事：特斯拉的自動(dòng)駕駛技術(shù)≠無人駕駛，并且如同蘋果手機(jī)升級(jí)新系統(tǒng)一樣，升級(jí)這個(gè)功能是有前提條件的。

　　說起特斯拉，大家可能立馬會(huì)想到16年5 月份發(fā)生在特斯拉 Model S 自動(dòng)駕駛上的一宗奪命車禍。初步的調(diào)查表明，在強(qiáng)烈的日照條件下，駕駛員和自動(dòng)駕駛系統(tǒng)都未能注意到牽引式掛車的白色車身，因此未能及時(shí)啟動(dòng)剎車系統(tǒng)。而由于牽引式掛車正在橫穿公路，且車身較高，這一特殊情況導(dǎo)致 Model S 從掛車底部通過時(shí)，其前擋風(fēng)玻璃與掛車底部發(fā)生撞擊，導(dǎo)致駕駛員不幸遇難。

　　無獨(dú)有偶，同年8月國密蘇里州的一名男子、特斯拉 Model X 車主約書亞?尼利（Joshua Neally）在上班途中突發(fā)肺栓塞。在 Model X 的 Autopilot 自動(dòng)駕駛功能的幫助下，他安全抵達(dá)了醫(yī)院。這「一抑一揚(yáng)」著實(shí)讓人回味無窮，略有些「敗也蕭何，成也蕭何」之意。

　　今天，我們就來談?wù)勛詣?dòng)駕駛系統(tǒng)中的一項(xiàng)重要核心技術(shù)——圖像語義分割（semantic image segmentation）。圖像語義分割作為計(jì)算機(jī)視覺（computer vision）中圖像理解（image understanding）的重要一環(huán)，不僅在工業(yè)界的需求日益凸顯，同時(shí)語義分割也是當(dāng)下學(xué)術(shù)界的研究熱點(diǎn)之一。

　　什么是圖像語義分割？

　　圖像語義分割可以說是圖像理解的基石性技術(shù)，在自動(dòng)駕駛系統(tǒng)（具體為街景識(shí)別與理解）、無人機(jī)應(yīng)用（著陸點(diǎn)判斷）以及穿戴式設(shè)備應(yīng)用中舉足輕重。

　　我們都知道，圖像是由許多像素（pixel）組成，而「語義分割」顧名思義就是將像素按照圖像中表達(dá)語義含義的不同進(jìn)行分組（grouping）／分割（segmentation）。下圖取自圖像分割領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集之一 PASCAL VOC。其中，左圖為原始圖像，右圖為分割任務(wù)的真實(shí)標(biāo)記（ground truth）：紅色區(qū)域表示語義為「person」的圖像像素區(qū)域，藍(lán)綠色代表「motorbike」語義區(qū)域，黑色表示「background」，白色（邊）則表示未標(biāo)記區(qū)域。

　　顯然，在圖像語義分割任務(wù)中，其輸入為一張 H×W×3 的三通道彩色圖像，輸出則是對應(yīng)的一個(gè) H × W 矩陣，矩陣的每一個(gè)元素表明了原圖中對應(yīng)位置像素所表示的語義類別（semantic label）。因此，圖像語義分割也稱為「圖像語義標(biāo)注」（image semantic labeling）、「像素語義標(biāo)注」（semantic pixel labeling）或「像素語義分組」（semantic pixel grouping）。

　　從上圖和題圖中，大家可以明顯看出圖像語義分割任務(wù)的難點(diǎn)便在于這「語義」二字。在真實(shí)圖像中，表達(dá)某一語義的同一物體常由不同部件組成（如，building，motorbike，person 等），同時(shí)這些部分往往有著不同的顏色、紋理甚至亮度（如building），這給圖像語義的精確分割帶來了困難和挑戰(zhàn)。

　　前 DL 時(shí)代的語義分割

　　從最簡單的像素級(jí)別「閾值法」（thresholding methods）、基于像素聚類的分割方法（clustering-based segmentation methods）到「圖劃分」的分割方法（graph partitioning segmentation methods），在深度學(xué)習(xí)（deep learning， DL）「一統(tǒng)江湖」之前，圖像語義分割方面的工作可謂「百花齊放」。在此，我們僅以「normalized cut」［1］和「grab cut」 ［2］這兩個(gè)基于圖劃分的經(jīng)典分割方法為例，介紹一下前 DL 時(shí)代語義分割方面的研究。

　　Normalized cut （N-cut）方法是基于圖劃分（graph partitioning）的語義分割方法中最著名的方法之一，于 2000 年 Jianbo Shi 和 Jitendra Malik 發(fā)表于相關(guān)領(lǐng)域頂級(jí)期刊 TPAMI。通常，傳統(tǒng)基于圖劃分的語義分割方法都是將圖像抽象為圖（graph）的形式 G=（V，E） （V 為圖節(jié)點(diǎn)，E 為圖的邊），然后借助圖理論（graph theory）中的理論和算法進(jìn)行圖像的語義分割。

　　常用的方法為經(jīng)典的最小割算法（min-cut algorithm）。不過，在邊的權(quán)重計(jì)算時(shí)，經(jīng)典 min-cut 算法只考慮了局部信息。如下圖所示，以二分圖為例（將 G 分為不相交的 ， 兩部分），若只考慮局部信息，那么分離出一個(gè)點(diǎn)顯然是一個(gè) min-cut，因此圖劃分的結(jié)果便是類似 或 這樣離群點(diǎn)，而從全局來看，實(shí)際想分成的組卻是左右兩大部分。

　　針對這一情形，N-cut 則提出了一種考慮全局信息的方法來進(jìn)行圖劃分（graph partitioning），即，將兩個(gè)分割部分 A，B ， 與全圖節(jié)點(diǎn)的連接權(quán)重（assoc（A，V） 和 assoc（B，V））考慮進(jìn)去：

　　如此一來，在離群點(diǎn)劃分中，中的某一項(xiàng)會(huì)接近 1，而這樣的圖劃分顯然不能使得是一個(gè)較小的值，故達(dá)到考慮全局信息而摒棄劃分離群點(diǎn)的目的。這樣的操作類似于機(jī)器學(xué)習(xí)中特征的規(guī)范化（normalization）操作，故稱為normalized cut。N-cut不僅可以處理二類語義分割，而且將二分圖擴(kuò)展為 K 路（ -way）圖劃分即可完成多語義的圖像語義分割，如下圖例。

　　Grab cut 是微軟劍橋研究院于 2004 年提出的著名交互式圖像語義分割方法。與 N-cut 一樣，grab cut 同樣也是基于圖劃分，不過 grab cut 是其改進(jìn)版本，可以看作迭代式的語義分割算法。Grab cut 利用了圖像中的紋理（顏色）信息和邊界（反差）信息，只要少量的用戶交互操作即可得到比較好的前后背景分割結(jié)果。

　　在 grab cut 中，RGB 圖像的前景和背景分別用一個(gè)高斯混合模型（gaussian mixture model， GMM）來建模。兩個(gè) GMM 分別用以刻畫某像素屬于前景或背景的概率，每個(gè) GMM 高斯部件（gaussian component）個(gè)數(shù)一般設(shè)為 。

　　接下來，利用吉布斯能量方程（gibbs energy function）對整張圖像進(jìn)行全局刻畫，而后迭代求取使得能量方程達(dá)到最優(yōu)值的參數(shù)作為兩個(gè) GMM 的最優(yōu)參數(shù)。GMM 確定后，某像素屬于前景或背景的概率就隨之確定下來。

　　在與用戶交互的過程中，grab cut 提供兩種交互方式：一種以包圍框（bounding box）為輔助信息；另一種以涂寫的線條（scribbled line）作為輔助信息。以下圖為例，用戶在開始時(shí)提供一個(gè)包圍框，grab cut 默認(rèn)的認(rèn)為框中像素中包含主要物體／前景，此后經(jīng)過迭代圖劃分求解，即可返回扣出的前景結(jié)果，可以發(fā)現(xiàn)即使是對于背景稍微復(fù)雜一些的圖像，grab cut 仍有不俗表現(xiàn)。

　　不過，在處理下圖時(shí)，grab cut 的分割效果則不能令人滿意。此時(shí)，需要額外人為的提供更強(qiáng)的輔助信息：用紅色線條／點(diǎn)標(biāo)明背景區(qū)域，同時(shí)用白色線條標(biāo)明前景區(qū)域。在此基礎(chǔ)上，再次運(yùn)行 grab cut 算法求取最優(yōu)解即可得到較為滿意的語義分割結(jié)果。grab cut 雖效果優(yōu)良，但缺點(diǎn)也非常明顯，一是僅能處理二類語義分割問題，二是需要人為干預(yù)而不能做到完全自動(dòng)化。

　　其實(shí)大家不難看出，前 DL 時(shí)代的語義分割工作多是根據(jù)圖像像素自身的低階視覺信息（low-level visual cues）來進(jìn)行圖像分割。由于這樣的方法沒有算法訓(xùn)練階段，因此往往計(jì)算復(fù)雜度不高，但是在較困難的分割任務(wù)上（如果不提供人為的輔助信息），其分割效果并不能令人滿意。

　　在計(jì)算機(jī)視覺步入深度學(xué)習(xí)時(shí)代之后，語義分割同樣也進(jìn)入了全新的發(fā)展階段，以全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）為代表的一系列基于卷積神經(jīng)網(wǎng)絡(luò)「訓(xùn)練」的語義分割方法相繼提出，屢屢刷新圖像語義分割精度。下面就介紹三種在 DL時(shí)代語義分割領(lǐng)域的代表性做法。

　　全卷積神經(jīng)網(wǎng)絡(luò) ［3］

　　全卷積神經(jīng)網(wǎng)絡(luò) FCN 可以說是深度學(xué)習(xí)在圖像語義分割任務(wù)上的開創(chuàng)性工作，出自 UC Berkeley 的 Trevor Darrell 組，發(fā)表于計(jì)算機(jī)視覺領(lǐng)域頂級(jí)會(huì)議 CVPR 2015，并榮獲best paper honorable mention。

　　FCN 的思想很直觀，即直接進(jìn)行像素級(jí)別端到端（end-to-end）的語義分割，它可以基于主流的深度卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）來實(shí)現(xiàn)。正所謂「全卷積神經(jīng)網(wǎng)絡(luò)」，在FCN中，傳統(tǒng)的全連接層 fc6 和 fc7 均是由卷積層實(shí)現(xiàn)，而最后的 fc8 層則被替代為一個(gè) 21 通道（channel）的 1x1 卷積層，作為網(wǎng)絡(luò)的最終輸出。之所以有 21 個(gè)通道是因?yàn)?PASCAL VOC 的數(shù)據(jù)中包含 21 個(gè)類別（20個(gè)object類別和一個(gè)「background」類別）。

　　下圖為 FCN 的網(wǎng)絡(luò)結(jié)構(gòu)，若原圖為 H×W×3，在經(jīng)過若干堆疊的卷積和池化層操作后可以得到原圖對應(yīng)的響應(yīng)張量（activation tensor） ，其中， 為第i層的通道數(shù)?？梢园l(fā)現(xiàn)，由于池化層的下采樣作用，使得響應(yīng)張量的長和寬遠(yuǎn)小于原圖的長和寬，這便給像素級(jí)別的直接訓(xùn)練帶來問題。

　　為了解決下采樣帶來的問題，F(xiàn)CN 利用雙線性插值將響應(yīng)張亮的長寬上采樣到原圖大小，另外為了更好的預(yù)測圖像中的細(xì)節(jié)部分，F(xiàn)CN 還將網(wǎng)絡(luò)中淺層的響應(yīng)也考慮進(jìn)來。具體來說，就是將 Pool4 和 Pool3 的響應(yīng)也拿來，分別作為模型 FCN-16s 和 FCN-8s 的輸出，與原來 FCN-32s 的輸出結(jié)合在一起做最終的語義分割預(yù)測（如下圖所示）。

　　下圖是不同層作為輸出的語義分割結(jié)果，可以明顯看出，由于池化層的下采樣倍數(shù)的不同導(dǎo)致不同的語義分割精細(xì)程度。如 FCN-32s，由于是 FCN 的最后一層卷積和池化的輸出，該模型的下采樣倍數(shù)最高，其對應(yīng)的語義分割結(jié)果最為粗略；而 FCN-8s 則因下采樣倍數(shù)較小可以取得較為精細(xì)的分割結(jié)果。

　　Dilated Convolutions ［4］

　　FCN 的一個(gè)不足之處在于，由于池化層的存在，響應(yīng)張量的大小（長和寬）越來越小，但是FCN的設(shè)計(jì)初衷則需要和輸入大小一致的輸出，因此 FCN 做了上采樣。但是上采樣并不能將丟失的信息全部無損地找回來。

　　對此，dilated convolution 是一種很好的解決方案——既然池化的下采樣操作會(huì)帶來信息損失，那么就把池化層去掉。但是池化層去掉隨之帶來的是網(wǎng)絡(luò)各層的感受野（receptive field）變小，這樣會(huì)降低整個(gè)模型的預(yù)測精度。Dilated convolution 的主要貢獻(xiàn)就是，如何在去掉池化下采樣操作的同時(shí)，而不降低網(wǎng)絡(luò)的感受野。

　　以 3×3 的卷積核為例，傳統(tǒng)卷積核在做卷積操作時(shí)，是將卷積核與輸入張量中「連續(xù)」的 3×3 的 patch 逐點(diǎn)相乘再求和（如下圖a，紅色圓點(diǎn)為卷積核對應(yīng)的輸入「像素」，綠色為其在原輸入中的感知野）。而 dilated convolution 中的卷積核則是將輸入張量的 3×3 patch 隔一定的像素進(jìn)行卷積運(yùn)算。

　　如下圖 b 所示，在去掉一層池化層后，需要在去掉的池化層后將傳統(tǒng)卷積層換做一個(gè)「dilation=2」的 dilated convolution 層，此時(shí)卷積核將輸入張量每隔一個(gè)「像素」的位置作為輸入 patch 進(jìn)行卷積計(jì)算，可以發(fā)現(xiàn)這時(shí)對應(yīng)到原輸入的感知野已經(jīng)擴(kuò)大（dilate）為 ；同理，如果再去掉一個(gè)池化層，就要將其之后的卷積層換成「dilation=4」的 dilated convolution 層，如圖 c 所示。這樣一來，即使去掉池化層也能保證網(wǎng)絡(luò)的感受野，從而確保圖像語義分割的精度。

　　從下面的幾個(gè)圖像語義分割效果圖可以看出，在使用了 dilated convolution 這一技術(shù)后可以大幅提高語義類別的辨識(shí)度以及分割細(xì)節(jié)的精細(xì)度。

　　以條件隨機(jī)場為代表的后處理操作

　　當(dāng)下許多以深度學(xué)習(xí)為框架的圖像語義分割工作都是用了條件隨機(jī)場（conditional random field，CRF）作為最后的后處理操作來對語義預(yù)測結(jié)果進(jìn)行優(yōu)化。

　　一般來講，CRF 將圖像中每個(gè)像素點(diǎn)所屬的類別都看作一個(gè)變量 ，然后考慮任意兩個(gè)變量之間的關(guān)系，建立一個(gè)完全圖（如下圖所示）。

　　其中是一元項(xiàng)，表示像素對應(yīng)的語義類別，其類別可以由 FCN 或者其他語義分割模型的預(yù)測結(jié)果得到；而第二項(xiàng)為二元項(xiàng)，二元項(xiàng)可將像素之間的語義聯(lián)系／關(guān)系考慮進(jìn)去。例如，「天空」和「鳥」這樣的像素在物理空間是相鄰的概率，應(yīng)該要比「天空」和「魚」這樣像素的相鄰概率大。最后通過對 CRF 能量函數(shù)的優(yōu)化求解，得到對 FCN 的圖像語義預(yù)測結(jié)果進(jìn)行優(yōu)化，得到最終的語義分割結(jié)果。

　　值得一提的是，已經(jīng)有工作［5］將原本與深度模型訓(xùn)練割裂開的 CRF 過程嵌入到神經(jīng)網(wǎng)絡(luò)內(nèi)部，即，將 FCN+CRF 的過程整合到一個(gè)端到端的系統(tǒng)中，這樣做的好處是 CRF 最后預(yù)測結(jié)果的能量函數(shù)可以直接用來指導(dǎo) FCN 模型參數(shù)的訓(xùn)練，而取得更好的圖像語義分割結(jié)果。

　　展望

　　俗話說，「沒有免費(fèi)的午餐」（no free lunch）?；谏疃葘W(xué)習(xí)的圖像語義分割技術(shù)雖然可以取得相比傳統(tǒng)方法突飛猛進(jìn)的分割效果，但是其對數(shù)據(jù)標(biāo)注的要求過高：不僅需要海量圖像數(shù)據(jù)，同時(shí)這些圖像還需提供精確到像素級(jí)別的標(biāo)記信息（semantic labels）。因此，越來越多的研究者開始將注意力轉(zhuǎn)移到弱監(jiān)督（weakly-supervised）條件下的圖像語義分割問題上。在這類問題中，圖像僅需提供圖像級(jí)別標(biāo)注（如，有「人」，有「車」，無「電視」）而不需要昂貴的像素級(jí)別信息即可取得與現(xiàn)有方法可比的語義分割精度。

　　另外，示例級(jí)別（instance level）的圖像語義分割問題也同樣熱門。該類問題不僅需要對不同語義物體進(jìn)行圖像分割，同時(shí)還要求對同一語義的不同個(gè)體進(jìn)行分割（例如需要對圖中出現(xiàn)的九把椅子的像素用不同顏色分別標(biāo)示出來）。

　　最后，基于視頻的前景／物體分割（video segmentation）也是今后計(jì)算機(jī)視覺語義分割領(lǐng)域的新熱點(diǎn)之一，這一設(shè)定其實(shí)更加貼合自動(dòng)駕駛系統(tǒng)的真實(shí)應(yīng)用環(huán)境。

　　普特斯拉自動(dòng)駕駛技術(shù)的傳感器系統(tǒng)

　　所有的特斯拉（Tesla）新車將裝配“具有完全自動(dòng)駕駛功能”的硬件系統(tǒng)——Autopilot 2.0。

　　其中的傳感器系統(tǒng)包括8個(gè)攝像頭，12個(gè)超聲波傳感器，1個(gè)毫米波雷達(dá)。另外還有1個(gè)主要用于倒車的倒車攝像頭。

　　一、超聲波和雷達(dá)的區(qū)別

　　1、機(jī)械波和電磁波

　　機(jī)械波是機(jī)械振動(dòng)引起的振動(dòng)在介質(zhì)中的傳播。這種傳播必須有介質(zhì)。它的傳播速度與介質(zhì)有關(guān)。例如機(jī)械振動(dòng)的頻率達(dá)到一定范圍內(nèi)就是聲音，在空氣中的傳播速度為340m/s， 電磁波的產(chǎn)生是電磁振蕩產(chǎn)生的變化電磁場向空間的傳播。電磁波的傳播不需要介質(zhì)，它的傳播速度是光速。在真空中的傳播速度是3*10^8m/s.

　　2、超聲波和雷達(dá)

　　超聲波是一種機(jī)械波，在空氣中傳播時(shí)，大氣成分的構(gòu)成會(huì)引起聲速的變化，受存在的氣體或蒸汽的類型、溫度、壓力的影響，因此惡劣天氣適應(yīng)性差。

　　雷達(dá)發(fā)射的是電磁波，不受大氣影響，能夠克服高溫、高壓、真空、揮發(fā)性氣體、蒸汽、粉塵等不利因素，因此惡劣天氣適應(yīng)性強(qiáng)。

　　二、三種車用測距傳感器性能對比

　　三、各傳感器大致位置

　　結(jié)合上面兩張圖，我們就不難知道各傳感器的大致位置：

　　1、車頭6個(gè)、車尾6個(gè)，共12個(gè)超聲波傳感器；

　　2、前擋風(fēng)玻璃下內(nèi)后視鏡上端長焦、標(biāo)準(zhǔn)、短焦各一，共3個(gè)前視攝像頭；

　　3、外后視鏡前端翼子板后端兩側(cè)各一個(gè)，共2個(gè)后測視攝像頭；

　　4、前后門中柱靠上端兩側(cè)各一個(gè)，共2個(gè)側(cè)視攝像頭；

　　5、后窗上部中間1個(gè)后視攝像頭；

　　6、除上述8個(gè)攝像頭外，還有一個(gè)在后車牌位置上部專門負(fù)責(zé)倒車的倒車攝像頭1個(gè)；

　　7、前保險(xiǎn)杠中部的毫米波雷達(dá)1個(gè)。

　　四、各傳感器的測量范圍及最大測量距離

　　各傳感器的測量范圍角度大致如圖所示，最大測量距離可列表如下：

　　五、完全自動(dòng)駕駛的實(shí)現(xiàn)

　　依靠以上傳感器，未來特斯拉將實(shí)現(xiàn)以下完全自動(dòng)駕駛：

　　1、實(shí)現(xiàn)自動(dòng)變道，系統(tǒng)識(shí)別到相鄰車道沒有車時(shí)，可以自動(dòng)并過去。到達(dá)高速路口出口時(shí)，車輛會(huì)自動(dòng)減速駛出，并提示駕駛員接管；

　　2、蜿蜒的復(fù)雜道路也不是問題，傳感器能夠保證特斯拉始終行駛在車道內(nèi)。

　　3、召喚模式也將加入。車輛將可以自動(dòng)從停車場駛出，開到你的身邊。

　　4、在復(fù)雜的城市路況下，特斯拉也能夠應(yīng)付自如。

　　5、自動(dòng)泊車將會(huì)更加的智能。到了停車場門口，你就可以下車了，車輛將會(huì)自動(dòng)尋找車位并停進(jìn)去。

　　相比硬件來說，在軟件和實(shí)際測試上需要花費(fèi)的時(shí)間恐怕還要多得多。所以特斯拉讓我們離自動(dòng)駕駛近了一步，但是還有很多路要走。

　　在V8.0版本更新公告中，特斯拉官方部分承認(rèn)了視頻傳感器存在的瑕疵，并表示會(huì)加大自動(dòng)駕駛技術(shù)中雷達(dá)采集信息的比重以及進(jìn)一步優(yōu)化系統(tǒng)判斷邏輯。此外，特斯拉悄然將技術(shù)名稱由自動(dòng)駕駛系統(tǒng)改為了自動(dòng)輔助駕駛系統(tǒng)。由于V8.0版本發(fā)布的時(shí)間處于自動(dòng)駕駛事故發(fā)生之后，外界均猜測這是特斯拉對此前漏洞的彌補(bǔ)，這也是特斯拉對自動(dòng)駕駛技術(shù)路線的第一次更改。為了實(shí)現(xiàn)自動(dòng)駕駛功能，采集信息由主攝像頭為主、雷達(dá)為輔變?yōu)榱死走_(dá)為主、攝像頭為輔?？?0天后公布匆匆公布的第二代自動(dòng)輔助駕駛功能中提到的更新細(xì)則里，攝像頭再次重回主角地位。也就是說，特斯拉實(shí)現(xiàn)自動(dòng)輔助駕駛技術(shù)的路線回歸了一切的原點(diǎn)。