語(yǔ)義分割是計(jì)算機(jī)視覺(jué)中的任務(wù)，語(yǔ)義分割讓我們對(duì)圖像的理解比圖像分類和目標(biāo)物體檢測(cè)更詳細(xì)。這種對(duì)細(xì)節(jié)的理解在很多領(lǐng)域都非常重要，包括自動(dòng)駕駛、機(jī)器人和圖片搜索引擎。來(lái)自斯坦福大學(xué)的Andy Chen和Chaitanya Asawa為我們?cè)敿?xì)介紹了進(jìn)行精確語(yǔ)義分割都需要哪些條件。本文將重點(diǎn)講解利用深度學(xué)習(xí)模型實(shí)現(xiàn)監(jiān)督式語(yǔ)義分割。

人類如何描述一個(gè)場(chǎng)景？我們可能會(huì)說(shuō)“窗戶下面有一張桌子”或者“沙發(fā)右邊有一盞臺(tái)燈”。將場(chǎng)景分割成獨(dú)立的實(shí)體是理解一張圖像的關(guān)鍵，它讓我們了解目標(biāo)物體的行為。

當(dāng)然，目標(biāo)檢測(cè)方法可以幫我們?cè)谔囟▽?shí)體周圍畫出邊界框。但是要想像人類一樣對(duì)場(chǎng)景有所了解還需要對(duì)每個(gè)實(shí)體的邊界框進(jìn)行監(jiān)測(cè)和標(biāo)記，并精確到像素級(jí)。這項(xiàng)任務(wù)變得越來(lái)越重要，因?yàn)槲覀冮_(kāi)始創(chuàng)建自動(dòng)駕駛汽車和智能機(jī)器人，它們都需要對(duì)周圍環(huán)境有著精確的理解。來(lái)自斯坦福大學(xué)的Andy Chen和Chaitanya Asawa就為我們?cè)敿?xì)介紹了進(jìn)行精確語(yǔ)義分割都需要哪些條件。以下是論智的編譯。

什么是語(yǔ)義分割

語(yǔ)義分割是計(jì)算機(jī)視覺(jué)中的任務(wù)，在這一過(guò)程中，我們將視覺(jué)輸入中的不同部分按照語(yǔ)義分到不同類別中。通過(guò)“語(yǔ)義理解”，各類別有一定的現(xiàn)實(shí)意義。例如，我們可能想提取圖中所有關(guān)于“汽車”的像素，然后把顏色涂成藍(lán)色。

雖然例如聚類等無(wú)監(jiān)督的方法可以用于分割，但是這樣的結(jié)果并不是按照語(yǔ)義分類的。這些方法并非按照訓(xùn)練方法進(jìn)行分割，而是按照更通用的方法。

語(yǔ)義分割讓我們對(duì)圖像的理解比圖像分類和目標(biāo)物體檢測(cè)更詳細(xì)。這種對(duì)細(xì)節(jié)的理解在很多領(lǐng)域都非常重要，包括自動(dòng)駕駛、機(jī)器人和圖片搜索引擎。這篇文章將重點(diǎn)講解利用深度學(xué)習(xí)模型實(shí)現(xiàn)監(jiān)督式語(yǔ)義分割。

數(shù)據(jù)集和標(biāo)準(zhǔn)

經(jīng)常用于訓(xùn)練語(yǔ)義分割模型的數(shù)據(jù)集有：

Pascal VOC 2012：其中有20個(gè)類別，包括人物、交通工具等等。目的是為了分割目標(biāo)物體類別或背景。

Cityscapes：從50個(gè)城市收集的景觀數(shù)據(jù)集。

Pascal Context：有超過(guò)400種室內(nèi)和室外場(chǎng)景。

Stanford Background Dataset：該數(shù)據(jù)集全部由室外場(chǎng)景組成，但每張圖片都有至少一個(gè)前景。

用來(lái)評(píng)估語(yǔ)義分割算法性能的標(biāo)準(zhǔn)是平均IoU（Intersection Over Union），這里IoU被定義為：

這一標(biāo)準(zhǔn)能保證我們不僅能捕捉到每個(gè)目標(biāo)對(duì)象，還能非常精確地完成這一任務(wù)。

語(yǔ)義分割過(guò)程（Pipeline）

在高級(jí)過(guò)程中，通常應(yīng)用語(yǔ)義分割模型的過(guò)程如下：

輸入→分類器→后處理→最終結(jié)果

之后我們將詳細(xì)討論分類器和后處理的過(guò)程。

結(jié)構(gòu)和分割方法

用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類

最近進(jìn)行語(yǔ)義分割的結(jié)構(gòu)大多用的是卷積神經(jīng)網(wǎng)絡(luò)（CNN），它首先會(huì)給每個(gè)像素分配最初的類別標(biāo)簽。卷積層可以有效地捕捉圖像的局部特征，同時(shí)將這樣的圖層分層嵌入，CNN嘗試提取更寬廣的結(jié)構(gòu)。隨著越來(lái)越多的卷積層捕捉到越來(lái)越復(fù)雜的圖像特征，一個(gè)卷積神經(jīng)網(wǎng)絡(luò)可以將圖像中的內(nèi)容編碼成緊湊的表示。

但是想要將單獨(dú)的像素映射到標(biāo)簽，我們需要在一個(gè)編碼-解碼器設(shè)置中增強(qiáng)標(biāo)準(zhǔn)的CNN編碼器。在這個(gè)設(shè)置中，編碼器用卷積層和池化層減少圖像的寬度和高度，達(dá)到一個(gè)更低維的表示。之后將其輸入到解碼器中，通過(guò)上采樣“恢復(fù)”空間維度，在每個(gè)解碼器的步驟上擴(kuò)大表示的尺寸。在一些情況中，編碼器中間的步驟是用來(lái)幫助解碼器的步驟的。最終，解碼器生成了一群表示原始圖像的標(biāo)簽。

SCNet的編碼-解碼設(shè)置

在許多語(yǔ)義分割結(jié)構(gòu)中，CNN想要最小化的損失函數(shù)是交叉熵?fù)p失。這一目標(biāo)函數(shù)測(cè)量每個(gè)像素的預(yù)測(cè)概率分布與它實(shí)際概率分布的距離。

然而，交叉熵?fù)p失對(duì)語(yǔ)義分割并不理想，因?yàn)橐粡垐D像的最終損失僅僅是每個(gè)像素?fù)p失的總和，而交叉熵?fù)p失不是并行的。由于交叉熵?fù)p失無(wú)法在像素間添加更高級(jí)的架構(gòu)，所以最小化交叉熵的標(biāo)簽會(huì)經(jīng)常變得不完整或者失真，這時(shí)候就需要后處理了。

用條件隨機(jī)場(chǎng)進(jìn)行改進(jìn)

CNN中的原始標(biāo)簽經(jīng)常是經(jīng)過(guò)補(bǔ)綴的圖像，其中可能有一些地方是錯(cuò)誤的標(biāo)簽，與周圍的像素標(biāo)簽不一致。為了解決這一不連貫的問(wèn)題，我們可以應(yīng)用一種令其變光滑的技術(shù)。我們想保證目標(biāo)物體所在圖像區(qū)域是連貫的，同時(shí)任何像素都與其周圍有著相同的標(biāo)簽。

為了解決這一問(wèn)題，一些架構(gòu)用到了條件隨機(jī)場(chǎng)（CRFs），它利用原始圖像中像素的相似性調(diào)整CNN的標(biāo)簽。

條件隨機(jī)場(chǎng)的示例

一個(gè)條件隨機(jī)場(chǎng)是由隨機(jī)變量組成的圖形。在這一語(yǔ)境中，每個(gè)節(jié)點(diǎn)代表：

特定像素的CNN標(biāo)簽（綠色）

特定像素的實(shí)際物體標(biāo)簽（黃色）

每個(gè)連接線中編碼了兩個(gè)類型的信息：

藍(lán)色：兩像素中實(shí)際標(biāo)簽之間的相關(guān)性

紅色：CNN原始預(yù)測(cè)和給定像素的實(shí)際標(biāo)簽之間的依賴關(guān)系

每種依賴關(guān)系都與潛力有關(guān)，它是由兩個(gè)相關(guān)隨機(jī)變量表示的函數(shù)。例如，當(dāng)相鄰像素的實(shí)際標(biāo)簽相同時(shí)，第一種依賴關(guān)系的可能性更高。更直接地說(shuō)，對(duì)象標(biāo)簽起到隱藏變量的作用，可以根據(jù)某些概率分布生成可觀察的CNN像素標(biāo)簽。

要用CRF調(diào)整標(biāo)簽，我們首先用訓(xùn)練數(shù)據(jù)學(xué)習(xí)圖像模型的參數(shù)。然后，我們?cè)僬{(diào)整參數(shù)使概率最大化。CRF推斷的輸出就是原始圖像像素的最終目標(biāo)標(biāo)簽。

在實(shí)際中，CRF圖形是完全連接的，這意味著即使與節(jié)點(diǎn)相對(duì)的像素距離很遠(yuǎn)，仍然可以在一條連接線上。這樣的圖形有幾十億條連接線，在計(jì)算實(shí)際的推斷時(shí)非常耗費(fèi)計(jì)算力。CRF架構(gòu)將用高效的估算技術(shù)進(jìn)行推斷。

分類器結(jié)構(gòu)

CNN分類之后的CRF調(diào)整只是語(yǔ)義分割過(guò)程的一個(gè)示例。許多研究論文都討論過(guò)這一過(guò)程的變體：

U-Net通過(guò)生成原始訓(xùn)練數(shù)據(jù)的變形版本增強(qiáng)其訓(xùn)練數(shù)據(jù)。這一步驟讓CNN的編碼-解碼器在應(yīng)對(duì)這樣的變形時(shí)更加穩(wěn)定，同時(shí)能在更少的訓(xùn)練圖像中學(xué)習(xí)。當(dāng)在一個(gè)不到40張的醫(yī)學(xué)圖像集中訓(xùn)練時(shí)，模型的IoU分?jǐn)?shù)依然達(dá)到了92%。

DeepLab結(jié)合了CNN編碼-解碼器和CRF調(diào)整，生成了它的對(duì)象標(biāo)簽（作者強(qiáng)調(diào)了解碼過(guò)程中的上采樣）。空洞卷積使用每層不同尺寸的過(guò)濾器，讓每個(gè)圖層捕捉到不同規(guī)模大小的特征。在Pascal VOC 2012測(cè)試集上，這一結(jié)構(gòu)的平均IoU分?jǐn)?shù)為70.3%。

Dilation10是空洞卷積的替代方法。在Pascal VOC 2012測(cè)試集上，它的平均IoU分?jǐn)?shù)為75.3%。

其他訓(xùn)練過(guò)程

現(xiàn)在我們關(guān)注一下最近的訓(xùn)練案例，與含有各種元素、優(yōu)化不同的是，這些方法都是端到端的。

完全差分條件隨機(jī)場(chǎng)

Zheng等人提出的CRF-RNN模型介紹了一種將分類和后處理結(jié)合到一種端到端模型的方法，同時(shí)優(yōu)化兩個(gè)階段。因此，例如CRF高斯核的權(quán)重參數(shù)就可以自動(dòng)學(xué)習(xí)。它們浮現(xiàn)了推理近似算法作為卷積而達(dá)到這一目的，同時(shí)使用循環(huán)神經(jīng)網(wǎng)絡(luò)模擬推理算法的完全迭代本性。

分別用FCN-8s、DeepLab和CRF-RNN生成的兩張圖片的分割

對(duì)抗訓(xùn)練

最近，還有人研究了利用對(duì)抗訓(xùn)練幫助開(kāi)發(fā)更高程度的一致性。受到生成對(duì)抗網(wǎng)絡(luò)的啟發(fā)，Luc等人訓(xùn)練了一個(gè)標(biāo)準(zhǔn)的CNN用來(lái)做語(yǔ)義分割，同時(shí)還有一個(gè)對(duì)抗網(wǎng)絡(luò)，試著學(xué)習(xí)標(biāo)準(zhǔn)分割與預(yù)測(cè)分割之間的區(qū)別。分割網(wǎng)絡(luò)的目的是生成對(duì)抗網(wǎng)絡(luò)無(wú)法分辨的語(yǔ)義分割。

這里的中心思想是，我們想讓我們的分割看起來(lái)盡可能真實(shí)。如果其他網(wǎng)絡(luò)可以輕易識(shí)破，那么我們做出的分割預(yù)測(cè)就不夠好。

隨時(shí)間進(jìn)行分割

我們?nèi)绾晤A(yù)測(cè)目標(biāo)物體在未來(lái)會(huì)如何呢？我們可以對(duì)某一場(chǎng)景中的分割動(dòng)作建模。這可以應(yīng)用到機(jī)器人或自動(dòng)交通工具中，這些產(chǎn)品需要對(duì)物體的移動(dòng)進(jìn)行建模，從而做計(jì)劃。

Luc等人在2017年討論了這一問(wèn)題，在論文中他們表示直接預(yù)測(cè)未來(lái)的語(yǔ)義分割會(huì)生成比預(yù)測(cè)未來(lái)框架然后再分割更好的性能。

他們用了自動(dòng)回歸模型，用過(guò)去的分割預(yù)測(cè)下一個(gè)分割，以此類推。

最終發(fā)現(xiàn)這種方法長(zhǎng)期的性能不太好，中短期來(lái)看效果不錯(cuò)。

結(jié)語(yǔ)

在這之中的很多方法，例如U-Net，都遵循了一個(gè)基礎(chǔ)結(jié)構(gòu)：我們引用深度學(xué)習(xí)（或卷積網(wǎng)絡(luò)），之后用傳統(tǒng)概率的方法進(jìn)行后處理。雖然卷積網(wǎng)絡(luò)的原始輸出不太完美，后處理能將分割的標(biāo)簽調(diào)整到接近人類的水平。

其他方法，例如對(duì)抗學(xué)習(xí)，可以看作是分割的強(qiáng)大端到端解決方案。與之前的CRF步驟不同，端到端技術(shù)無(wú)需人類建模調(diào)整原始預(yù)測(cè)。由于這些技術(shù)目前的性能比多步驟的方案都好，未來(lái)將有更多關(guān)于端到端算法的研究。