人類對(duì)計(jì)算機(jī)視覺(jué)感興趣的最重要的問(wèn)題是圖像分類 (Image Classification)、目標(biāo)檢測(cè) (Object Detection) 和圖像分割 (Image Segmentation)，同時(shí)它們的難度也是依次遞增。

今天我們來(lái)聊聊圖像分割(Image Segmentation)。

? PART.01

什么是圖像分割？

顧名思義，圖像分割是將一個(gè)圖像分割成多個(gè)片段的過(guò)程。在這個(gè)過(guò)程中，圖像中的每個(gè)像素都與一個(gè)對(duì)象類型相關(guān)聯(lián)。

對(duì)于圖像分割任務(wù)而言，我們可以將其細(xì)分為語(yǔ)義分割、實(shí)例分割和全景分割三種類別。

1 語(yǔ)義分割 ? ? ?

將圖像中的所有像素劃分為有意義的對(duì)象類。這些類是“語(yǔ)義上可解釋的”，并對(duì)應(yīng)于現(xiàn)實(shí)世界的類別。例如，你可以將與貓相關(guān)的所有像素分離出來(lái)，并將它們涂成綠色。這也被稱為dense預(yù)測(cè)，因?yàn)樗A(yù)測(cè)了每個(gè)像素的含義。

2 實(shí)例分割 ? ? ?

標(biāo)識(shí)圖像中每個(gè)對(duì)象的每個(gè)實(shí)例。它與語(yǔ)義分割的不同之處在于它不是對(duì)每個(gè)像素進(jìn)行分類。如果一幅圖像中有三輛車(chē)，語(yǔ)義分割將所有的車(chē)分類為一個(gè)實(shí)例，而實(shí)例分割則識(shí)別每一輛車(chē)。

3 全景分割 ? ? ?

要求圖像中的每個(gè)像素點(diǎn)都必須被分配給一個(gè)語(yǔ)義標(biāo)簽和一個(gè)實(shí)例id。其中，語(yǔ)義標(biāo)簽指的是物體的類別，而實(shí)例id則對(duì)應(yīng)同類物體的不同編號(hào)。

如上圖所示，輸入的是一張街拍場(chǎng)景的圖片。

語(yǔ)義分割任務(wù)只能區(qū)分不同的類別，無(wú)法區(qū)別相同的類別；

實(shí)例分割任務(wù)不僅可以區(qū)分不同的類別，也可以區(qū)分相同類別中的不同個(gè)數(shù)，如圖片中的行人和車(chē)輛 ，不同的人用不同的顏色進(jìn)行顯示；

全景分割則是語(yǔ)義分割和實(shí)例分割的交集。

PART.02 ? 經(jīng)典算法剖析 01 ? U-Net

可視化時(shí)，其架構(gòu)看起來(lái)像字母U，因此名稱為U-Net。

UNet是一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割算法，它于2015年由Olaf Ronneberger等人提出。與FCN等分割算法不同，UNet采用了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，能夠更好地處理物體邊緣和小的物體。

它的體系結(jié)構(gòu)由兩部分組成，左邊部分是收縮路徑，右邊部分是擴(kuò)展路徑。收縮路徑的目的是捕獲上下文，而擴(kuò)展路徑的作用是幫助精確定位。

UNet算法采用了跳躍連接，能夠更好地保留圖像的信息，使得算法更適用于分割小物體和物體之間的邊界。該算法在實(shí)際應(yīng)用中被廣泛使用，特別是在醫(yī)學(xué)圖像分割領(lǐng)域，如肝臟分割和胰腺分割等。

?

02 ? ?FastFCN

(圖片來(lái)自網(wǎng)絡(luò)）

在這種結(jié)構(gòu)中，聯(lián)合金字塔上采樣(JPU)模塊被用來(lái)代替擴(kuò)展卷積，因?yàn)樗鼈兿拇罅康膬?nèi)存和時(shí)間。它的核心是一個(gè)全連接網(wǎng)絡(luò)，同時(shí)使用JPU進(jìn)行上采樣。JPU將低分辨率特征圖提升為高分辨率特征圖。

?

03 ? Mask-RCNN

Mask RCNN是一種深度學(xué)習(xí)圖像分割算法，它是RCNN系列算法的最新版本，在Faster RCNN和Mask RCNN的基礎(chǔ)上加入了全新的分割網(wǎng)絡(luò)。

在這種體系結(jié)構(gòu)中，使用bounding box和語(yǔ)義分割對(duì)對(duì)象進(jìn)行分類和定位，并將每個(gè)像素分類為一組類別。

?

? PART.03 ? 圖像分割的場(chǎng)景應(yīng)用

1? ??醫(yī)學(xué)影像診斷

圖像分割算法可以針對(duì)人體各器官進(jìn)行精細(xì)的分割，協(xié)助醫(yī)生完成一些醫(yī)學(xué)診斷的問(wèn)題。該功能已經(jīng)在一些醫(yī)院有所應(yīng)用。

如圖，左邊第一張圖是大腦的MR原圖，右邊兩張是進(jìn)行圖像分割后的圖片。

這張胸片，通過(guò)圖像分割后，我們可以很清晰的分辨出肺、鎖骨和心臟的位置。

02 ? ? 自動(dòng)駕駛

圖像分割最著名的應(yīng)用應(yīng)該非自動(dòng)駕駛莫屬了。

目標(biāo)分割可以應(yīng)用在自動(dòng)駕駛場(chǎng)景中完成靜態(tài)障礙物和動(dòng)態(tài)障礙物的精準(zhǔn)分割，從而構(gòu)建一個(gè)語(yǔ)義地圖傳遞給后面的規(guī)劃和控制模塊。

03 ? ? 自動(dòng)扣圖

圖像分割可以把每個(gè)物體所在位置的像素給分別標(biāo)注出來(lái)，那么這是不是跟我們的摳圖任務(wù)有類似呢。

比如把一張商品的圖片送進(jìn)模型，通過(guò)圖像分割我們是不是可以分辨出哪些像素屬于背景，哪些像素屬于前景（商品）呢？

最后一個(gè),我們生活中有遇到過(guò)的運(yùn)用。不知道大家有沒(méi)有在某些購(gòu)物APP上，使用過(guò)3D試穿功能呢。就是選擇好我們想是穿的衣物，通過(guò)手機(jī)攝像頭對(duì)準(zhǔn)我們要試穿的身體部位，那么手機(jī)上就會(huì)呈現(xiàn)出我們穿上這一衣物的樣子。

這其實(shí)也是需要通過(guò)圖像分割來(lái)分割出我們身體上應(yīng)該穿上衣服的部位的。

同時(shí)，還有一種虛擬化妝的任務(wù)，其實(shí)原理也跟虛擬試穿類似。

編輯：黃飛