人類對計(jì)算機(jī)視覺感興趣的最重要的問題是圖像分類 (Image Classification)、目標(biāo)檢測 (Object Detection) 和圖像分割 (Image Segmentation)，同時(shí)它們的難度也是依次遞增。

今天我們來聊聊圖像分割(Image Segmentation)。

? PART.01

什么是圖像分割？

顧名思義，圖像分割是將一個圖像分割成多個片段的過程。在這個過程中，圖像中的每個像素都與一個對象類型相關(guān)聯(lián)。

對于圖像分割任務(wù)而言，我們可以將其細(xì)分為語義分割、實(shí)例分割和全景分割三種類別。

1 語義分割 ? ? ?

將圖像中的所有像素劃分為有意義的對象類。這些類是“語義上可解釋的”，并對應(yīng)于現(xiàn)實(shí)世界的類別。例如，你可以將與貓相關(guān)的所有像素分離出來，并將它們涂成綠色。這也被稱為dense預(yù)測，因?yàn)樗A(yù)測了每個像素的含義。

2 實(shí)例分割 ? ? ?

標(biāo)識圖像中每個對象的每個實(shí)例。它與語義分割的不同之處在于它不是對每個像素進(jìn)行分類。如果一幅圖像中有三輛車，語義分割將所有的車分類為一個實(shí)例，而實(shí)例分割則識別每一輛車。

3 全景分割 ? ? ?

要求圖像中的每個像素點(diǎn)都必須被分配給一個語義標(biāo)簽和一個實(shí)例id。其中，語義標(biāo)簽指的是物體的類別，而實(shí)例id則對應(yīng)同類物體的不同編號。

如上圖所示，輸入的是一張街拍場景的圖片。

語義分割任務(wù)只能區(qū)分不同的類別，無法區(qū)別相同的類別；

實(shí)例分割任務(wù)不僅可以區(qū)分不同的類別，也可以區(qū)分相同類別中的不同個數(shù)，如圖片中的行人和車輛 ，不同的人用不同的顏色進(jìn)行顯示；

全景分割則是語義分割和實(shí)例分割的交集。

PART.02 ? 經(jīng)典算法剖析 01 ? U-Net

可視化時(shí)，其架構(gòu)看起來像字母U，因此名稱為U-Net。

UNet是一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割算法，它于2015年由Olaf Ronneberger等人提出。與FCN等分割算法不同，UNet采用了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，能夠更好地處理物體邊緣和小的物體。

它的體系結(jié)構(gòu)由兩部分組成，左邊部分是收縮路徑，右邊部分是擴(kuò)展路徑。收縮路徑的目的是捕獲上下文，而擴(kuò)展路徑的作用是幫助精確定位。

UNet算法采用了跳躍連接，能夠更好地保留圖像的信息，使得算法更適用于分割小物體和物體之間的邊界。該算法在實(shí)際應(yīng)用中被廣泛使用，特別是在醫(yī)學(xué)圖像分割領(lǐng)域，如肝臟分割和胰腺分割等。

?

02 ? ?FastFCN

(圖片來自網(wǎng)絡(luò)）

在這種結(jié)構(gòu)中，聯(lián)合金字塔上采樣(JPU)模塊被用來代替擴(kuò)展卷積，因?yàn)樗鼈兿拇罅康膬?nèi)存和時(shí)間。它的核心是一個全連接網(wǎng)絡(luò)，同時(shí)使用JPU進(jìn)行上采樣。JPU將低分辨率特征圖提升為高分辨率特征圖。

?

03 ? Mask-RCNN

Mask RCNN是一種深度學(xué)習(xí)圖像分割算法，它是RCNN系列算法的最新版本，在Faster RCNN和Mask RCNN的基礎(chǔ)上加入了全新的分割網(wǎng)絡(luò)。

在這種體系結(jié)構(gòu)中，使用bounding box和語義分割對對象進(jìn)行分類和定位，并將每個像素分類為一組類別。

?

? PART.03 ? 圖像分割的場景應(yīng)用

1? ??醫(yī)學(xué)影像診斷

圖像分割算法可以針對人體各器官進(jìn)行精細(xì)的分割，協(xié)助醫(yī)生完成一些醫(yī)學(xué)診斷的問題。該功能已經(jīng)在一些醫(yī)院有所應(yīng)用。

如圖，左邊第一張圖是大腦的MR原圖，右邊兩張是進(jìn)行圖像分割后的圖片。

這張胸片，通過圖像分割后，我們可以很清晰的分辨出肺、鎖骨和心臟的位置。

02 ? ? 自動駕駛

圖像分割最著名的應(yīng)用應(yīng)該非自動駕駛莫屬了。

目標(biāo)分割可以應(yīng)用在自動駕駛場景中完成靜態(tài)障礙物和動態(tài)障礙物的精準(zhǔn)分割，從而構(gòu)建一個語義地圖傳遞給后面的規(guī)劃和控制模塊。

03 ? ? 自動扣圖

圖像分割可以把每個物體所在位置的像素給分別標(biāo)注出來，那么這是不是跟我們的摳圖任務(wù)有類似呢。

比如把一張商品的圖片送進(jìn)模型，通過圖像分割我們是不是可以分辨出哪些像素屬于背景，哪些像素屬于前景（商品）呢？

最后一個,我們生活中有遇到過的運(yùn)用。不知道大家有沒有在某些購物APP上，使用過3D試穿功能呢。就是選擇好我們想是穿的衣物，通過手機(jī)攝像頭對準(zhǔn)我們要試穿的身體部位，那么手機(jī)上就會呈現(xiàn)出我們穿上這一衣物的樣子。

這其實(shí)也是需要通過圖像分割來分割出我們身體上應(yīng)該穿上衣服的部位的。

同時(shí)，還有一種虛擬化妝的任務(wù)，其實(shí)原理也跟虛擬試穿類似。

編輯：黃飛