實(shí)例分割和語(yǔ)義分割長(zhǎng)期以來(lái)都是運(yùn)用不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)完成的，雖然最近出現(xiàn)了將語(yǔ)義和實(shí)例分割進(jìn)行結(jié)合的“全景分割”，但經(jīng)典方法仍將兩者視為獨(dú)立的任務(wù)。近日，F(xiàn)acebook AI 使用單一神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)同時(shí)完成實(shí)例分割（識(shí)別出圖片前景中的人或者動(dòng)物）和語(yǔ)義分割（對(duì)圖片背景中的像素進(jìn)行分類）。他們的研究則通過(guò)統(tǒng)一的神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)同時(shí)實(shí)現(xiàn)實(shí)例和語(yǔ)義分割，這一新架構(gòu)實(shí)現(xiàn)了對(duì)內(nèi)存和計(jì)算資源的高效利用，也可以作為全景分割任務(wù)的基準(zhǔn)。

原理：這一新架構(gòu)“全景 FPN ”在 Facebook 2017 年發(fā)布的 Mask R-CNN 的基礎(chǔ)上添加了一個(gè)用于語(yǔ)義分割的分支。這一新架構(gòu)可以同時(shí)對(duì)圖像進(jìn)行實(shí)例和語(yǔ)義分割，而且精確度與只進(jìn)行實(shí)例或語(yǔ)義分割的神經(jīng)網(wǎng)絡(luò)相當(dāng)，這相當(dāng)于能將傳統(tǒng)方法所需要的計(jì)算資源減半。在 COCO 和 Cityscapes 數(shù)據(jù)集上的測(cè)試顯示在計(jì)算資源相同的條件下全景 FPN 的表現(xiàn)遠(yuǎn)優(yōu)于使用兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)分別進(jìn)行實(shí)例和語(yǔ)義分割。

重要性：全景 FPN 架構(gòu)統(tǒng)一，方便實(shí)現(xiàn)而且資源利用率高，為之后的全景分割研究設(shè)立了基準(zhǔn)。對(duì)計(jì)算資源要求的降低以及對(duì)圖像理解的深入也會(huì)對(duì)需要進(jìn)行復(fù)雜圖像實(shí)時(shí)處理的識(shí)別系統(tǒng)產(chǎn)生深遠(yuǎn)的影響。將圖片前景中物體的分割與背景分割作為一個(gè)統(tǒng)一的任務(wù)對(duì)我們理解圖片中場(chǎng)景并據(jù)此完成進(jìn)一步的操作至關(guān)重要。