實(shí)例分割和語義分割長期以來都是運(yùn)用不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)來完成的，雖然最近出現(xiàn)了將語義和實(shí)例分割進(jìn)行結(jié)合的“全景分割”，但經(jīng)典方法仍將兩者視為獨(dú)立的任務(wù)。近日，F(xiàn)acebook AI 使用單一神經(jīng)網(wǎng)絡(luò)架構(gòu)來同時完成實(shí)例分割（識別出圖片前景中的人或者動物）和語義分割（對圖片背景中的像素進(jìn)行分類）。他們的研究則通過統(tǒng)一的神經(jīng)網(wǎng)絡(luò)架構(gòu)來同時實(shí)現(xiàn)實(shí)例和語義分割，這一新架構(gòu)實(shí)現(xiàn)了對內(nèi)存和計算資源的高效利用，也可以作為全景分割任務(wù)的基準(zhǔn)。

原理：這一新架構(gòu)“全景 FPN ”在 Facebook 2017 年發(fā)布的 Mask R-CNN 的基礎(chǔ)上添加了一個用于語義分割的分支。這一新架構(gòu)可以同時對圖像進(jìn)行實(shí)例和語義分割，而且精確度與只進(jìn)行實(shí)例或語義分割的神經(jīng)網(wǎng)絡(luò)相當(dāng)，這相當(dāng)于能將傳統(tǒng)方法所需要的計算資源減半。在 COCO 和 Cityscapes 數(shù)據(jù)集上的測試顯示在計算資源相同的條件下全景 FPN 的表現(xiàn)遠(yuǎn)優(yōu)于使用兩個獨(dú)立的神經(jīng)網(wǎng)絡(luò)分別進(jìn)行實(shí)例和語義分割。

重要性：全景 FPN 架構(gòu)統(tǒng)一，方便實(shí)現(xiàn)而且資源利用率高，為之后的全景分割研究設(shè)立了基準(zhǔn)。對計算資源要求的降低以及對圖像理解的深入也會對需要進(jìn)行復(fù)雜圖像實(shí)時處理的識別系統(tǒng)產(chǎn)生深遠(yuǎn)的影響。將圖片前景中物體的分割與背景分割作為一個統(tǒng)一的任務(wù)對我們理解圖片中場景并據(jù)此完成進(jìn)一步的操作至關(guān)重要。