使用 CNN 處理圖像問題已經(jīng)是常規(guī)操作，但此類方法會造成局部位置信息的損失。如何解決這個問題呢？來自中科院自動化所和北京中醫(yī)藥大學(xué)的研究者另辟蹊徑，提出用圖卷積網(wǎng)絡(luò)解決語義分割問題。

論文鏈接：https://arxiv.org/pdf/2001.00335.pdf 使用深度學(xué)習(xí)執(zhí)行語義分割在圖像像素分類方面取得了巨大進步。但是，深度學(xué)習(xí)提取高級特征時往往忽略了局部位置信息（local location information），而這對于圖像語義分割而言非常重要。 為了避免上述問題，來自中科院自動化所、北京中醫(yī)藥大學(xué)的研究者們提出一個執(zhí)行圖像語義分割任務(wù)的圖模型 Graph-FCN，該模型由全卷積網(wǎng)絡(luò)（FCN）進行初始化。 首先，通過卷積網(wǎng)絡(luò)將圖像網(wǎng)格數(shù)據(jù)擴展至圖結(jié)構(gòu)數(shù)據(jù)，這樣就把語義分割問題轉(zhuǎn)換成了圖節(jié)點分類問題；然后，使用圖卷積網(wǎng)絡(luò)解決圖節(jié)點分類問題。 研究者稱，這是首次將圖卷積網(wǎng)絡(luò)用于圖像語義分割的嘗試。該方法在 VOC 數(shù)據(jù)集上獲得了有競爭力的 mIOU 性能，相比原始 FCN 模型有 1.34% 的性能提升。

Graph-FCN 架構(gòu)圖。

語義分割問題的難點 語義分割是計算機視覺領(lǐng)域中的重要課題，其復(fù)雜程度超過分類和檢測任務(wù)。這項密集預(yù)測任務(wù)需要預(yù)測每個像素的類別，也就是說它需要從高級語義信息和局部位置信息中學(xué)習(xí)目標(biāo)輪廓、目標(biāo)位置和目標(biāo)類別。 基于深度學(xué)習(xí)的語義分割方法，具體而言即卷積神經(jīng)網(wǎng)絡(luò)（CNN），為該領(lǐng)域帶來了一系列巨大進展。提取高級特征的強大泛化能力使得圖像分類和檢測任務(wù)取得了非常好的性能，但伴隨泛化而來的局部位置信息損失則為密集預(yù)測任務(wù)增加了難度。具備較大感受野的高級語義信息對應(yīng)卷積神經(jīng)網(wǎng)絡(luò)中的小型特征圖，這類圖會造成像素級局部位置信息的損失。 多種基于深度學(xué)習(xí)的方法對該問題帶來了改進，如全卷積網(wǎng)絡(luò) [16]、Segent [1]、Deeplab 方法 [2,3,4]。這些工作使用全連接層、空洞卷積和金字塔結(jié)構(gòu)，來減少提取高級特征過程中的位置信息損失。 中科院等提出語義分割難題新解法 首先，研究者為圖像語義分割問題構(gòu)建圖節(jié)點模型。圖模型方法廣泛應(yīng)用于分割問題，這類方法將像素視作節(jié)點，將節(jié)點之間的差異度（dissimilarity）視作邊（edge）。最優(yōu)的分割即對圖執(zhí)行最大割（maximum cut）。 結(jié)合了概率論和圖論的概率圖模型方法（如馬爾可夫隨機場和條件隨機場）被用于細(xì)化語義分割結(jié)果。這些方法將檢測到的目標(biāo)建模為圖節(jié)點，通過提取目標(biāo)之間的關(guān)系來改進檢測準(zhǔn)確率。相比于深度卷積模型把輸入數(shù)據(jù)表示為網(wǎng)格結(jié)構(gòu)，圖模型具備更靈活的跳躍連接（skip connection），因此它可以探索圖中節(jié)點之間的關(guān)系。 受限于計算量，研究者使用 FCN 初始化該圖模型。該圖模型基于小尺寸圖像構(gòu)建，其節(jié)點標(biāo)注由 FCN 進行初始化，邊的權(quán)重則由高斯核函數(shù)進行初始化。

圖 1：FCN 結(jié)構(gòu)示意圖。本研究使用 FCN-16s 作為基礎(chǔ)模型對節(jié)點標(biāo)注進行初始化。 然后使用圖卷積網(wǎng)絡(luò)（GCN）解決這個圖模型。GCN 是處理圖結(jié)構(gòu)數(shù)據(jù)的當(dāng)前最優(yōu)模型之一。基于節(jié)點的 GCN 利用消息傳播（message propagation）來交換相鄰節(jié)點之間的信息。這一過程可以在圖的較大相鄰范圍內(nèi)提取特征，其作用類似于卷積網(wǎng)絡(luò)中的卷積層和池化層。由于該過程中不會有節(jié)點消失，因此基于節(jié)點的 GCN 擴展了感受野，并避免了局部位置信息出現(xiàn)損失。 這篇論文提出了新型模型 Graph-FCN 來解決語義分割問題。研究者使用深度卷積網(wǎng)絡(luò)建模圖，并首次用 GCN 方法解決圖像語義分割任務(wù)。Graph-FCN 可以擴大感受野，同時避免局部位置信息出現(xiàn)損失。實驗表明，Graph-FCN 的性能優(yōu)于 FCN。 Graph-FCN 方法詳解 GCN 旨在解決圖結(jié)構(gòu)數(shù)據(jù)集上的學(xué)習(xí)問題。圖結(jié)構(gòu)數(shù)據(jù)可看作是三元組 G(N, E, U)，其中 N 表示圖的節(jié)點集合，即 |N| ? S 矩陣（|N| 表示圖節(jié)點數(shù)量，S 表示節(jié)點標(biāo)注向量的維度）。E 是圖的邊集合。U 對應(yīng)圖特征，由于本研究涉及任務(wù)與 U 無關(guān)，因此本研究不討論 U。 與歐幾里德空間中的數(shù)據(jù)表示不同，矩陣 N 和邊 E 并非獨特表示。矩陣 N 與 E 對應(yīng)，它們都按照節(jié)點的順序排列。研究者使用監(jiān)督學(xué)習(xí)方式訓(xùn)練模型。節(jié)點 n_j 表示圖 j 中的節(jié)點集，t_j 表示節(jié)點集 n_j 的標(biāo)注集。因此用于語義分割任務(wù)的圖模型可公式化為：

研究者將交叉熵函數(shù)作為該模型的損失函數(shù)。T_r 表示訓(xùn)練集。 節(jié)點 在本研究提出的新模型中，節(jié)點標(biāo)注由 FCN-16s 進行初始化。通過端到端訓(xùn)練后，F(xiàn)CN-16s 得到步幅為 16 和 32 的特征圖，如下圖 2 所示。對步幅為 16 的特征圖執(zhí)行因子為 2 的上采樣可以獲得與步幅為 32 的特征圖一樣的大小。（節(jié)點 j 的）標(biāo)注 x_j 由這兩個特征向量以及特征圖中每個節(jié)點位置的級聯(lián)進行初始化。該標(biāo)注包含在局部感受野上提取到的特征。在訓(xùn)練過程中，研究者通過對原始標(biāo)注圖像執(zhí)行池化操作來得到節(jié)點標(biāo)簽。

圖 2：節(jié)點標(biāo)注初始化過程。節(jié)點標(biāo)注由 FCN-16s 中兩個層的級聯(lián)進行初始化。 邊 在圖模型中，邊和鄰接矩陣相關(guān)。假設(shè)每個節(jié)點和其最鄰近的 l 個節(jié)點相連，這意味著節(jié)點標(biāo)注可以通過圖神經(jīng)網(wǎng)絡(luò)中的邊進行遷移。下圖 3 中的示例描述了圖神經(jīng)網(wǎng)絡(luò)中的感受野。假設(shè) l 為 4，那么從相關(guān)距離的影響來看，我們需要用高斯核函數(shù)獲得權(quán)重鄰接矩陣 A。

圖 3：當(dāng) l 為 4 時，雙層 GCN 的感受野。這與卷積層不同。 使用 Graph-FCN 進行訓(xùn)練 在 Graph-FCN 中，F(xiàn)CN-16s 實現(xiàn)節(jié)點分類和圖模型在小型特征圖中的初始化。同時，雙層 GCN 獲取圖中節(jié)點的分類結(jié)果。研究者分別計算這兩部分輸出的交叉熵?fù)p失。和 FCN-16s 模型一樣，Graph-FCN 也以端到端模式進行訓(xùn)練。Graph-FCN 網(wǎng)絡(luò)結(jié)構(gòu)如下圖 4 所示：

圖 4：Graph-FCN 的結(jié)構(gòu)示意圖。該模型有兩個輸出和兩個損失 L1 和 L2。它們共享卷積層提取特征的權(quán)重。L1 通過 output1 計算得到，L2 通過 output2 計算得到。通過最小化 L1 和 L2，F(xiàn)CN-16s 的性能得到了提升。 實驗 研究者在 VOC2012 數(shù)據(jù)集上對模型進行測試，實驗結(jié)果表明 Graph-FCN 的性能優(yōu)于原始 FCN 模型。

表 1：Graph-FCN 和 FCN-16s 的性能對比情況。

圖 5：圖像語義分割結(jié)果。第二列是 Graph-FCN 的結(jié)果，第三列是 FCN-16s 的結(jié)果，第四列是 ground truth。