顯著性檢測(cè)的主要任務(wù)是檢測(cè)出圖像中具有最獨(dú)特視覺(jué)特征的目標(biāo)區(qū)域，它在視覺(jué)內(nèi)容編輯、目標(biāo)檢測(cè)、渲染、分割等領(lǐng)域有著重要的應(yīng)用。深度學(xué)習(xí)特別是全卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展極大地促進(jìn)了顯著性檢測(cè)的進(jìn)步，但目前的方法對(duì)于目標(biāo)邊緣的處理還比較粗糙。 為了獲取更為精確的顯著性目標(biāo)區(qū)域，來(lái)自南開(kāi)大學(xué)的研究人員利用顯著性邊緣和顯著性目標(biāo)間的互補(bǔ)性提出了一種邊緣引導(dǎo)的顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)EGNet，大幅度改進(jìn)了顯著性檢驗(yàn)的邊緣效果和定位效果，并在多個(gè)數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。

EGNet

對(duì)于顯著性目標(biāo)檢測(cè)來(lái)說(shuō)，先前的方法都沒(méi)有重視顯著性邊緣檢測(cè)與顯著性目標(biāo)檢測(cè)間的互補(bǔ)性。一個(gè)優(yōu)異的顯著性邊緣檢測(cè)算法將有效地在定位和分割方面促進(jìn)顯著性目標(biāo)檢測(cè)算法，反之亦然。在這種思想的指導(dǎo)下，研究人員開(kāi)始探索利用單個(gè)網(wǎng)絡(luò)融合顯著性邊緣信息與顯著性目標(biāo)信息來(lái)實(shí)現(xiàn)更好的端到端顯著性檢測(cè)。

這一網(wǎng)絡(luò)的主要任務(wù)在于對(duì)互補(bǔ)信息建模，并利用兩種顯著性信息來(lái)提升檢測(cè)的性能。網(wǎng)絡(luò)的框架如下圖所示，包含了主干網(wǎng)絡(luò)和用于互補(bǔ)信息融合顯著性檢測(cè)的多個(gè)模塊。

研究人員首先使用VGG作為相對(duì)獨(dú)立的主干網(wǎng)絡(luò)對(duì)圖像進(jìn)行不同層級(jí)的信息抽取，并將這五路不同層級(jí)的旁支特征送入后續(xù)的融合與檢測(cè)模塊中。其中Conv1-2感受野太小沒(méi)有被采用，而Conv2-2則主要包含邊緣信息，用于后續(xù)的邊緣顯著性檢測(cè)和顯著性目標(biāo)檢測(cè)。

隨后需要分別對(duì)圖像中的顯著性目標(biāo)特征和邊緣特征進(jìn)行有效抽取和融合。研究人員采用了漸進(jìn)式的屬性目標(biāo)特征抽取(PSFEM部分)和非局域的顯著性邊緣特征抽取(NLSEM)。

研究人員使用了U-Net架構(gòu)來(lái)抽取多分辨率特征，以便獲取更豐富的紋理信息。在原始U-Net的基礎(chǔ)上，在旁支上添加了三個(gè)卷積層以獲取更為魯棒的顯著性信息。最終每一層級(jí)輸出mask并與GT值進(jìn)行比較以獲取目標(biāo)特征損失。

為了構(gòu)建并抽取邊緣特征，研究人員使用了VGG中的Conv2-2輸出特征來(lái)進(jìn)行處理。然而局域信息不足以獲取完整的顯著性邊緣特征，所有還需要結(jié)合頂部的語(yǔ)義信息。此外最頂層的層感受野最大定位也最為準(zhǔn)確，于是研究人員設(shè)計(jì)了一種自定向下的定位信息傳輸機(jī)制，將Conv6-3經(jīng)過(guò)卷積后的特征與Conv2-2進(jìn)行結(jié)合，最后利用GT的顯著性邊緣來(lái)獲取邊緣損失。

在獲取互補(bǔ)的顯著性邊緣及目標(biāo)特征后，就可以利用邊緣信息來(lái)引導(dǎo)顯著性特征信息實(shí)現(xiàn)更好的檢測(cè)。研究人員將不同層級(jí)目標(biāo)特征的結(jié)果與邊緣特征FE進(jìn)行融合實(shí)現(xiàn)特征提升。隨后得到不同層級(jí)特征下獲取的掩膜結(jié)果，同時(shí)在每個(gè)結(jié)果上添加監(jiān)督信號(hào)。最終將多尺度的掩膜融合起來(lái)得到最終的融合結(jié)果。

優(yōu)異結(jié)果

由于需要對(duì)算法性能進(jìn)行測(cè)試，研究人員首先在DUST數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并在ECSSD,PASCAL-S,DUT-OMRON,SOD,HKUIS,DUTS,ECSSD等六個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)評(píng)。測(cè)評(píng)的指標(biāo)主要是描述平均精度和召回率的F值，描述預(yù)測(cè)結(jié)果準(zhǔn)確性的MAE和描述結(jié)構(gòu)信息的S值。

在與15種現(xiàn)有算法的比較后表明，本文提出的方法在各個(gè)數(shù)據(jù)集上都能獲得優(yōu)秀的檢測(cè)結(jié)果。在比較中分別使用了restnet和vgg作為主干網(wǎng)抽取特征，其中箭頭的上或下表示結(jié)果相較于之前取得大幅或小幅進(jìn)展：

在消融性分析中研究人員還發(fā)現(xiàn)邊緣信息對(duì)于顯著性預(yù)測(cè)十分有效，同時(shí)將頂層語(yǔ)義信息傳到底層可以得到更為精確的定位信息。邊緣信息的融合也有助于最終顯著性檢測(cè)結(jié)果?；パa(bǔ)信息可以同時(shí)提高分割和定位的效果。下表有效說(shuō)明了各個(gè)模塊帶來(lái)的性能提升。

顯著性邊緣檢測(cè)的效果也因?yàn)榛パa(bǔ)信息的輔助而得到了提升：

與多種先進(jìn)的顯著性檢測(cè)模型相比，EGNet在各種指標(biāo)和視覺(jué)效果上都有了明顯的提升：