圖像修復(fù)技術(shù)對(duì)于眾多修圖軟件來(lái)說(shuō)十分重要，在深度學(xué)習(xí)的幫助下圖像修復(fù)算法的功能越來(lái)越強(qiáng)大，甚至對(duì)于大幅度污損的照片也能輕松修復(fù)。但目前的很多算法在進(jìn)行圖像修復(fù)時(shí)卻面臨著結(jié)構(gòu)重建問(wèn)題或細(xì)節(jié)問(wèn)題修復(fù)問(wèn)題的困難，修復(fù)結(jié)果不盡如人意。

為了解決這一問(wèn)題，來(lái)自北大、鵬城實(shí)驗(yàn)室和騰訊的研究人員提出了一種新的算法StructureFlow，將圖像修復(fù)的過(guò)程分為邊緣保持的低頻結(jié)構(gòu)重建和基于結(jié)構(gòu)的高分辨率紋理重建，并利用流的方法充分利用未受損像素的信息實(shí)現(xiàn)有效的紋理補(bǔ)全和圖像修復(fù)。

圖像修復(fù)的主要目的在于為圖像中的有效區(qū)域和污損區(qū)域生成出視覺(jué)效果完整的結(jié)構(gòu)和細(xì)節(jié)，用戶不僅可以利用這一技術(shù)修復(fù)圖像的缺失，還可以將它用于圖像編輯和物體去除等任務(wù)。圖像修復(fù)最大的難點(diǎn)在于生成正確完整的結(jié)構(gòu)和視覺(jué)效果較為真實(shí)的細(xì)節(jié)紋理。

已有的圖像修復(fù)方法

現(xiàn)存的方法主要可以分為兩大類——基于擴(kuò)散的方法和基于圖像片的方法。

基于擴(kuò)散的方法主要通過(guò)將領(lǐng)域的信息傳播到缺失的位置來(lái)實(shí)現(xiàn)紋理合成，然而這種方法只能處理一些較小的孔洞，對(duì)于較大范圍的結(jié)構(gòu)缺失則無(wú)法有效處理。

而基于圖像片的方法則不僅僅只利用缺失位置附近的像素點(diǎn)，這種方法可以有效利用更遠(yuǎn)位置的信息來(lái)恢復(fù)缺失區(qū)域?；趫D像片的方法通過(guò)搜索與污損區(qū)域結(jié)構(gòu)相似的目標(biāo)區(qū)域，并復(fù)制圖像片來(lái)重建缺失區(qū)域，這種方法可以為較大的缺失區(qū)域生成視覺(jué)效果真實(shí)紋理。這種方法一般基于雙線性相似性的方法來(lái)搜索合適的圖像片。

但基于片元的方法主要假設(shè)非污損區(qū)域包含了與污損區(qū)域語(yǔ)義相似的內(nèi)容，但如人臉檢測(cè)等任務(wù)中這種假設(shè)并不成立。這種方法在某些有重復(fù)性結(jié)構(gòu)的圖像中表現(xiàn)良好，但對(duì)于具有特殊結(jié)構(gòu)的圖像則無(wú)法有效處理。

近年來(lái)隨著深度學(xué)習(xí)的發(fā)展，很多方法將圖像修復(fù)問(wèn)題視為一個(gè)條件生成問(wèn)題，將污損圖像作為網(wǎng)絡(luò)輸入得到修復(fù)后的圖像。基于深度學(xué)習(xí)方法的優(yōu)勢(shì)在于可以將圖像中的有效語(yǔ)義信息進(jìn)行抽取，并生成新的圖像。

人們提出了包括基于自編碼器架構(gòu)、處理全局和局部?jī)?nèi)容的判別器、構(gòu)建長(zhǎng)程相關(guān)性、選擇性利用有效像素以及邊緣修復(fù)等方法來(lái)進(jìn)行圖像修復(fù)但都存在著諸如長(zhǎng)程相關(guān)性無(wú)法有效表示、邊緣信息無(wú)法有效攜帶紋理等問(wèn)題，使得這些方法得到的結(jié)果都有這樣或那樣的不足。

StructureFlow

為了解決先前模型存在的問(wèn)題，研究人員們提出了一種新穎的兩階段網(wǎng)絡(luò)模型倆實(shí)現(xiàn)高質(zhì)量的圖像修復(fù)。這一模型包含了兩個(gè)部分，分別是結(jié)構(gòu)生成器和紋理細(xì)節(jié)生成器。

研究人員認(rèn)為圖像的修復(fù)過(guò)程是一個(gè)先生成有效結(jié)構(gòu)再補(bǔ)全真實(shí)細(xì)節(jié)的過(guò)程。所以網(wǎng)絡(luò)的第一部分用于生成有意義的結(jié)構(gòu)，研究人員采用了保邊平滑后的圖像來(lái)表示圖像場(chǎng)景的全局結(jié)構(gòu)。

保邊平滑方法的主要目標(biāo)在于移除圖像中的高頻紋理，同時(shí)保持銳利邊緣和低頻信息（這些信息是圖像結(jié)構(gòu)的主要組成部分）。利用保邊平滑后的圖像進(jìn)行訓(xùn)練，結(jié)構(gòu)重建器可以集中于恢復(fù)全局結(jié)構(gòu)而無(wú)需考慮細(xì)節(jié)和紋理的干擾。

在重建出缺失細(xì)節(jié)后，紋理生成器就可以基于重建出的結(jié)構(gòu)圖來(lái)合成高頻的細(xì)節(jié)了。由于圖像領(lǐng)域的相似結(jié)構(gòu)具有很強(qiáng)的相關(guān)性，所有未被污損的區(qū)域可以用于修復(fù)缺失區(qū)域的紋理。

雖然卷積網(wǎng)絡(luò)對(duì)于長(zhǎng)程相關(guān)性建模比較困難，但研究人員提出了基于圖像外觀流（appearance flow，AF）的方法來(lái)從相似結(jié)構(gòu)區(qū)域采樣，為不同區(qū)域構(gòu)建清晰關(guān)系。此外研究人員還利用了高斯采樣代替了雙線性采樣來(lái)拓展了采樣操作的感受野，并引入了新的采樣正確性損失函數(shù)來(lái)訓(xùn)練采樣過(guò)程，以此得到了性能較高的圖像修復(fù)模型。

實(shí)現(xiàn)細(xì)節(jié)

在結(jié)構(gòu)重建器中，研究人員將最小化生成的低頻結(jié)構(gòu)圖像與平滑后原圖間的誤差。第一階段的監(jiān)督信號(hào)主要來(lái)自于GT圖的平滑結(jié)果，使用了保邊平滑算法RTV來(lái)得到保持圖像主要結(jié)構(gòu)的圖片作為標(biāo)簽。模型的主要結(jié)構(gòu)基于自編碼器架構(gòu)得到，添加了一系列殘差塊用于特征的優(yōu)化提取。Gs和Gt分別代表了第一階段的結(jié)構(gòu)生成器和第二階段的紋理生成器，而判別器則使用了類似于BicycleGAN的架構(gòu)，利用了兩個(gè)不同尺度的PatchGAN來(lái)預(yù)測(cè)不同尺度生成圖像的真?zhèn)巍?/p>

值得一提的是，這一模型中使用了流的概念來(lái)將未受損區(qū)域的紋理信息賦予需要修復(fù)區(qū)域。但原始的AF方法是以一種非監(jiān)督的方法，網(wǎng)絡(luò)無(wú)法處理較大的運(yùn)動(dòng)和較差的局域最小值。

為了解決這一問(wèn)題，研究人員提出了利用高斯采樣的方法來(lái)代替原先的雙線性采樣方法以擴(kuò)展感受野，并提出了采樣正確性損失來(lái)約束可能的收斂結(jié)果。采樣過(guò)程通過(guò)輸入像素（特征）來(lái)計(jì)算梯度，如果感受野受限只能有少量像素參與計(jì)算。由于相鄰像素具有較強(qiáng)的相關(guān)性，所以較大的感受野有助于獲得較為正確和穩(wěn)定的梯度。雙線性采樣的感受野較小，不適合于長(zhǎng)程相關(guān)性的采樣建模。而高斯相關(guān)性則可以在較大的感受野中進(jìn)行采樣。下式中的權(quán)重aij便是可調(diào)整方差的高斯核。

而新提出的采樣正確性損失則用于衡量模型的采樣是否良好，并約束AF場(chǎng)的信息流動(dòng)。在實(shí)際使用中，研究人員主要使用了VGG19層的特征來(lái)計(jì)基準(zhǔn)特征和采樣特征之間的余弦距離，以判斷這一采樣是否合適。

實(shí)驗(yàn)結(jié)果

研究人員分別在Place2，Celeba和Paris StreetView數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并利用Irregular Masks數(shù)據(jù)集生成缺失污損的圖像。

利用客觀的SSIM，PSNR和FID進(jìn)行客觀測(cè)評(píng)，同時(shí)也利用MTurk平臺(tái)進(jìn)行了主觀質(zhì)量測(cè)試。下圖顯示了研究人員提出的方法與Contextual Attention（CA），Partial Convolution（PConv）和EdgeConnect等方法的比較。

下表中可以看到在多個(gè)數(shù)據(jù)集上本方法都獲得了明顯的指標(biāo)提升。

研究人員還將這一算法用于圖像編輯任務(wù)中去，將圖中不希望出現(xiàn)的物體涂上掩膜，就可以修復(fù)出完整高質(zhì)量的清晰圖像。同時(shí)也可以在結(jié)構(gòu)圖上進(jìn)行編輯為生成的圖像增加新的物體或內(nèi)容。