圖像復(fù)原是利用退化過程的某些先驗知識建立相應(yīng)的數(shù)學(xué)模型，通過求解逆問題對原始圖像進行估計進而復(fù)原被退化的圖像。但在退化過程中，噪聲和干擾因素同時存在，給圖像的復(fù)原帶來了諸多不確定性和挑戰(zhàn)。隨著深度學(xué)習(xí)研究熱潮的到來，圖像復(fù)原仍然是目前計算機視覺領(lǐng)域的重要方向，例如圖像去雨、圖像去霧和圖像去模糊等，是諸多高層視覺任務(wù)的重要預(yù)處理步驟。雨是最常見的動態(tài)惡劣天氣，因此本文重點探討圖像去雨任務(wù)。特別地，圖像去雨分為靜態(tài)單圖像去雨和動態(tài)序列圖像（即視頻）去雨。和視頻去雨相比，單圖像去雨由于缺乏時域信息因而更具挑戰(zhàn)性。圖1 展示了部分合成的雨圖像和真實的雨圖像的對比，從中可見真實雨圖中的雨紋信息是更加復(fù)雜的、多樣化的和多方向的，因此真實雨圖的復(fù)原任務(wù)更加具有挑戰(zhàn)性。

圖1 合成雨圖像和真實雨圖像的比較

1 單圖像去雨簡介

圖像去雨任務(wù)的數(shù)學(xué)問題可以簡單表示為

I=R+B （1）

即將雨圖I 分解為雨紋R 和干凈背景B，得到復(fù)原的干凈圖像。由于R 和B 均不可知，因此式（1）是一個病態(tài)問題。單圖像去雨方法大致分為基于模型+ 優(yōu)化的方法（ 非深度學(xué)習(xí)） 和基于數(shù)據(jù)+訓(xùn)練的方法（ 深度學(xué)習(xí)）。傳統(tǒng)去雨方法更多地依賴對雨紋的光學(xué)性質(zhì)進行研究，通過對雨圖進行估計，建立雨紋的先驗?zāi)Ｐ停偻ㄟ^函數(shù)進行優(yōu)化。例如稀疏編碼和高斯混合模型等。

近年來，基于模型的傳統(tǒng)方法逐漸被深度學(xué)習(xí)方法所取代。和傳統(tǒng)去雨方法相比，深度學(xué)習(xí)去雨方法取得了顯著的性能提升，主要原因歸結(jié)于，深度神經(jīng)網(wǎng)絡(luò)DNN 具有強大的特征學(xué)習(xí)能力和對圖像的映射能力；以及大量的訓(xùn)練數(shù)據(jù)為DNN 提供了足夠的信息。深度學(xué)習(xí)去雨方法使用不同的DNN（ 如CNN、RNN 和GAN 等）來提取雨圖的層級特征和雨紋信息，得到從雨圖到清晰圖像的直接映射，即端到端的。為了訓(xùn)練得到更好的深度去雨模型，與雨紋或背景相關(guān)的先驗知識也會被添加到網(wǎng)絡(luò)中，如雨紋掩模Mask 和雨紋密度信息等；也設(shè)計不同的基礎(chǔ)單元進行特征提取，如Residual Dense Block、Contextualized Dilated Block 和Spatial Attentive Module。此外，不同的深度網(wǎng)絡(luò)被提出，如循環(huán)架構(gòu)和遞歸架構(gòu)。

按照配對信息的數(shù)量和訓(xùn)練方式，目前的單圖像深度學(xué)習(xí)去雨方法可分為全監(jiān)督、無監(jiān)督和半監(jiān)督三種。圖2 展示了部分配對圖像和不成對圖像。全監(jiān)督方法的訓(xùn)練數(shù)據(jù)均為成對數(shù)據(jù)。但是真實應(yīng)用中采集的數(shù)據(jù)都是無標簽的，即沒有真值圖像，因此只使用部分甚至零配對數(shù)據(jù)的無監(jiān)督和半監(jiān)督去雨方法將具有更大的優(yōu)勢，可以有效緩解配對數(shù)據(jù)受限問題。三種去雨模式的方法框架見圖3。

圖2 配對圖像和不成對圖像的對比

圖3 全監(jiān)督/ 無監(jiān)督/ 半監(jiān)督訓(xùn)練方式的示意圖

目前大部分的深度學(xué)習(xí)去雨方法均是全監(jiān)督訓(xùn)練模式。但是由于現(xiàn)實中的雨圖不成對，目前主要通過人工加雨紋的方式制造配對數(shù)據(jù)；然而人工合成的雨紋與真實的雨紋差異很大，因此訓(xùn)練的模型在真實去雨任務(wù)上無法取得令人滿意的結(jié)果，即泛化能力差。因此，本文主要圍繞無監(jiān)督與半監(jiān)督單圖像深度學(xué)習(xí)去雨研究的最新進展進行簡要介紹。

2 無監(jiān)督單圖像深度學(xué)習(xí)去雨

由于沒有配對數(shù)據(jù)，無監(jiān)督去雨方法的研究難度更大，因此到目前為止此類方法仍然很少，代表性的幾個無監(jiān)督深度網(wǎng)絡(luò)模型包括RRGAN、UD-GAN 和DerainCycleGAN。這些基于GAN 的深度方法提出不使用成對訓(xùn)練數(shù)據(jù)的端到端的單去雨模型，通過深度網(wǎng)絡(luò)加特定的物理模型或先驗知識提取雨紋信息，得到去雨圖像。下面， 將分別對RR-GAN、UD-GAN 和Derain-CycleGAN 進行簡要介紹。

RR-GAN 的網(wǎng)絡(luò)架構(gòu)，由一個多尺度的注意力記憶生成器MAMG 和一個多尺度的深度監(jiān)督鑒別器MDSD 組成。其中，MAMG 循環(huán)遞歸地利用具有注意機制的記憶模塊不斷獲取更加精確的雨紋信息，接著將原始雨圖和雨紋圖一起輸入到U-Net 中得到復(fù)原圖像。通過MDSD 對復(fù)原的圖像進行真假判斷，使其外觀盡可能接近于無雨圖像。RR-GAN 除了使用GAN 的傳統(tǒng)損失函數(shù)，還加入了一個重構(gòu)損失函數(shù)，度量提取的雨紋加去雨得到的圖片與原始雨圖的歐氏距離。作者分別測試了在成對數(shù)據(jù)和不成對數(shù)據(jù)兩種情況下得到的去雨性能。從結(jié)果看，監(jiān)督模式的效果并沒有明顯優(yōu)于無監(jiān)督模式的效果。對于這一點，作者并沒有給出確切原因?？赡艿脑蚴荕DSD 只會對圖片是否有雨進行真假判別，而不會對圖像是否相似進行判別。

UD-GAN 提出一個無監(jiān)督的生成對抗網(wǎng)絡(luò)來處理單圖像去雨，通過引入自監(jiān)督約束解決無配對數(shù)據(jù)受限的問題。自監(jiān)督學(xué)習(xí)目前受到了深度學(xué)習(xí)領(lǐng)域的青睞和廣泛關(guān)注，Yann LeCun 在AAAI 2020 論文“Self-Supervised Learning” 中再次強調(diào)了自監(jiān)督學(xué)習(xí)的重要性。關(guān)于自監(jiān)督學(xué)習(xí)的具體細節(jié)，可查閱《中國人工智能學(xué)會通訊》2020年第10卷第1期中陳松燦教授的《自監(jiān)督學(xué)習(xí)的最新進展與展望》一文。具體地，UDGAN設(shè)計了兩個協(xié)同優(yōu)化模塊，即雨紋引導(dǎo)模塊RGM 和背景引導(dǎo)模塊BGM，來充分學(xué)習(xí)雨圖特征。其中，RGM用于區(qū)分真實雨圖和基于BGM生成器輸出的假雨圖，此功能與RR-GAN中的重構(gòu)損失函數(shù)類似。BGM采用高斯模糊處理原始雨圖和輸出的無雨圖像，通過計算不同程度的高斯模糊后的梯度誤差來確保輸入輸出內(nèi)容的一致性，效果類似于使用vgg16或者vgg19網(wǎng)絡(luò)提取特征后的感知損失。此外，由于輸出的去雨圖像與原圖存在亮度差異，還引入了亮度增強的干凈圖片作為負樣本，并將亮度對抗損失函數(shù)集成到鑒別器中。相對于RR-GAN的單個生成器和判別器，UD-GAN利用了CycleGAN的循環(huán)一致性結(jié)構(gòu)，使用了兩種生成器和兩種判別器，可以使圖片從有雨域到無雨域再到有雨域進行轉(zhuǎn)化。該方法在合成數(shù)據(jù)和真實數(shù)據(jù)上都取得了不錯的去雨結(jié)果。當同時利用合成數(shù)據(jù)和真實數(shù)據(jù)時，去雨效果甚至可超越部分全監(jiān)督學(xué)習(xí)去雨模式。

DerainCycleGAN構(gòu)建了一個雙支路網(wǎng)絡(luò)進行無監(jiān)督去雨，可分別處理和利用有雨圖片域和無雨圖片域中的信息。具體地，提出一種基于無監(jiān)督注意力引導(dǎo)的雨紋信息提取器U-ARSE，同時對有雨圖像域和無雨圖像域進行雨紋識別和提取，通過U-ARSE內(nèi)的循環(huán)遞歸來實現(xiàn)。提取出的雨紋信息（從有雨圖像中提取的是雨紋掩模信息，從無雨圖像中提取的是空白信息）與原始圖片一同輸入到對應(yīng)的生成器中分別生成去雨后圖像和加雨圖像，然后繼續(xù)生成重構(gòu)的原始圖像。為了優(yōu)化U-ARSE，設(shè)計了一個物理先驗來約束雨紋信息，并使用了較全面的損失函數(shù)來約束整個網(wǎng)絡(luò)。和RR-GAN、UD-GAN相比，該網(wǎng)絡(luò)同樣使用了兩種生成器和兩種判別器，但是RR-GAN和UD-GAN是直接利用單路結(jié)構(gòu)進行無監(jiān)督學(xué)習(xí)，而DerainCycleGAN采用了雙路結(jié)構(gòu)。由于利用了干凈圖片域的信息，進一步提高了去雨效果。此外，DerainCycleGAN還利用第二條支路來自動生成了帶雨圖片。與現(xiàn)有的合成數(shù)據(jù)相比，新生成的雨紋具有更多的方向和形狀，更加接近真實雨紋信息。作者通過對比試驗驗證了在新數(shù)據(jù)集上訓(xùn)練模型，在真實去雨任務(wù)中具有更好的效果。

3 半監(jiān)督單圖像深度學(xué)習(xí)去雨

半監(jiān)督去雨方法除了使用合成數(shù)據(jù)，還增加了真實數(shù)據(jù)進行聯(lián)合訓(xùn)練。由于合成數(shù)據(jù)和真實數(shù)據(jù)的差異較大，如何進行有效的約束和建立兩個域間的聯(lián)系是個很大挑戰(zhàn)。因此，針對半監(jiān)督去雨方法的研究也非常少，代表性的方法包括半監(jiān)督遷移學(xué)習(xí)算法SIRR 和Semi-DerainGAN 算法等。接下來，將分別對SIRR 和Semi-DerainGAN的網(wǎng)絡(luò)架構(gòu)進行簡要介紹。

SIRR使用了CNN同時處理合成圖像數(shù)據(jù)和真實數(shù)據(jù)。對于合成數(shù)據(jù)直接采用傳統(tǒng)的網(wǎng)絡(luò)輸出圖像， 與干凈圖像間的最小二乘損失（MSEloss）進行約束。對于真實數(shù)據(jù)，通過在真實圖片殘差（即真實雨圖減去真實輸出圖像）的基礎(chǔ)上設(shè)計參數(shù)化分布的似然項來約束去雨效果。最后，通過合成圖片的殘差（即合成帶雨圖像減去對應(yīng)的無雨圖像）與真實圖片的殘差之間的相對熵（即KL 散度）來約束合成圖像域與真實圖像域的去雨效果。SIRR通過監(jiān)督模式下的合成雨紋信息學(xué)習(xí)來指導(dǎo)無監(jiān)督模式下的真實雨紋信息學(xué)習(xí)，緩解了合成數(shù)據(jù)不足與樣本偏差的問題。SIRR還使用了高斯混合模型（GMM）來模擬真實雨紋，以及使用EM算法來進行求解，具有一定的指導(dǎo)意義。但是合成圖像和真實圖像中的雨紋信息差異通常很大，因此通過添加合成雨紋域和真實雨紋域之間的約束（即減少合成殘差與真實殘差之間的KL距離）來訓(xùn)練一個共用的深度網(wǎng)絡(luò)可能不合適。因為該過程會導(dǎo)致對合成數(shù)據(jù)中提取的雨紋信息進行蒸餾，降低了監(jiān)督網(wǎng)絡(luò)的精準度，使得該SIRR 模型在處理大雨情況下的圖像去雨任務(wù)時會留下較多的雨紋信息。

為了解決上述問題，Semi-DerainGAN提出了一種新的基于半監(jiān)督模式的深度單圖像去雨網(wǎng)絡(luò)。該網(wǎng)絡(luò)提出一種基于共享參數(shù)的半監(jiān)督雨紋信息學(xué)習(xí)器SSRML，可以同時訓(xùn)練合成數(shù)據(jù)和真實數(shù)據(jù)，使得真實圖像能提供更多的雨紋信息。該方法使用兩個獨立的深度網(wǎng)絡(luò)生成器分別進行合成數(shù)據(jù)和真實數(shù)據(jù)的去雨操作，可減輕在一個深度網(wǎng)絡(luò)中進行去雨所造成的知識沖突和學(xué)習(xí)力下降的問題。引入的第三個生成器可以進一步對真實數(shù)據(jù)的去雨結(jié)果進行重構(gòu)，加強有雨域和無雨域圖片的生成轉(zhuǎn)化。對于全監(jiān)督子網(wǎng)絡(luò)中的合成數(shù)據(jù)，使用了傳統(tǒng)的對抗損失、結(jié)構(gòu)相似性損失和感知損失等；對于無監(jiān)督子網(wǎng)絡(luò)中的真實數(shù)據(jù)，使用了對抗損失、TV 正則化、感知損失和循環(huán)一致性損失。為了獲得更好的去雨效果，針對性地設(shè)計了一個成對圖片鑒別器，可區(qū)分合成數(shù)據(jù)中的真假圖片對。與SIRR 相比，Semi-DerainGAN 在合成數(shù)據(jù)集和真實數(shù)據(jù)集上都取得了更好的實驗結(jié)果。但是，由于合成數(shù)據(jù)和真實數(shù)據(jù)中所包含的雨紋信息差異大，以及全監(jiān)督和半監(jiān)督訓(xùn)練中約束條件的不平衡，使用基于兩條對稱支路的訓(xùn)練可能會導(dǎo)致收斂較慢的情況。

4 結(jié)束語

現(xiàn)有對單圖像深度學(xué)習(xí)去雨方法的研究主要集中在全監(jiān)督模式上，通過使用深度神經(jīng)網(wǎng)絡(luò)結(jié)合人工先驗的方式，對合成數(shù)據(jù)中雨紋（滴）的分布進行擬合，訓(xùn)練出一個端到端的去雨網(wǎng)絡(luò)。這些方法一方面無法利用真實圖像數(shù)據(jù)進行訓(xùn)練，另一方面也無法很好地泛化到真實去雨任務(wù)中。無監(jiān)督和半監(jiān)督的單圖像深度學(xué)習(xí)去雨方法可以有效彌補這些不足，但是由于可用的先驗信息少，因而研究難度更大，關(guān)于此類研究工作目前還處于起步階段，相關(guān)方法還比較少，未來還有很大的研究空間。此外，單圖像雨域和非雨域間的遷移學(xué)習(xí)、圖像領(lǐng)域和視頻領(lǐng)域去雨的遷移學(xué)習(xí)等將是未來圖像去雨研究值得關(guān)注的一些方向。