圖像降噪的英文名稱是Image Denoising， 圖像處理中的專業(yè)術(shù)語(yǔ)。是指減少數(shù)字圖像中噪聲的過程，有時(shí)候又稱為圖像去噪。

噪聲是圖像干擾的重要原因。一幅圖像在實(shí)際應(yīng)用中可能存在各種各樣的噪聲,這些噪聲可能在傳輸中產(chǎn)生,也可能在量化等處理中產(chǎn)生。根據(jù)噪聲和信號(hào)的關(guān)系可將其分為三種形式：(f(x, y)表示給定原始圖像，g(x, y)表示圖像信號(hào)，n(x, y)表示噪聲。)

1)加性噪聲，此類噪聲與輸入圖像信號(hào)無關(guān)，含噪圖像可表示為f(x, y)=g(x, y)+n(x, y),信道噪聲及光導(dǎo)攝像管的攝像機(jī)掃描圖像時(shí)產(chǎn)生的噪聲就屬這類噪聲；

2)乘性噪聲，此類噪聲與圖像信號(hào)有關(guān)，含噪圖像可表示為f(x, y)=g(x, y)+n(x ,y)g(x, y),飛點(diǎn)掃描器掃描圖像時(shí)的噪聲，電視圖像中的相干噪聲，膠片中的顆粒噪聲就屬于此類噪聲。


3)量化噪聲，此類噪聲與輸入圖像信號(hào)無關(guān)，是量化過程存在量化誤差，再反映到接收端而產(chǎn)生。 目前來說圖像去噪分為三大類：基于濾波器的方法（Filtering-Based Methods）、基于模型的方法（Model-Based Methods）和基于學(xué)習(xí)的方法（Learning-Based Methods）。 接下來讓我們分別來看一下，這幾種去噪方法的優(yōu)缺點(diǎn)。

01

基于濾波器的方法

經(jīng)典的基于濾波的方法，如中值濾波和維納濾波等，利用某些人工設(shè)計(jì)的低通濾波器來去除圖像噪聲。

中值濾波器[1]：它是一種常用的非線性平滑濾波器，其基本原理是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個(gè)領(lǐng)域中各點(diǎn)值的中值代換，其主要功能是讓周圍像素灰度值的差比較大的像素改取與周圍的像素值接近的值，從而可以消除孤立的噪聲點(diǎn)，所以中值濾波對(duì)于濾除圖像的椒鹽噪聲非常有效。

自適應(yīng)維納濾波器[2]：它能根據(jù)圖像的局部方差來調(diào)整濾波器的輸出，局部方差越大，濾波器的平滑作用越強(qiáng)。

同一個(gè)圖像中具有很多相似的圖像塊，可以通過非局部相似塊堆疊的方式去除噪聲，如經(jīng)典的非局部均值（NLM）算法[3]、基于塊匹配的3D濾波(BM3D)算法[4]等。缺點(diǎn)：1. 塊操作會(huì)導(dǎo)致模糊輸出。2. 需要手動(dòng)設(shè)置超參數(shù)。

02

基于模型的方法

基于模型的方法試圖對(duì)自然圖像或噪聲的分布進(jìn)行建模。然后，它們使用模型分布作為先驗(yàn)，試圖獲得清晰的圖像與優(yōu)化算法。基于模型的方法通常將去噪任務(wù)定義為基于最大后驗(yàn)(MAP)的優(yōu)化問題，其性能主要依賴于圖像的先驗(yàn)。如Xu等人[5]提出了一種基于低秩矩陣逼近的紅外加權(quán)核范數(shù)最小化(WNNM)方法。Pang等人[9]引入了基于圖的正則化器來降低圖像噪聲。 在過去的幾十年中，各種基于模型的方法已經(jīng)被用于圖像先驗(yàn)建模，包括非局部自相似（NSS）模型，稀疏模型，梯度模型和馬爾可夫隨機(jī)場(chǎng)（MRF）模型。盡管它們具有高的去噪質(zhì)量，但是大多數(shù)基于圖像先驗(yàn)方法都有兩個(gè)缺點(diǎn)：

這些方法在測(cè)試階段通常涉及復(fù)雜的優(yōu)化問題，使去噪過程時(shí)非常耗時(shí)的。因此，大多數(shù)基于先驗(yàn)圖像先驗(yàn)方法在不犧牲計(jì)算效率的情況下很難獲得高性能。

模型通常是非凸的并且涉及幾個(gè)手動(dòng)選擇的參數(shù)，提供一些余地以提高去噪性能。

為了克服先驗(yàn)方法的局限性，最近開發(fā)了幾種判別學(xué)習(xí)方法以在截?cái)嗤评磉^程的背景下，學(xué)習(xí)圖像先驗(yàn)?zāi)Ｐ?。得到的先?yàn)?zāi)Ｐ湍軌驍[脫測(cè)試階段的迭代優(yōu)化過程。Schmidt和Roth提出了一種收縮場(chǎng)級(jí)聯(lián)（CSF）方法，該方法將基于隨機(jī)場(chǎng)的模型和展開的半二次優(yōu)化算法統(tǒng)一為一個(gè)學(xué)習(xí)框架。陳等人提出了一種可訓(xùn)練的非線性反應(yīng)擴(kuò)散（TNRD）模型，該模型通過展開固定數(shù)量的梯度下降推斷步驟來學(xué)習(xí)改進(jìn)的專家領(lǐng)域。盡管CSF和TNRD在彌補(bǔ)計(jì)算效率和去噪質(zhì)量上的差距方面已經(jīng)取得了好的效果，但它們的性能本質(zhì)上僅限于先前那種特定的形式。具體而言，CSF和TNRD采用的先驗(yàn)是基于分析模型，這個(gè)模型在捕獲圖像結(jié)構(gòu)整體特征上被限制。此外，通過階段式貪婪訓(xùn)練以及所有階段之間的聯(lián)合微調(diào)來學(xué)習(xí)參數(shù)，并且涉及許多手工參數(shù)。另外一個(gè)不可忽視的缺點(diǎn)是他們針對(duì)特定水平的噪音訓(xùn)練特定的模型，并且在盲圖像去噪上受限制。 雖然這些基于模型的方法有很強(qiáng)的數(shù)學(xué)推導(dǎo)性，但在重噪聲下恢復(fù)紋理結(jié)構(gòu)的性能將顯著下降。此外，由于迭代優(yōu)化的高度復(fù)雜性，它們通常是耗時(shí)的。

03

基于學(xué)習(xí)的方法

基于學(xué)習(xí)的方法側(cè)重于學(xué)習(xí)有噪聲圖像到干凈圖像的潛在映射，可以分為傳統(tǒng)的基于學(xué)習(xí)的方法和基于深度網(wǎng)絡(luò)的學(xué)習(xí)方法。近年來，由于基于深度網(wǎng)絡(luò)的方法比基于濾波、基于模型和傳統(tǒng)的基于學(xué)習(xí)的方法獲得了更有前景的去噪結(jié)果，它們已成為主流方法。 Zhang等人[6]通過疊加卷積、批歸一化和校正線性單元(ReLU)層，提出了一種簡(jiǎn)單但有效的去噪卷積神經(jīng)網(wǎng)絡(luò)(CNN)。 受圖像非局部相似度的啟發(fā)，將非局部操作納入到的循環(huán)神經(jīng)網(wǎng)絡(luò)中[7]。 Anwar等人[8]提出了一種帶特征注意力的單階段去噪網(wǎng)絡(luò)。 DnCNN[10]、FFDnet[11]、CBDnet[12]這三篇覺得應(yīng)該是聯(lián)系十分緊密的一個(gè)系列，是逐步泛化，逐步考慮增加噪聲復(fù)雜的一個(gè)過程，DnCNN主要針對(duì)高斯噪聲進(jìn)行去噪，強(qiáng)調(diào)殘差學(xué)習(xí)和BN的作用，F(xiàn)FDnet考慮將高斯噪聲泛化為更加復(fù)雜的真實(shí)噪聲，將噪聲水平圖作為網(wǎng)絡(luò)輸入的一部分，CBDnet主要是針對(duì)FFDnet的噪聲水平圖部分入手，通過5層FCN來自適應(yīng)的得到噪聲水平圖，實(shí)現(xiàn)一定程度上的盲去噪。 DnCNN使用了Batch Normalization和Residual Learning加速訓(xùn)練過程和提升去噪性能。網(wǎng)絡(luò)的結(jié)構(gòu)圖如下：

FFDNet側(cè)重與去除更加復(fù)雜的高斯噪聲。主要是不同的噪聲水平。之前的基于卷積神經(jīng)網(wǎng)絡(luò)的去噪算法，大多數(shù)都是針對(duì)于某一種特定噪聲的，為了解決不同噪聲水平的問題，F(xiàn)FDNet的作者利用noise level map作為輸入，使得網(wǎng)絡(luò)可以適用于不同噪聲水平的圖片：

CBDNet網(wǎng)絡(luò)由噪聲估計(jì)子網(wǎng)絡(luò)和去噪子網(wǎng)絡(luò)兩部分組成。同時(shí)進(jìn)行end to end的訓(xùn)練。并采用基于信號(hào)獨(dú)立的噪聲以及相機(jī)內(nèi)部處理的噪聲合成的圖片和真是的噪聲圖片（所謂“真實(shí)”的噪聲圖片是來自于別人的數(shù)據(jù)集RENOIR、DND、NC12等，）聯(lián)合訓(xùn)練。提高去噪網(wǎng)絡(luò)的泛化能力，也增強(qiáng)去噪的效果：

SRMD[13]不同于前三篇，主要是從bicubic入手，考慮模糊核和噪聲水平的影響，將LR、模糊核、噪聲水平統(tǒng)一的輸入網(wǎng)絡(luò)中，來實(shí)現(xiàn)對(duì)不同退化模型的復(fù)原?？梢詫⑼嘶瘓D和LR圖像合并在一起作為CNN的輸入。為了證明此策略的有效性，選取了快速有效的ESPCN超分辨網(wǎng)絡(luò)結(jié)構(gòu)框架。值得注意的是為了加速訓(xùn)練過程的收斂速度，同時(shí)考慮到LR圖像中包含高斯噪聲，因此網(wǎng)絡(luò)中加入了Batch Normalization層。網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

等等等...... 基于深度網(wǎng)絡(luò)的方法具有很大的發(fā)展?jié)摿?，但是它主要依靠于?jīng)驗(yàn)設(shè)計(jì)，沒有充分考慮到傳統(tǒng)的方法，在一定程度上缺乏可解釋性。所以最新的CVPR2021論文：Adaptive Consistency Prior based Deep Network for Image Denoising就是通過可解釋性來設(shè)計(jì)網(wǎng)絡(luò)的，它首先，在傳統(tǒng)一致性先驗(yàn)中引入非線性濾波算子、可靠性矩陣和高維特征變換函數(shù)，提出一種新的自適應(yīng)一致性先驗(yàn)(ACP)。其次，將ACP項(xiàng)引入最大后驗(yàn)框架，提出了一種基于模型的去噪方法。該方法進(jìn)一步用于網(wǎng)絡(luò)設(shè)計(jì)，形成了一種新穎的端到端可訓(xùn)練和可解釋的深度去噪網(wǎng)絡(luò)，稱為DeamNet。網(wǎng)絡(luò)結(jié)構(gòu)如下如所示：

DeamNet整體的網(wǎng)絡(luò)結(jié)構(gòu)

NLO子網(wǎng)絡(luò)結(jié)構(gòu)

DEAM注意力模塊

04

數(shù)據(jù)集的發(fā)展

近年來，去噪問題的研究焦點(diǎn)已經(jīng)從AWGN（添加高斯白噪聲）如BSD68、Set12等轉(zhuǎn)向了更真實(shí)的噪聲。最近的一些研究工作在真實(shí)噪聲圖像方面取得了進(jìn)展，通過捕獲真實(shí)的噪聲場(chǎng)景，建立了幾個(gè)真實(shí)的噪聲數(shù)據(jù)集如DnD、RNI15、SIDD等，促進(jìn)了對(duì)真實(shí)圖像去噪的研究。

‘test039’from BSD68 (合成的噪聲圖像)

‘Starfish’from Set12 (合成的噪聲圖像)

DnD（真實(shí)的噪聲圖像）

RNI15（真實(shí)的噪聲圖像）

SIDD（真實(shí)的噪聲圖像）

審核編輯 ：李倩