沒有什么能阻擋我們對高清無碼大圖的向往。在ICML2018上，英偉達(dá)和MIT等機構(gòu)的研究人員展示了一項圖像降燥技術(shù)Noise2Noise，能夠自動去除圖片中的水印、模糊等噪音，幾乎能完美復(fù)原，而且渲染時間是毫秒級。

去水印技術(shù)又上了個新臺階。

由Nvidia、麻省理工學(xué)院和阿爾托大學(xué)開發(fā)的深度學(xué)習(xí)去噪方法，無需使用沒有“噪聲”的清晰圖像，就能夠?qū)崿F(xiàn)完美去水印。

效果如下：

什么是圖片“噪聲”？

如果你在日落之后拍攝過照片，那么你可能對圖像的“噪聲”很熟悉了。當(dāng)用攝像頭對焦光線昏暗的場景時，圖像會呈現(xiàn)顆粒、異常的彩色或白色斑點。

人們現(xiàn)在可以用軟件在一定程度上去噪或降噪，深度學(xué)習(xí)方法去噪也已經(jīng)有一些解決方案，但存在一個重要缺陷：需要配對的清晰圖像和噪聲圖像來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

如何生成清晰的圖像是醫(yī)學(xué)成像檢測（如MRI）和天文圖像中的共同問題，因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。時間在計算機圖形技術(shù)中也是一個問題。生成清晰的圖像數(shù)據(jù)來訓(xùn)練降噪器的任務(wù)可能需要幾天或幾周的時間。

Noise2Noise：

該團(tuán)隊使用了來自ImageNet數(shù)據(jù)集的5萬張圖像來訓(xùn)練其人工智能系統(tǒng)，該系統(tǒng)能夠從圖像中去除噪聲，即使它從未見過沒有噪聲的對應(yīng)圖像。

這個名為“噪聲到噪聲”（Noise2Noise）的AI系統(tǒng)是使用深度學(xué)習(xí)創(chuàng)建的，它不是基于配對的清晰圖像和噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，而是基于配對的噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，并且只需要噪聲圖像。計算機生成的圖像和MRI掃描圖像也被用來訓(xùn)練Noise2Noise。

通過只使用噪聲來訓(xùn)練Noise2Noise，研究人員希望這種方法可以用于已知含有大量噪聲的圖像，比如天體攝影、核磁共振成像（MRI）或大腦掃描圖像。

從左到右：輸入的噪聲圖像、去噪圖像、和原始圖像

來自IXI數(shù)據(jù)集的50名人類受試者的近5000張圖像被用于訓(xùn)練Noise2Noise的MRI圖像去噪能力。在沒有人工噪聲的情況下，結(jié)果可能比原始圖像稍微模糊一些，但仍然很好地還原了清晰度。

MRI圖像去噪

Nvidia的研究人員Jacob Munkberg說：“這是一個概念證明，我們在一個公共核磁共振數(shù)據(jù)庫上進(jìn)行訓(xùn)練，但在未來，它可能會顯示出在實際應(yīng)用中的希望。”

Noise2Noise系統(tǒng)通過使用一個神經(jīng)網(wǎng)絡(luò)來實現(xiàn)這一點，該神經(jīng)網(wǎng)絡(luò)使用有損的圖像來訓(xùn)練。它不需要干凈的圖像，但它需要觀察源圖像兩次。實驗表明，受不同的合成噪聲（加性高斯噪聲、泊松噪聲和binomial噪聲）影響的目標(biāo)圖像仍能與使用干凈樣本恢復(fù)的圖像有“幾乎相同”的質(zhì)量。該系統(tǒng)最令人興奮的是，它可以顯著減少圖像渲染所需的時間——毫秒級別。

研究人員在論文中寫道：“我們觀察到，在適當(dāng)?shù)模Ｒ姷那闆r下，我們可以學(xué)習(xí)僅從損壞的示例重建信號，而無需觀察干凈的信號，并且其效果與使用干凈樣本一樣好。如我們在下文所展示的，從統(tǒng)計角度來看，我們的結(jié)論可能是微不足道的，但在實踐中，通過解除對清潔數(shù)據(jù)可用性的要求，這種方法顯著簡化了學(xué)習(xí)信號的重建。”

實驗：

我們通過實驗研究了噪聲目標(biāo)（noisy-target）訓(xùn)練的實際特性，并確定了不需要干凈目標(biāo)的各種情況。

加性高斯噪聲（Additive Gaussian noise）

首先，我們用加性高斯噪聲研究噪聲目標(biāo)的影響。這是一種簡單的分布，我們可以從中抽取樣本，從而通過破壞干凈的圖像來生成無限數(shù)量的合成訓(xùn)練數(shù)據(jù)。

對高斯噪聲去噪的示例

這里，我們的baseline是最近state-of-the-art的方法“RED30”，這是一個具有128個特征圖的30層的分層殘差網(wǎng)絡(luò)，已經(jīng)被證明是非常有效的。

對加性高斯噪聲的去噪性能

來自3個測試數(shù)據(jù)集KODAK, BSD300和SET14的PSNR結(jié)果，包括高斯噪聲、泊松噪聲和Bernoulli noise噪聲

泊松噪聲（Poisson noise）

泊松噪聲是照片噪聲的主要來源。它和高斯一樣是零均值，但是很難去除，因為它與信號有關(guān)。

對Poisson noise去噪的示例

眼部的細(xì)節(jié)

高斯噪聲、泊松噪聲和Bernoulli noise噪聲的示例結(jié)果。

去除圖像中文字的效果：

從此不怕彈幕擋臉

如果要去除圖像中的文字，正確答案是中間值（L1 loss）而不是平均值(L2 loss)

隨機值脈沖噪聲用噪聲代替了一些像素，并保留了其他像素的顏色。

脈沖噪聲去噪示例

在隨機值脈沖噪聲的情況下，模式（L0）產(chǎn)生了無偏的結(jié)果，與平均值（L2）或中間值（L1）不同

這項工作將于本周在瑞典斯德哥爾摩召開的ICML會議上公布。