英偉達的研究人員發(fā)布了一種可以編輯圖像或重建已損壞圖像的深度學習方法，實現(xiàn)了一鍵P圖，而且“毫無ps痕跡”。通過使用“部分卷積”層，該方法優(yōu)于其他方法。

在計算機視覺研究領域，NVIDIA常常讓人眼前一亮。

比如“用Progressive Growing的方式訓練 GAN，生成超逼真高清圖像”，“用條件 GAN 進行 2048x1024 分辨率的圖像合成和處理”的pix2pixHD項目，或者腦洞大開的讓晴天下大雨、小貓變獅子、黑夜轉(zhuǎn)白天的“無監(jiān)督圖像翻譯網(wǎng)絡”（Unsupervised Image-to-Image Translation Networks）。

近日，NVIDIA在arXiv放出一篇今年ICLR的論文，同樣很厲害。論文題為“Image Inpainting for Irregular Holes Using Partial Convolutions”，即使用“Partial Convolutions”進行圖像修復。

在視頻中左側(cè)的操作界面，只需用工具將圖像中不需要的內(nèi)容簡單涂抹掉，哪怕形狀很不規(guī)則，NVIDIA的模型能夠?qū)D像“復原”，用非常逼真的畫面填補被涂抹的空白?？芍^是一鍵P圖，而且“毫無ps痕跡”。

該研究來自Nvidia的Guilin Liu等人的團隊，他們發(fā)布了一種可以編輯圖像或重建已損壞圖像的深度學習方法，即使圖像穿了個洞或丟失了像素。這是目前state-of-the-art的方法。

該方法還可以通過移除圖像中的某些內(nèi)容，并填補移除內(nèi)容后造成的空白，從而實現(xiàn)編輯圖像。

這個過程叫做“image inpainting”，可以在圖片編輯軟件中實現(xiàn)去除不需要的內(nèi)容，同時用計算機生成的逼真的替代方式填補空白。

圖：被遮蓋的圖像，及使用基于部分卷積的網(wǎng)絡得到的修復結(jié)果

“我們的模型可以很好地處理任何形狀、大小、位置或距離圖像邊界任何距離的空白。以前的深度學習方法主要集中在位于圖像中心附近的矩形區(qū)域，并且通常需要依賴成本很高的后期處理。“英偉達的研究人員在他們的研究報告中寫道，“此外，我們的模型能夠很好地處理越來越大的空白區(qū)域?！?/p>

為了訓練神經(jīng)網(wǎng)絡，研究團隊首先生成了55116個隨機色條、形狀和大小任意的masks，用于訓練。他們還生成了25000個圖像用于測試。為了提高重建圖像的精度，研究人員根據(jù)相對于輸入圖像的大小，將這些訓練圖像進一步分為6類。

圖：一些用于測試的masks

使用NVIDIATeslaV100GPU和cuDNN加速的PyTorch深度學習框架，該團隊通過將生成的mask應用在ImageNet數(shù)據(jù)集Places2和CelebA-HQ兩個數(shù)據(jù)集的圖像，訓練其神經(jīng)網(wǎng)絡。

圖：ImageNet上的測試結(jié)果對比

圖：Place2數(shù)據(jù)集上的測試結(jié)果對比

在訓練階段，將空白或缺失的部分引入上述數(shù)據(jù)集的完整訓練圖像中，以使網(wǎng)絡能夠?qū)W習重建缺失的像素。

在測試階段，另一批沒有在訓練期間使用的空白或缺失部分被引入數(shù)據(jù)集里的測試圖像，以對重建的圖像的精度進行無偏驗證。

圖：基于典型卷積層的結(jié)果（Conv）和“部分卷積”層的結(jié)果（PConv）對比

研究人員表示，現(xiàn)有的基于深度學習的圖像修復方法不夠好，因為丟失像素的輸出必然取決于輸入的值，而這些輸入必須提供給神經(jīng)網(wǎng)絡，以找出丟失的像素。這就導致圖像中出現(xiàn)諸如顏色差異或模糊之類的artifacts。

為了解決這個問題，NVIDIA團隊開發(fā)了一種方法，確保丟失像素的輸出不依賴于為這些像素提供的輸入的值。這種方法使用一個“部分卷積”層，根據(jù)其對相應的接受域（receptivefield）的有效性，對每個輸出進行重新歸一化（renormalization）。這種重新歸一化可以確保輸出值與每個接受域中缺失像素的值無關。

該模型是利用這些部分卷積實現(xiàn)的UNet架構(gòu)構(gòu)建的。使用一組損失函數(shù)，匹配VGG模型的特征損失以及風格損失，進而訓練模型以產(chǎn)生逼真的輸出。

表：各種不同方法的結(jié)果對比

研究團隊稱，該模型優(yōu)于以前的方法。

“據(jù)我們所知，我們是第一個在不規(guī)則形狀的孔洞上展示深度學習圖像修復模型效果的人，”NVIDIA的研究人員說。

研究人員還在論文中提及，相同的框架也可以用來處理圖像超分辨率任務。