自動地將人臉照片轉(zhuǎn)換為高質(zhì)量的藝術(shù)肖像畫具有重要的藝術(shù)價值和實用價值。清華大學劉永進教授課題組對此提出APDrawingGAN，結(jié)果優(yōu)于目前已有方法。該項工作被CVPR 2019錄取為oral paper。

肖像畫是一種獨特的藝術(shù)形式，通常使用一組稀疏的連續(xù)圖形元素如線條來捕捉一個人的外表特征。

肖像畫通常是在人物面前或基于人物照片進行創(chuàng)作的，其創(chuàng)作依賴于細致的觀察、分析和豐富的經(jīng)驗。一幅好的肖像畫能很好地捕捉到人的個性和情感。

圖1. 一些人臉照片和對應的藝術(shù)家畫的肖像線條畫。

然而，即使是受過專業(yè)訓練的藝術(shù)家，完成一幅精致的肖像畫也需要很長時間。因此，自動地將人臉照片轉(zhuǎn)換為高質(zhì)量的藝術(shù)肖像畫具有重要的藝術(shù)價值和實用價值。

清華劉永進組提出APDrawing GAN

隨著深度學習的發(fā)展，使用卷積神經(jīng)網(wǎng)絡進行圖像風格轉(zhuǎn)換的神經(jīng)風格轉(zhuǎn)換（NST）方法被提出。隨后，基于生成對抗網(wǎng)絡（GAN）的方法在圖像風格轉(zhuǎn)換上實現(xiàn)了很好的效果。

但是，這些已有方法多數(shù)針對于生成信息較為豐富的風格，如油畫，這些風格的圖像中包含很多零碎的圖形元素（如筆觸），而對單個元素的質(zhì)量要求較低。也就是說，在這些風格的圖像中，一些細節(jié)上的瑕疵會被忽視。

藝術(shù)肖像線條畫(Artistic Portrait Drawings，簡稱APDrawings)和已有工作研究的油畫肖像的風格有很大的不同。它主要有5個特點：

首先它是高度抽象的，只由少數(shù)稀疏、連續(xù)的圖形元素組成，因此瑕疵會比油畫中更明顯。

其次是具有強限制性，由于包含面部特征，APDrawings相比一般的風格有更強的語義限制（因為我們對人臉很熟悉，會對人臉圖像中的瑕疵容忍度更低）。

具有多樣性，因為對于不同的面部特征，藝術(shù)家繪制的方式是不同的（如眼睛和頭發(fā)）。

藝術(shù)創(chuàng)作的模糊性，人工創(chuàng)作導致了一些面部特征的輪廓沒法被完全精準的定位，這對基于像素對應的方法是個很大的挑戰(zhàn)。

APDrawings的概念性，藝術(shù)家有時會在原圖沒有亮度變化的地方添加額外的概念性的線條，比如頭發(fā)區(qū)域中的白線和五官的輪廓線。因此，即使是頂尖的方法也難以產(chǎn)生好的藝術(shù)肖像畫結(jié)果。

APDrawingGAN和一般P圖、摳圖、濾鏡等工具的不同在于，一般的軟件對真實照片進行美化得到更美觀或具有某種特點的真實照片，而APDrawingGAN生成的是非真實感的抽象藝術(shù)肖像畫，既能捕捉到照片特征又和真實照片觀感完全不同。并且我們生成的線條風格的藝術(shù)肖像畫比一般的肖像畫（如卡通、鉛筆素描）具有更少的圖形元素，更抽象，因此也更有難度。下圖展示了我們方法和一般圖像處理工具的結(jié)果對比。

圖2. 我們的方法和一般圖像處理工具的處理結(jié)果的對比。人臉照片來源于免費版權(quán)圖片網(wǎng)站Pixabay。

在CVPR2019上，清華大學計算機系劉永進教授課題組提出了APDrawingGAN，為了更有效地學習不同面部區(qū)域的不同繪制風格，我們的GAN模型包括幾個專門針對不同面部特征區(qū)域的局部網(wǎng)絡，和一個用于捕捉整體特征的全局網(wǎng)絡。

論文地址：

https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf

APDrawingGAN的主要貢獻在于：

我們提出了一個層次化的GAN模型，可以有效地將人臉照片生成高質(zhì)量、富有表現(xiàn)力的藝術(shù)肖像線條畫。不僅如此，我們的方法對黑白線條分明的復雜發(fā)型繪制有更好的效果。

為了學習不同面部區(qū)域的不同繪制風格，我們的模型將GAN的渲染輸出分為不同層次，每個層次被獨立的損失項控制。我們提出了一個針對藝術(shù)肖像畫的損失函數(shù)，它包含四個損失項：對抗損失、像素級損失、一種新的距離變換（DT）損失（用于學習藝術(shù)肖像畫中的線條筆畫）和一個局部變換損失（用于引導局部網(wǎng)絡保持面部特征）。

我們使用6655張人臉照片和非真實感渲染算法生成的結(jié)果進行了預訓練，構(gòu)建了一個包含140對高質(zhì)量正面人臉照片和對應藝術(shù)肖像畫的APDrawings數(shù)據(jù)集，用于正式的訓練和測試。

圖3. 我們提出的APDrawingGAN的結(jié)構(gòu)圖。左側(cè)為層次化生成器網(wǎng)絡的結(jié)構(gòu)，右側(cè)為層次化鑒別器網(wǎng)絡的結(jié)構(gòu)。

在APDrawingGAN中，生成器網(wǎng)絡G和鑒別器網(wǎng)絡D都采用層次化的結(jié)構(gòu)。生成器網(wǎng)絡G用于將輸入照片轉(zhuǎn)換為藝術(shù)肖像畫，它包含6個局部生成器（對應于左右眼、鼻子、嘴巴、頭發(fā)和背景），1個全局生成器和1個融合網(wǎng)絡。

局部生成器的作用是學習不同局部面部特征的繪制風格。我們將所有局部生成器的輸出混合到一個圖像Ilocal中。局部生成器和全局生成器都采用U-Net結(jié)構(gòu)。

然后我們使用一個融合網(wǎng)絡將Ilocal和全局生成器的輸出Iglobal融合在一起，以獲得最終的生成圖。鑒別器網(wǎng)絡D用于判斷輸入圖像是否是真實的，即是否是藝術(shù)家畫的藝術(shù)肖像畫。

其中全局鑒別器對整個圖像進行檢查，以判斷肖像畫的整體特征。而局部鑒別器對不同的局部面部區(qū)域進行檢查，評估細節(jié)的質(zhì)量。局部鑒別器和全局鑒別器都采用PatchGAN的形式。

為了進一步應對線條的風格和藝術(shù)家畫作中不完全精確定位的輪廓，我們提出了一個全新的距離變換(Distance transform，簡稱DT)損失來學習藝術(shù)肖像線條畫中的線條筆畫風格。

我們前面提到，在藝術(shù)家的肖像畫中，線條和原圖有時不是精確對應的，會有微小的錯位，主要的原因有兩個：

藝術(shù)家裸眼觀察，面部特征的輪廓有時無法被完全精準地定位；

藝術(shù)家添加的線條有時是概念性的，不與原圖完全對應（如頭發(fā)區(qū)域中的白線）。

因此僅使用L1損失是不足以應對這種情況的——L1損失會懲罰即使是很微小的錯位，但是對于較大的錯位并不會更敏感。

于是我們提出一種新的損失來容忍這種細微的錯位，而懲罰過大的錯位。我們提出的這個DT損失是基于距離的，它計算的是藝術(shù)家肖像畫（Groundtruth）中每個線條上的像素到生成肖像畫中相同類型（黑或白）的最近像素的距離之和，和生成肖像畫到藝術(shù)家肖像畫的距離之和的總和。

DT損失對于微小的錯位的懲罰是非常小的，但會真正懲罰那些過大的錯位。我們使用了距離變換和倒角匹配（chamfermatching）來計算這個損失，公式如下：

倒角匹配距離：

距離變換損失：

其中和表示兩幅肖像畫，和表示距離變換，和分別表示黑白線條檢測器，和分別表示人臉照片和對應的藝術(shù)家肖像畫。

APDrawingGAN結(jié)果對比

圖4. APDrawingGAN在沒有對應藝術(shù)家肖像畫的人臉照片上的測試結(jié)果。人臉照片來源于免費版權(quán)圖片網(wǎng)站Pixabay。

圖5. APDrawingGAN與Gatys，CycleGAN和Pix2Pix方法在藝術(shù)肖像風格化上的結(jié)果對比。其中紅色矩形標出了CycleGAN和Pix2Pix方法結(jié)果中的一些明顯瑕疵。

圖6. APDrawingGAN與CNNMRF，DeepImageAnalogy和HeadshotPortrait方法在藝術(shù)肖像風格化上的結(jié)果對比。

圖7. APDrawingGAN與現(xiàn)有風格轉(zhuǎn)換方法的結(jié)果對比。

第一列是人臉照片，第二列是藝術(shù)家畫的肖像畫，第三列是一些方法需要的風格參考圖，第四至九列是其他方法的結(jié)果，最后一列是我們方法的結(jié)果。

用戶研究（user study）結(jié)果統(tǒng)計。

73名參與者參與了用戶研究。用戶研究中，每位參與者每次從兩種算法生成的肖像畫中選擇一幅更接近藝術(shù)家肖像畫和圖像質(zhì)量更好的肖像畫，并對三種方法（CycleGAN、Pix2Pix和我們的方法）兩兩進行了比較，由此我們得到了三種方法的排名。

表中給出了每種方法排名最好(1)、中間(2)和最差(3)的百分比。在71.39%的情況下我們的方法排名最好。