人類可以輕松地描述一幅圖像，在機(jī)器學(xué)習(xí)中，這種任務(wù)就被看成是判別分類/回歸問題，即從輸入的圖像中預(yù)測特征標(biāo)簽。機(jī)器學(xué)習(xí)技術(shù)最近的進(jìn)步中，尤其是深度學(xué)習(xí)模型都開始解決這類任務(wù)，有些能達(dá)到甚至超過人類水平.

但是，根據(jù)文字?jǐn)⑹錾杀普娴膱D片難度較大，需要進(jìn)行很多年的圖形設(shè)計(jì)訓(xùn)練。在機(jī)器學(xué)習(xí)領(lǐng)域，這是一種生成任務(wù)，比判別式任務(wù)更有挑戰(zhàn)性，因?yàn)樯赡Ｐ托枰鶕?jù)更小的輸入產(chǎn)出更豐富的信息。

雖然生成模型在創(chuàng)建時(shí)有很多困難，但是在以下幾種情況下非常有用：

內(nèi)容創(chuàng)造：比如一家廣告公司可以自動(dòng)生成吸引人的產(chǎn)品圖像、一位時(shí)尚設(shè)計(jì)師可以讓算法生成他所希望的鞋子樣式，再從中挑選符合要求的作品，或者一項(xiàng)游戲可以讓玩家根據(jù)簡單的描述創(chuàng)造逼真的人物形象。

根據(jù)內(nèi)容智能編輯：有了這種模型，攝像師只需要點(diǎn)擊鼠標(biāo)就可以改變圖像的面部表情、皺紋和發(fā)型；電影制作者可以將陰天背景改為晴天。

數(shù)據(jù)增強(qiáng)：自動(dòng)駕駛公司可以生成合成特殊場景的逼真圖像，增強(qiáng)訓(xùn)練數(shù)據(jù)集；信用卡公司可以合成特殊的欺詐數(shù)據(jù)，增強(qiáng)欺詐探測系統(tǒng)中的數(shù)據(jù)集。

在這篇文章中，我將介紹我們最近的研究成果，稱為透明隱空間GAN（TL-GAN），它擴(kuò)展了目前先進(jìn)的模型，提出了一種新的交互方式。關(guān)于GAN的基礎(chǔ)介紹，論智君就不在此詳細(xì)展開了，我們曾經(jīng)寫過很多相關(guān)文章，感興趣的讀者可以閱讀：從零學(xué)習(xí)：生成敵對網(wǎng)絡(luò)（GAN）入門指南。

控制GAN模型的輸出

GAN的最初形式和其他的幾種主流形式（例如DC-GAN和pg-GAN）都是無監(jiān)督的學(xué)習(xí)模型。經(jīng)過訓(xùn)練后，生成網(wǎng)絡(luò)會(huì)將隨機(jī)噪聲看作輸入，生成類似照片一樣的逼真圖像，基本上辨別不出到底是訓(xùn)練集中的樣本，還是真實(shí)圖像。然而，我們無法進(jìn)一步控制產(chǎn)生的圖像的特點(diǎn)，在很多應(yīng)用中，用戶想根據(jù)自己的偏好定制樣本（例如年齡、頭發(fā)顏色、面部表情等等），最好還能對這些特征不斷調(diào)整。

為了實(shí)現(xiàn)這種控制生成的效果，很多GAN的變體都做出了嘗試，它們大致可以分為兩類：風(fēng)格遷移網(wǎng)絡(luò)和條件生成器。

風(fēng)格遷移網(wǎng)絡(luò)

以CycleGAN和pix2pix為代表的風(fēng)格遷移網(wǎng)絡(luò)是將圖像從一個(gè)領(lǐng)域轉(zhuǎn)移到另一個(gè)領(lǐng)域的模型（例如將馬變成斑馬，將素描畫編程帶有顏色的圖像）。結(jié)果是，我們無法在兩個(gè)獨(dú)立的狀態(tài)之間對一種特征進(jìn)行調(diào)整（例如在面部添加一點(diǎn)點(diǎn)胡子）。同時(shí)，一個(gè)網(wǎng)絡(luò)只能應(yīng)用于一種類型的遷移，所以如果要調(diào)整10個(gè)特征，就要建立10個(gè)不同的網(wǎng)絡(luò)。

條件生成器

以條件GAN、AC-GAN和Stack-GAN為代表的條件生成器是可以在訓(xùn)練期間，互相聯(lián)合學(xué)習(xí)帶有特征標(biāo)簽的圖像的模型，從而生成帶有定制特點(diǎn)的圖像。所以當(dāng)你想要在生成過程中添加新的可調(diào)整特征時(shí)，你就需要重新訓(xùn)練整個(gè)GAN模型，這就需要花費(fèi)大量計(jì)算資源和時(shí)間。除此之外，整個(gè)過程只需要一個(gè)數(shù)據(jù)集，其中要包含所有自定義特征標(biāo)簽。

我們的TL-GAN模型，從新的角度控制生成任務(wù)，解決了現(xiàn)有的問題。它可以讓用戶用單一網(wǎng)絡(luò)逐步調(diào)整一個(gè)或多個(gè)特征。另外，用戶也可以在一個(gè)小時(shí)內(nèi)添加新的可調(diào)整的特征。

TL-GAN：控制合成和編輯的高效方法

將隱藏空間透明化

英偉達(dá)的pg-GAN是可以生成高分辨率人臉圖像的的模型，生成的1024×1024圖像都是由隱藏空間中的一個(gè)512維度的噪聲向量決定所有的特征。所以，如果我們能理解隱藏空間表示什么，即讓它透明化，我們就能完全掌握生成過程。

在使用pg-GAN進(jìn)行預(yù)訓(xùn)練之后，我發(fā)現(xiàn)隱藏空間有兩個(gè)優(yōu)點(diǎn)：

空間中的大部分點(diǎn)都能生成可靠的圖像；

它非常連貫，說明隱藏空間中兩點(diǎn)之間的插值會(huì)在引起對應(yīng)圖像之間平穩(wěn)的過渡。

知道了這兩個(gè)特點(diǎn)，我認(rèn)為在隱藏空間中是可以找到可預(yù)測特征方向的。如果能實(shí)現(xiàn)的話，我們可以利用這些方向的單位向量作為特征軸，控制生成過程。

方法：特征軸的提出

為了找到隱藏空間中的特征軸，我們會(huì)在隱藏向量z和特征標(biāo)簽y之間建立連接，其中會(huì)用到在成對的數(shù)據(jù)(z,y)上訓(xùn)練的監(jiān)督式學(xué)習(xí)方法。目前的問題就成了如何得到成對的數(shù)據(jù)?，F(xiàn)存的數(shù)據(jù)集只含有圖像x和它們對應(yīng)的特征標(biāo)簽y。

連接隱藏向量z和特征標(biāo)簽y的方法

可用方法

其中一種方法是從現(xiàn)有的帶有標(biāo)簽的數(shù)據(jù)集中計(jì)算圖像xreal相對應(yīng)的隱藏向量。但是GAN網(wǎng)絡(luò)在計(jì)算zencode=G^(-1)(x_real)的時(shí)候比較困難，所以這一方法難以實(shí)現(xiàn)。

另外一種方法是從隨機(jī)隱藏向量z中生成合成圖像x_gen，這里的問題是，合成的圖像是沒有標(biāo)簽的，我們也不能輕易地使用可用標(biāo)簽數(shù)據(jù)集。

為了解決這一問題，關(guān)鍵就是訓(xùn)練一個(gè)獨(dú)立的特征提取器——模型y=F(x)，利用現(xiàn)有的帶有標(biāo)簽的圖像數(shù)據(jù)集(xreal,yreal)，之后將特征提取網(wǎng)絡(luò)F與GAN的生成器G結(jié)合。完成后，我們可以預(yù)測合成圖像xgen的特征標(biāo)簽ypred，從而在z和y之間建立起連接。

現(xiàn)在我們有了成對的隱藏向量和特征，我們可以訓(xùn)練一個(gè)回歸模型y=A(z)，來得出控制圖像生成過程的所有特征軸。

TL-GAN模型架構(gòu)

如圖，TL-GAN模型中包含五步：

學(xué)習(xí)分布：選擇一個(gè)訓(xùn)練好的GAN模型和生成器網(wǎng)絡(luò)，我選的是經(jīng)過訓(xùn)練的pg-GAN，它能生成質(zhì)量最高的人臉圖像。

分類：選擇一個(gè)預(yù)訓(xùn)練特征提取模型（可以使一個(gè)卷積神經(jīng)網(wǎng)絡(luò)或其他計(jì)算機(jī)視覺模型），或者用經(jīng)過標(biāo)記的數(shù)據(jù)集訓(xùn)練自己的特征提取網(wǎng)絡(luò)。

生成：生成多個(gè)隨機(jī)隱藏向量，將它們輸入到訓(xùn)練過的GAN生成器中，生成合成圖像，然后用一個(gè)訓(xùn)練過的特征提取器，為每張圖像生成特征。

聯(lián)系：用一個(gè)通用的線性模型（GLM）在隱藏向量和特征之間執(zhí)行回歸?；貧w斜率就是特征軸。

探索：從一個(gè)隱藏向量開始，移動(dòng)到其他特征軸上，檢查這是如何影響圖像的生成的。

這一過程效率很高，一旦我們有了預(yù)訓(xùn)練GAN模型，確定特征軸只需要在一個(gè)GPU上花費(fèi)一個(gè)小時(shí)的時(shí)間。

結(jié)果

讓我們看看這一模型的效果如何。首先我測試了特征軸能否被用于控制相對應(yīng)的生成圖像特征之上。結(jié)果如下，這一過程非常不錯(cuò)！圖像的性別、年齡都能得到“完美”改變：

但上面的案例顯示出了一個(gè)缺點(diǎn)，當(dāng)我想要減少胡子的數(shù)量時(shí)，不可避免地會(huì)讓人臉更加“女性化”。這一問題是由于性別特征和胡須特征是相關(guān)聯(lián)的，改變其中一個(gè)就會(huì)導(dǎo)致另一個(gè)發(fā)生改變。

為了解決這一問題，我用到了線性代數(shù)方法，將代表胡須的軸投射到與性別軸正交的其他方向，有效地消除了二者的相關(guān)性。

最后用動(dòng)圖了解下TL-GAN在控制圖像生成過程時(shí)的速度：