近日，谷歌大腦研究人員提出了一種基于自監(jiān)督和半監(jiān)督學習的“條件GAN”，使用的標記數(shù)據量大降90%，生成圖像的質量比現(xiàn)有全監(jiān)督最優(yōu)模型BigGAN高出20%（以FID得分計），有望緩解圖像生成和識別領域標記數(shù)據量嚴重不足的問題。

生成對抗網絡（GAN）是一類強大的深度生成模型。GAN背后的主要思想是訓練兩個神經網絡：生成器負責學習如何合成數(shù)據，而判別器負責學習如何區(qū)分真實數(shù)據與生成器合成的虛假數(shù)據。目前，GAN已成功用于高保真自然圖像合成，改善學習圖像壓縮質量，以及數(shù)據增強等任務。

對于自然圖像合成任務來說，現(xiàn)有的最優(yōu)結果是通過條件GAN實現(xiàn)的。與無條件GAN不同，條件GAN在訓練期間要使用標簽（比如汽車，狗等）。雖然數(shù)據標記讓圖像合成任務變得更容易實現(xiàn)，在性能上獲得了顯著提升，但是這種方法需要大量標記數(shù)據，而在實際任務中很少有大量標記數(shù)據可用。

隨著ImageNet上訓練過程的持續(xù)，生成的圖像逼真度進步明顯

谷歌大腦的研究人員在最近的《用更少的數(shù)據標簽生成高保真圖像》中，提出了一種新方法來減少訓練最先進條件GAN所需的標記數(shù)據量。文章提出結合大規(guī)模GAN的最新進展，將高保真自然圖像合成技術與最先進技術相結合，使數(shù)據標記數(shù)量減少到原來的10%。

在此基礎上，研究人員還發(fā)布了Compare GAN庫的重大更新，其中包含了訓練和評估現(xiàn)代GAN所需的所有組件。

利用半監(jiān)督和自監(jiān)督方式提升預測性能

條件GAN與基線BigGAN的FID分數(shù)對比，圖中黑色豎線為BigGAN基線模型（使用全部標記數(shù)據）得分。S3GAN在僅使用10%標記數(shù)據的情況下，得分比基線模型最優(yōu)得分高20%

在條件GAN中，生成器和判別器通常都以分類標簽為應用條件?，F(xiàn)在，研究人員建議使用推斷得出的數(shù)據標簽，來替換手工標記的真實標簽。

上行：BigGAN全監(jiān)督式學習生成的128×128像素最優(yōu)圖像樣本。下行為S3GAN生成的圖像樣本，標記數(shù)據量降低了90%，F(xiàn)ID得分與BigGAN表現(xiàn)相當

為了推斷大型數(shù)據集中多數(shù)未標記數(shù)據的高質量標簽，可以采取兩步方法：首先，僅使用數(shù)據集的未標記部分來學習特征表示。

為了學習特征表示，需要利用新方法，以不同的方法利用自我監(jiān)督機制：將未標記的圖像進行隨機旋轉，由深度卷積神經網絡負責預測旋轉角度。這背后的思路是，模型需要能夠識別主要對象及其形狀，才能在此類任務中獲得成功。

對一幅未標記的圖像進行隨機旋轉，網絡的任務是預測旋轉角度。成功的模型需要捕捉有意義的語義圖像特征，這些特征可用于完成其他視覺任務

研究人員將訓練網絡的一個中間層的激活模式視為輸入的新特征表示，并訓練分類器，以使用原始數(shù)據集的標記部分識別該輸入的標簽。由于網絡經過預訓練，可以從數(shù)據中提取具有語義意義的特征，因此，訓練此分類器比從頭開始訓練整個網絡更具樣本效率。最后使用分類器對未標記的數(shù)據進行標記。

為了進一步提高模型質量和訓練的穩(wěn)定性，最好讓判別器網絡學習有意義的特征表示。通過這些改進手段，在加上大規(guī)模的訓練，使得新的條件GAN在ImageNet圖像合成任務上達到了最優(yōu)性能。

給定潛在向量，由生成器網絡生成圖像。在每行中，最左側和最右側圖像的潛在代碼之間的線性插值導致圖像空間中的語義插值

CompareGAN：用于訓練和評估GAN的庫

對GAN的前沿研究在很大程度上依賴于經過精心設計和測試的代碼庫，即使只是復制或再現(xiàn)先前的結果和技術，也需要付出巨大努力。

為了促進開放科學并讓研究界從最近的進步中獲益，研究人員發(fā)布了Compare GAN庫的重大更新。該庫包括現(xiàn)代GAN中常用的損失函數(shù)，正則化和歸一化方案，神經架構和量化指標，現(xiàn)已支持：

GPU和TPU訓練

通過Gin進行輕量級配置（含實例）

通過TensorFlow數(shù)據集庫提供大量數(shù)據集

未來方向：自監(jiān)督學習會讓GAN更強大

由于標記數(shù)據源和未標記數(shù)據源之間的差距越來越大，讓模型具備從部分標記的數(shù)據中學習的能力變得越來越重要。

目前來看，自監(jiān)督學習和半監(jiān)督學習的簡單而有力的結合，有助于縮小GAN的這一現(xiàn)實差距。自監(jiān)督是一個值得研究的領域，值得在該領域開展面向其他生成建模任務的研究。