擴(kuò)散模型在文本到圖像生成方面是最好的嗎？不見得，英偉達(dá)等機(jī)構(gòu)推出的新款 StyleGAN-T，結(jié)果表明 GAN 仍具有競(jìng)爭(zhēng)力。

文本合成圖像任務(wù)是指，基于文本內(nèi)容生成圖像內(nèi)容。當(dāng)下這項(xiàng)任務(wù)取得的巨大進(jìn)展得益于兩項(xiàng)重要的突破：其一，使用大的預(yù)訓(xùn)練語(yǔ)言模型作為文本的編碼器，讓使用通用語(yǔ)言理解實(shí)現(xiàn)生成模型成為可能。其二，使用由數(shù)億的圖像 - 文本對(duì)組成的大規(guī)模訓(xùn)練數(shù)據(jù)，只要你想到的，模型都可以合成。

訓(xùn)練數(shù)據(jù)集的大小和覆蓋范圍持續(xù)飛速擴(kuò)大。因此，文本生成圖像任務(wù)的模型必須擴(kuò)展成為大容量模型，以適應(yīng)訓(xùn)練數(shù)據(jù)的增加。最近在大規(guī)模文本到圖像生成方面，擴(kuò)散模型（DM）和自回歸模型（ARM）催生出了巨大的進(jìn)展，這些模型似乎內(nèi)置了處理大規(guī)模數(shù)據(jù)的屬性，同時(shí)還能處理高度多模態(tài)數(shù)據(jù)的能力。

有趣的是，2014 年，由 Goodfellow 等人提出的生成對(duì)抗網(wǎng)絡(luò)（GAN），在生成任務(wù)中并沒(méi)有大放異彩，正當(dāng)大家以為 GAN 在生成方面已經(jīng)不行的時(shí)候，來(lái)自英偉達(dá)等機(jī)構(gòu)的研究者卻試圖表明 GAN 仍然具有競(jìng)爭(zhēng)力，提出 StyleGAN-T 模型。

StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

論文地址：https://arxiv.org/abs/2301.09515

論文主頁(yè)：https://sites.google.com/view/stylegan-t/

StyleGAN-T 只需 0.1 秒即可生成 512×512 分辨率圖像：

?

?

StyleGAN-T 生成宇航員圖像：

?

值得一提的是，谷歌大腦研究科學(xué)家 Ben Poole 表示：StyleGAN-T 在低分辨率 (64x64) 時(shí)生成的樣本比擴(kuò)散模型更快更好，但在高分辨率 (256x256) 時(shí)表現(xiàn)不佳。

研究者們表示，他們?cè)?64 臺(tái) NVIDIA A100 上進(jìn)行了 4 周的訓(xùn)練。有人給這項(xiàng)研究算了一筆賬，表示：StyleGAN-T 在 64 塊 A100 GPU 上訓(xùn)練 28 天，根據(jù)定價(jià)約為 473000 美元，這大約是典型擴(kuò)散模型成本的四分之一……

GAN 提供的主要好處在于推理速度以及可以通過(guò)隱空間控制合成的結(jié)果。StyleGAN 的特別之處在于，其具有一個(gè)精心設(shè)計(jì)的隱空間，能從根本上把控生成的圖像結(jié)果。而對(duì)于擴(kuò)散模型來(lái)說(shuō)，盡管有些工作在其加速方面取得了顯著進(jìn)展，但速度仍然遠(yuǎn)遠(yuǎn)落后于僅需要一次前向傳播的 GAN。

本文從觀察到 GAN 在 ImageNet 合成中同樣落后于擴(kuò)散模型中得到啟發(fā)，接著受益于 StyleGAN-XL 對(duì)判別器的架構(gòu)進(jìn)行了重構(gòu)，使得 GAN 和擴(kuò)散模型的差距逐漸縮小。在原文的第 3 節(jié)中，考慮到大規(guī)模文本生成圖像任務(wù)的特定要求：數(shù)量多、類別多的數(shù)據(jù)集、強(qiáng)大的文本對(duì)齊以及需要在變化與文本對(duì)齊間進(jìn)行權(quán)衡，研究者以 StyleGAN-XL 作為開始，重新審視了生成器和判別器的架構(gòu)。

在 MS COCO 上的零樣本任務(wù)中，StyleGAN-T 以 64×64 的分辨率實(shí)現(xiàn)了比當(dāng)前 SOTA 擴(kuò)散模型更高的 FID 分?jǐn)?shù)。在 256×256 分辨率下，StyleGAN-T 更是達(dá)到之前由 GAN 實(shí)現(xiàn)的零樣本 FID 分?jǐn)?shù)的一半，不過(guò)還是落后于 SOTA 的擴(kuò)散模型。StyleGAN-T 的主要優(yōu)點(diǎn)包括其快速的推理速度和在文本合成圖像任務(wù)的上下文中進(jìn)行隱空間平滑插值，分別如圖 1 和圖 2 所示。

StyleGAN-T 架構(gòu)概覽

該研究選擇 StyleGAN-XL 作為基線架構(gòu)，因?yàn)?StyleGAN-XL 在以類別為條件的 ImageNet 合成任務(wù)中表現(xiàn)出色。然后該研究依次從生成器、判別器和變長(zhǎng)與文本對(duì)齊的權(quán)衡機(jī)制的角度修改 StyleGAN-XL。

在整個(gè)重新設(shè)計(jì)過(guò)程中，作者使用零樣本 MS COCO 來(lái)衡量改動(dòng)的效果。出于實(shí)際原因，與原文第 4 節(jié)中的大規(guī)模實(shí)驗(yàn)相比，測(cè)試步驟的計(jì)算資源預(yù)算有限，該研究使用了更小模型和更小的數(shù)據(jù)集；詳見原文附錄 A。除此以外，該研究使用 FID 分?jǐn)?shù)來(lái)量化樣本質(zhì)量，并使用 CLIP 評(píng)分來(lái)量化文本對(duì)齊質(zhì)量。

為了在基線模型中將以類別為引導(dǎo)條件更改為以文本為引導(dǎo)條件，作者使用預(yù)訓(xùn)練的 CLIP ViT-L/14 文本編碼器來(lái)嵌入文本提示，以此來(lái)代替類別嵌入。接著，作者刪除了用于引導(dǎo)生成的分類器。這種簡(jiǎn)單的引導(dǎo)機(jī)制與早期的文本到圖像模型相匹配。如表 1 所示，該基線方法在輕量級(jí)訓(xùn)練配置中達(dá)到了 51.88 的零樣本 FID 和 5.58 的 CLIP 分?jǐn)?shù)。值得注意的是，作者使用不同的 CLIP 模型來(lái)調(diào)節(jié)生成器和計(jì)算 CLIP 分?jǐn)?shù)，這降低了人為夸大結(jié)果的風(fēng)險(xiǎn)。

實(shí)驗(yàn)結(jié)果

該研究使用零樣本 MS COCO 在表 2 中的 64×64 像素輸出分辨率和表 3 中的 256×256 像素輸出分辨率下定量比較 StyleGAN-T 的性能與 SOTA 方法的性能。

圖 5 展示了 FID-CLIP 評(píng)分曲線：

為了隔離文本編碼器訓(xùn)練過(guò)程產(chǎn)生的影響，該研究評(píng)估了圖 6 中的 FID–CLIP 得分曲線。

圖 2 顯示了 StyleGAN-T 生成的示例圖像，以及它們之間的插值。

在不同的文本提示之間進(jìn)行插值非常簡(jiǎn)單。對(duì)于由中間變量 w_0 = [f (z), c_text0] 生成的圖像，該研究用新的文本條件 c_text1 替換文本條件 c_text0。然后將 w_0 插入到新的隱變量 w_1 = [f (z), c_text1] 中，如圖 7 所示。

通過(guò)向文本提示附加不同的樣式，StyleGAN-T 可以生成多種樣式，如圖 8 所示。

審核編輯 ：李倩