前一陣子英偉達(dá)的StyleGAN可謂是火了一把，近日又出大招了！以往圖像到圖像轉(zhuǎn)換需要大量的圖像做訓(xùn)練樣本，但是在英偉達(dá)的這項(xiàng)工作中，僅需小樣本就可以做到圖像到圖像的轉(zhuǎn)換(代碼已開(kāi)源)！

小樣本，大成就！

當(dāng)我們看到一只站著的老虎時(shí)，我們很容易想象出來(lái)它躺著的樣子。

這是因?yàn)槲覀兏鶕?jù)其它動(dòng)物平躺的姿勢(shì)就是可以做聯(lián)想。

然而，對(duì)于機(jī)器來(lái)說(shuō)就沒(méi)有這么簡(jiǎn)單了。在現(xiàn)存的非監(jiān)督圖像到圖像轉(zhuǎn)換模型需要大量的訓(xùn)練圖像。

不僅如此，一個(gè)模型能夠轉(zhuǎn)換圖像的另一個(gè)前提是圖像中的對(duì)象必須在訓(xùn)練集中存在。

近期，英偉達(dá)、康納爾大學(xué)和阿爾托大學(xué)聯(lián)合發(fā)表了一篇文章——小樣本(few-shot)非監(jiān)督圖像到圖像轉(zhuǎn)換。

論文地址：

https://arxiv.org/pdf/1905.01723.pdf

簡(jiǎn)單來(lái)說(shuō)，就是輸入一只金毛，在訓(xùn)練過(guò)程當(dāng)中，即便第一次看到一種新動(dòng)物，也能讓它像金毛那樣吐舌頭、閉嘴巴、歪頭。

若是輸入一張炒面的圖，該模型也可以讓其它食物變成炒面。

這項(xiàng)工作還提供了在線測(cè)試，新智元小編們便拿自家的貓主子“西瓜”和“多比”做了一下測(cè)試：

輸入“西瓜”得到的結(jié)果

輸入“多比”得到的結(jié)果

在線測(cè)試連接如下，讀者們快快玩起來(lái)吧：

https://nvlabs.github.io/FUNIT/petswap.html

該項(xiàng)目的代碼也已開(kāi)源，地址如下：

https://github.com/NVlabs/FUNIT

FUNIT：2階段圖像轉(zhuǎn)換，非常有趣！

我們提出的FUNIT框架旨在通過(guò)利用在測(cè)試時(shí)可用的幾個(gè)目標(biāo)類圖像，將源類的圖像映射到目標(biāo)類的類似圖像。

為了訓(xùn)練FUNIT，我們使用來(lái)自一組對(duì)象類(例如各種動(dòng)物物種的圖像)中的圖像，稱為源類(source classes)。我們不假設(shè)任何兩個(gè)類之間存在配對(duì)的圖像(即，不同物種的任何兩個(gè)動(dòng)物都不會(huì)是完全相同的姿勢(shì))。

我們使用源類里的圖像來(lái)訓(xùn)練一個(gè)multi-class無(wú)監(jiān)督圖像到圖像轉(zhuǎn)換模型。

在測(cè)試過(guò)程中，我們從一個(gè)稱為目標(biāo)類(target class)的新對(duì)象類中提供少量幾張圖像。模型必須利用少量的目標(biāo)圖像來(lái)將源類里的任何圖像轉(zhuǎn)換為目標(biāo)類里的類似圖像。

圖1

訓(xùn)練。訓(xùn)練集由各種對(duì)象類(源類)的圖像組成。我們訓(xùn)練了一個(gè)模型在這些源對(duì)象類之間轉(zhuǎn)換圖像。

部署。我們向訓(xùn)練模型顯示極少量目標(biāo)類里的圖像，這就足以將源類的圖像轉(zhuǎn)換為目標(biāo)類的類似圖像了，即使模型在訓(xùn)練期間從未見(jiàn)過(guò)目標(biāo)類的任何圖像。

需要注意的是，F(xiàn)UNIT生成器有兩個(gè)輸入：1)一個(gè)內(nèi)容圖像；2)一組目標(biāo)類圖像。它的目的是生成與目標(biāo)類圖像相似的輸入圖像的轉(zhuǎn)換。

我們的框架由一個(gè)有條件的圖像發(fā)生器G和一個(gè)多任務(wù)對(duì)抗性鑒別器D組成。

與現(xiàn)有無(wú)監(jiān)督image-to-image translation框架中有條件的圖像生成器不同，它們是將一張圖像作為輸入，而我們的生成器G需要同時(shí)將一張內(nèi)容圖像x和一組K類圖像{y1, ..., yK}作為輸入，生成輸出圖像xˉ，公式如下：

實(shí)驗(yàn)結(jié)果：姿態(tài)和種類一起轉(zhuǎn)換，超越基準(zhǔn)模型

主要結(jié)果

如表1所示，F(xiàn)UNIT框架在Animal Faces和North American Birds兩個(gè)數(shù)據(jù)集的所有性能指標(biāo)都優(yōu)于用于小樣本無(wú)監(jiān)督圖像到圖像轉(zhuǎn)換任務(wù)的基線模型。

FUNIT在Animal Faces數(shù)據(jù)集的1-shot和5-shot設(shè)置上分別達(dá)到82.36和96.05 的Top-5 測(cè)試精度，以及在North American Birds數(shù)據(jù)集上分別達(dá)到60.19和75.75的Top-5 測(cè)試精度。

這些指標(biāo)都明顯優(yōu)于相應(yīng)的基準(zhǔn)模型。

表1：FUNIT與基線模型的性能比較?！硎緮?shù)值越大越好，↓表示越小越好。

在圖2中，我們對(duì)FUNIT-5計(jì)算的few-shot translation的結(jié)果進(jìn)行了可視化。

圖2：無(wú)監(jiān)督圖像-圖像轉(zhuǎn)換結(jié)果的可視化。計(jì)算結(jié)果采用FUNIT-5模型。

從上到下分別是來(lái)自動(dòng)物面孔、鳥、花和食物數(shù)據(jù)集的結(jié)果。每個(gè)示例隨機(jī)展示了2張目標(biāo)類中的圖像，輸入內(nèi)容圖像x，以及轉(zhuǎn)換后的輸出圖像xˉ。

結(jié)果表明，模型能夠成功地將源類的圖像轉(zhuǎn)換為新的類中的相似圖像。對(duì)象在輸入內(nèi)容圖像x和相應(yīng)輸出圖像xˉ中的姿態(tài)基本保持不變。輸出圖像也非常逼真，類似于目標(biāo)類中的圖像。

圖3提供FUNIT與基線模型的結(jié)果比較?？梢钥吹?，F(xiàn)UNIT生成了高質(zhì)量的圖像轉(zhuǎn)換輸出。

圖3：小樣本圖像到圖像轉(zhuǎn)換效果的比較。

從左到右的列分別是輸入內(nèi)容圖像x，兩個(gè)輸入目標(biāo)類圖像y1，y2，來(lái)自不公平的StarGAN基線的轉(zhuǎn)換結(jié)果，來(lái)自公平的StarGAN基線的轉(zhuǎn)換結(jié)果，以及來(lái)自FUNIT框架的結(jié)果。