對(duì)風(fēng)格圖像的風(fēng)格進(jìn)行聚類實(shí)現(xiàn)多模態(tài)表示，并對(duì)風(fēng)格與內(nèi)容圖的空間特征進(jìn)行匹配實(shí)現(xiàn)了具有多種模態(tài)風(fēng)格的、具有內(nèi)容自適應(yīng)性風(fēng)格遷移。

圖像風(fēng)格遷移是一種利用風(fēng)格圖像中的特征將內(nèi)容圖像渲染成類似風(fēng)格圖像效果的技術(shù)，隨著深度學(xué)習(xí)的發(fā)展越來越精美的圖像被生成出來甚至可以與專業(yè)畫家相媲美。由于人們發(fā)現(xiàn)卷積特征間的相關(guān)性可以表示圖像的風(fēng)格，這使得迭代優(yōu)化網(wǎng)絡(luò)參數(shù)或者利用前傳網(wǎng)絡(luò)生成風(fēng)格圖像成為可能，目前的方法主要利用風(fēng)格圖的預(yù)訓(xùn)練模型來對(duì)任意的輸入進(jìn)行風(fēng)格化處理，或者抽取風(fēng)格圖的特征對(duì)內(nèi)容圖進(jìn)行風(fēng)格化。這些方法大都假設(shè)圖像的風(fēng)格可以通過格拉姆矩陣等深度特征的全局統(tǒng)計(jì)信息來描述。

盡管這些方法可以保存內(nèi)容圖像并匹配風(fēng)格圖像的特征，但很多時(shí)候還是會(huì)在局部產(chǎn)生一系列扭曲和變形，造成明顯的人工痕跡。如何處理這些問題成為了風(fēng)格遷移領(lǐng)域的研究難點(diǎn)和熱點(diǎn)。下圖展示了先前方法的風(fēng)格遷移圖像的一些結(jié)果，其中第一列大圖為內(nèi)容圖，右下角小圖為風(fēng)格圖，最后一列為本文提出的多模態(tài)風(fēng)格遷移(MultimodalStyleTransfer,MST)方法：

在第一行中左下角的風(fēng)格圖像中包含一系列復(fù)雜的紋理和線條，先前的方法無法區(qū)分風(fēng)格圖像中不同的風(fēng)格，并且對(duì)于內(nèi)容圖像不加區(qū)分地進(jìn)行了風(fēng)格化處理，這使得在背景天空等區(qū)域出現(xiàn)了一些較為明顯的線條，破壞了內(nèi)容圖原有的連續(xù)性。讓我們?cè)賮砜纯吹诙?，這里的風(fēng)格圖像模式清晰，包含了統(tǒng)一的背景和紅色/黑色的前景。AdaIN,WCT和LST等方法都無法較好的保持內(nèi)容圖像的結(jié)構(gòu)特征，受到?jīng)_洗效應(yīng)（wash-outartifacts.）的影響使得很多內(nèi)容細(xì)節(jié)變得模糊。這主要是由于單調(diào)的背景在風(fēng)格圖中占比過大，造成了背景全局風(fēng)格特征中占據(jù)了主導(dǎo)地位。從這些結(jié)果中可以看出類似格拉姆矩陣或協(xié)方差均值這類全局單模態(tài)的統(tǒng)計(jì)表示不足以表達(dá)特征圖豐富、多模態(tài)的特征。理想的特征表達(dá)應(yīng)該是具有空間分布的特征模式。

盡管基于圖像片的方法這些模型可以在內(nèi)容圖像和風(fēng)格圖像具有相似結(jié)構(gòu)特征時(shí)生成視覺效果較好的風(fēng)格圖，但這些方法很多時(shí)候會(huì)在生成圖像中引入不該出現(xiàn)的風(fēng)格模式。在上圖中最后兩行的圖像中可以明顯看到這些結(jié)果。例如風(fēng)格圖像中的眼睛、嘴唇等模式都會(huì)被copy到背景中（倒數(shù)第二行），甚至在最后一行中我們可以看出內(nèi)容圖像已經(jīng)發(fā)生改變，女孩的臉型受到了風(fēng)格圖像的影響。這些缺點(diǎn)大大限制了生成高質(zhì)量風(fēng)格圖像的應(yīng)用，為了解決這些問題研究人員從風(fēng)格分布的角度提出了一種多模態(tài)風(fēng)格遷移的方法，實(shí)現(xiàn)了靈活、通用風(fēng)格化過程，并充分利用并有效平衡了參數(shù)化和非參數(shù)化方法的優(yōu)勢(shì)。

具體來說，研究人員提出了多模態(tài)風(fēng)格表示方法來表示風(fēng)格圖的特征，并基于圖方法的匹配機(jī)制來實(shí)現(xiàn)風(fēng)格特征和內(nèi)容圖像的匹配。研究人員在對(duì)多種風(fēng)格圖像風(fēng)格分布分析的基礎(chǔ)上認(rèn)為多模態(tài)表示是更為有效的風(fēng)格表達(dá)方式，并利用表示不同特定特征的風(fēng)格集合來實(shí)現(xiàn)多模表示，可利用這些特征來實(shí)現(xiàn)會(huì)對(duì)不同特征的混合與匹配，得到豐富多彩的風(fēng)格化圖像。

為了實(shí)現(xiàn)風(fēng)格-內(nèi)容的匹配，研究人員提出了基于圖的能量最小化方法，并利用圖割的方式來求解。風(fēng)格表達(dá)通過內(nèi)容的空間特征來匹配。最后研究人員還利用了不同的子風(fēng)格數(shù)量探索了多模態(tài)表達(dá)的魯棒性和有效性，實(shí)驗(yàn)表明MST可有效改進(jìn)現(xiàn)有風(fēng)格化方法表現(xiàn)。

接下來讓我們一起來探索高效的多模態(tài)風(fēng)格表示，并研究如何為每一種內(nèi)容特征與風(fēng)格特征進(jìn)行匹配，最后將在對(duì)應(yīng)的特征子空間中實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換。

多模態(tài)表示

基于卷積的圖像風(fēng)格遷移主要利用兩種方法來對(duì)特征進(jìn)行表示，一種假設(shè)全局具有相同分布并用全局特征來表風(fēng)格，另一種則基于圖像片提取風(fēng)格。當(dāng)風(fēng)格圖像具有多種特征時(shí)、單一均勻的方法無法較好的處理。在下圖中可以看到對(duì)于風(fēng)格特征的聚類，明顯具有多種不同的風(fēng)格模式。

而基于圖像片的方法來說，會(huì)造成多個(gè)相同模式的圖像片被copy到最終結(jié)果中造成不連續(xù)不美觀的局部畸變。為了處理這些問題研究人員提出了利用多模態(tài)來表示風(fēng)格圖的特征，通過將風(fēng)格分為多個(gè)子集實(shí)現(xiàn)了高維空間中的模態(tài)聚類，在特征空間中通過K均值聚類來對(duì)特征點(diǎn)進(jìn)行分割：

特征Fs被分解成多個(gè)子特征，每個(gè)特征都有自己的特征標(biāo)簽lk。在特征空間中的鄰近點(diǎn)具有相同的視覺特征。通過這樣的方法就將先前均一模式的特征表達(dá)分解到了多個(gè)子空間中。

基于圖的風(fēng)格匹配

針對(duì)內(nèi)容圖，同樣需要抽取特征。隨后對(duì)內(nèi)容特征和風(fēng)格特征進(jìn)行距離測(cè)量，基于余弦距離計(jì)算出每一個(gè)風(fēng)格特征與內(nèi)容特征的距離，并最小化數(shù)據(jù)能量函數(shù)來匹配對(duì)應(yīng)的特征：

隨后還需要考慮內(nèi)容圖像的空間信息來保留內(nèi)容的連續(xù)性和邊緣的完整，并希望內(nèi)容圖像同一局域擁有相同的特征標(biāo)簽，所以還引入了內(nèi)容平滑項(xiàng)：

最后將兩項(xiàng)能量函數(shù)聯(lián)合起來并最小化就能得到風(fēng)格與對(duì)應(yīng)內(nèi)容匹配的結(jié)果。研究人員提出了基于圖的方法來最小化，并最終實(shí)現(xiàn)了像素級(jí)的風(fēng)格匹配。

實(shí)驗(yàn)發(fā)現(xiàn)，風(fēng)格特征的聚類將抽取出圖像中的語義信息。在獲得像素級(jí)的匹配圖后，就可以更具內(nèi)容的特征自適應(yīng)的匹配不同風(fēng)格來實(shí)現(xiàn)更為有效的圖像風(fēng)格化操作。下圖分別顯示了具有兩個(gè)/三個(gè)子風(fēng)格的風(fēng)格匹配圖像。

通過一系列的實(shí)驗(yàn)表明，這種方法在邊緣保留、特征自適應(yīng)匹配等方面具有十分優(yōu)異的表現(xiàn)。研究人員探索了不同風(fēng)格聚類數(shù)量對(duì)于風(fēng)格化的影響，可以看到越多的子風(fēng)格數(shù)對(duì)圖像的表達(dá)越完整，遷移后的圖像具有更好的視覺連續(xù)性：

在匹配圖中我們可以看到不同特征的分布區(qū)域，下圖中可以看到聚類數(shù)為3時(shí)不同特征對(duì)應(yīng)內(nèi)容圖和特征圖的區(qū)域模式。

這種利用多模態(tài)的風(fēng)格表示方法有效的將風(fēng)格圖中的不同特征進(jìn)行了更為豐富完整的表示，并利用特征匹配的方法為不同的內(nèi)容區(qū)域匹配不同的特征，自適應(yīng)的實(shí)現(xiàn)具有空間分布的風(fēng)格遷移。MST的思想可以有效拓展到現(xiàn)有的風(fēng)格遷移方法中，提高最終生成的風(fēng)格圖像的視覺效果。最后讓我們?cè)賮硇蕾p一些機(jī)器生產(chǎn)的美麗畫作吧！

MST方法得到的結(jié)果與其他方法的比較