近年來，視頻游戲開發(fā)商和計算機(jī)科學(xué)家一直在努力設(shè)計技術(shù)，使游戲體驗(yàn)越來越沉浸其中，引人入勝和現(xiàn)實(shí)。其中包括自動創(chuàng)建受真人啟發(fā)的視頻游戲角色的方法。

大多數(shù)現(xiàn)有的創(chuàng)建和定制視頻游戲角色的方法都要求玩家手動調(diào)整角色的面部特征，以便重新創(chuàng)建自己的面部或其他人的面部。最近，一些開發(fā)人員嘗試開發(fā)一些方法，通過分析真實(shí)人物的面部圖像，自動定制角色的面部。但是，這些方法并不總是有效的，也不總是以真實(shí)的方式再現(xiàn)它們分析的人臉。

網(wǎng)易伏羲AI實(shí)驗(yàn)室和密歇根大學(xué)的研究人員最近發(fā)明了MeInGame，這是一種深度學(xué)習(xí)技術(shù)，可以通過分析一個人臉的單個肖像自動生成人物臉。這項技術(shù)在arXiv上預(yù)先發(fā)表的一篇論文中提出，可以很容易地集成到大多數(shù)現(xiàn)有的3D視頻游戲中。

開展這項研究的三位研究人員江克林、易遠(yuǎn)和鄒正霞在論文中寫道：“我們提出了一種自動創(chuàng)建人物面部的方法，可以從一張肖像中預(yù)測面部形狀和紋理，并可以集成到大多數(shù)現(xiàn)有的3D游戲中?！?/p>

在以前的工作中提出的一些自動字符定制系統(tǒng)是基于被稱為3D變形人臉模型（3DMMs）的計算技術(shù)的。雖然這些方法中的一些已經(jīng)被發(fā)現(xiàn)能夠以很高的精確度再現(xiàn)人的面部特征，但它們表示幾何特性和空間關(guān)系（即拓?fù)洌┑姆绞酵ǔ２煌诖蠖鄶?shù)3D視頻游戲中使用的網(wǎng)格。

為了使3DMMs能夠可靠地再現(xiàn)人臉的紋理，它們通常需要在大量的圖像數(shù)據(jù)集和相關(guān)的紋理數(shù)據(jù)上進(jìn)行訓(xùn)練。編譯這些數(shù)據(jù)集可能相當(dāng)耗時。此外，這些數(shù)據(jù)集并不總是包含在野外收集的真實(shí)圖像，這可能會阻止在這些數(shù)據(jù)集上訓(xùn)練的模型在呈現(xiàn)新數(shù)據(jù)時表現(xiàn)出一致的良好性能。為了克服這個限制，林、袁和鄒在野外拍攝的圖像數(shù)據(jù)集上訓(xùn)練了他們的技術(shù)。

研究人員在論文中解釋說：“給定一張輸入的人臉照片，我們首先基于3D變形人臉模型（3DMM）和卷積神經(jīng)網(wǎng)絡(luò)（CNNs）重建3D人臉，然后將3D人臉的形狀轉(zhuǎn)移到模板網(wǎng)格上?！痹摼W(wǎng)絡(luò)以人臉照片和展開的粗UV紋理圖為輸入，預(yù)測光照系數(shù)和細(xì)化紋理圖。

林、袁和鄒在一系列實(shí)驗(yàn)中評估了他們的深度學(xué)習(xí)技術(shù)，將其生成的游戲角色的質(zhì)量與其他現(xiàn)有最先進(jìn)的自動角色定制方法生成的角色臉的質(zhì)量進(jìn)行了比較。他們的方法表現(xiàn)非常出色，生成的人物面部與輸入圖像中的人物面部非常相似。

研究人員在論文中寫道：“提出的方法不僅能產(chǎn)生與輸入肖像相似的細(xì)節(jié)生動的游戲人物，還能消除光線和遮擋的影響。實(shí)驗(yàn)表明，我們的方法優(yōu)于游戲中使用的最新方法?！?/p>

在未來，這個研究小組設(shè)計的角色臉生成方法可以集成到許多3D視頻游戲中，實(shí)現(xiàn)與真人非常相似的角色的自動生成。MeInGame模型的代碼和用于訓(xùn)練該模型的數(shù)據(jù)集已在線發(fā)布，全球游戲開發(fā)商可通過以下網(wǎng)址訪問：github.com/FuxiCV/MeInGame。
編輯：lyn