近年來,視頻游戲開發(fā)商和計算機(jī)科學(xué)家一直在努力設(shè)計技術(shù),使游戲體驗越來越沉浸其中,引人入勝和現(xiàn)實。其中包括自動創(chuàng)建受真人啟發(fā)的視頻游戲角色的方法。
大多數(shù)現(xiàn)有的創(chuàng)建和定制視頻游戲角色的方法都要求玩家手動調(diào)整角色的面部特征,以便重新創(chuàng)建自己的面部或其他人的面部。最近,一些開發(fā)人員嘗試開發(fā)一些方法,通過分析真實人物的面部圖像,自動定制角色的面部。但是,這些方法并不總是有效的,也不總是以真實的方式再現(xiàn)它們分析的人臉。
網(wǎng)易伏羲AI實驗室和密歇根大學(xué)的研究人員最近發(fā)明了MeInGame,這是一種深度學(xué)習(xí)技術(shù),可以通過分析一個人臉的單個肖像自動生成人物臉。這項技術(shù)在arXiv上預(yù)先發(fā)表的一篇論文中提出,可以很容易地集成到大多數(shù)現(xiàn)有的3D視頻游戲中。
開展這項研究的三位研究人員江克林、易遠(yuǎn)和鄒正霞在論文中寫道:“我們提出了一種自動創(chuàng)建人物面部的方法,可以從一張肖像中預(yù)測面部形狀和紋理,并可以集成到大多數(shù)現(xiàn)有的3D游戲中。”
在以前的工作中提出的一些自動字符定制系統(tǒng)是基于被稱為3D變形人臉模型(3DMMs)的計算技術(shù)的。雖然這些方法中的一些已經(jīng)被發(fā)現(xiàn)能夠以很高的精確度再現(xiàn)人的面部特征,但它們表示幾何特性和空間關(guān)系(即拓?fù)洌┑姆绞酵ǔ2煌诖蠖鄶?shù)3D視頻游戲中使用的網(wǎng)格。
為了使3DMMs能夠可靠地再現(xiàn)人臉的紋理,它們通常需要在大量的圖像數(shù)據(jù)集和相關(guān)的紋理數(shù)據(jù)上進(jìn)行訓(xùn)練。編譯這些數(shù)據(jù)集可能相當(dāng)耗時。此外,這些數(shù)據(jù)集并不總是包含在野外收集的真實圖像,這可能會阻止在這些數(shù)據(jù)集上訓(xùn)練的模型在呈現(xiàn)新數(shù)據(jù)時表現(xiàn)出一致的良好性能。為了克服這個限制,林、袁和鄒在野外拍攝的圖像數(shù)據(jù)集上訓(xùn)練了他們的技術(shù)。
研究人員在論文中解釋說:“給定一張輸入的人臉照片,我們首先基于3D變形人臉模型(3DMM)和卷積神經(jīng)網(wǎng)絡(luò)(CNNs)重建3D人臉,然后將3D人臉的形狀轉(zhuǎn)移到模板網(wǎng)格上?!痹摼W(wǎng)絡(luò)以人臉照片和展開的粗UV紋理圖為輸入,預(yù)測光照系數(shù)和細(xì)化紋理圖。
林、袁和鄒在一系列實驗中評估了他們的深度學(xué)習(xí)技術(shù),將其生成的游戲角色的質(zhì)量與其他現(xiàn)有最先進(jìn)的自動角色定制方法生成的角色臉的質(zhì)量進(jìn)行了比較。他們的方法表現(xiàn)非常出色,生成的人物面部與輸入圖像中的人物面部非常相似。
研究人員在論文中寫道:“提出的方法不僅能產(chǎn)生與輸入肖像相似的細(xì)節(jié)生動的游戲人物,還能消除光線和遮擋的影響。實驗表明,我們的方法優(yōu)于游戲中使用的最新方法。”
在未來,這個研究小組設(shè)計的角色臉生成方法可以集成到許多3D視頻游戲中,實現(xiàn)與真人非常相似的角色的自動生成。MeInGame模型的代碼和用于訓(xùn)練該模型的數(shù)據(jù)集已在線發(fā)布,全球游戲開發(fā)商可通過以下網(wǎng)址訪問:github.com/FuxiCV/MeInGame。
編輯:lyn
-
AI
+關(guān)注
關(guān)注
88文章
35138瀏覽量
279804 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5561瀏覽量
122794
發(fā)布評論請先 登錄
?Diffusion生成式動作引擎技術(shù)解析
PPEC為電力電子科研教學(xué)賦能,開啟教學(xué)科研新路徑
BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系
MediaTek與知名游戲引擎開發(fā)商Cocos達(dá)成深度合作
聯(lián)發(fā)科技攜手Cocos共建端側(cè)生成式AI游戲開發(fā)生態(tài),推動行業(yè)升級
國外科研團(tuán)隊在X射線科學(xué)領(lǐng)域取得了重大突破
NPU在深度學(xué)習(xí)中的應(yīng)用
pcie在深度學(xué)習(xí)中的應(yīng)用
一種基于深度學(xué)習(xí)的二維拉曼光譜算法

激光雷達(dá)技術(shù)的基于深度學(xué)習(xí)的進(jìn)步
ChatGPT 在游戲開發(fā)中的創(chuàng)新應(yīng)用
AI大模型與深度學(xué)習(xí)的關(guān)系
BitEnergy AI公司開發(fā)出一種新AI處理方法
FPGA做深度學(xué)習(xí)能走多遠(yuǎn)?
一種新型全光學(xué)智能光譜儀

評論