朱唇輕啟,嘴角含笑,這半張臉很普通。
而整個(gè)人,看上去也很普通。
但她不普通,因?yàn)?,她,不是人?/p>
作為數(shù)字虛擬人,她有自己的名字,Siren,意為古希臘傳說中半人半鳥的女海妖。
由騰訊互娛事業(yè)群的NEXT Studio 與Epic Games、Cubic Motion和3Lateral等業(yè)內(nèi)各領(lǐng)域頂尖公司聯(lián)合團(tuán)隊(duì)開發(fā)而成。
她,實(shí)際上也是人。
她的面部形象,來自于中國的女演員姜冰潔。
但Siren也可以是所有人,她能夠惟妙惟肖地“演繹”出其他人的表情,包括你的。
這項(xiàng)成果代表了目前實(shí)時(shí)渲染技術(shù)的業(yè)界頂尖水平。
Siren所有的動作表情都是實(shí)時(shí)捕捉并實(shí)時(shí)渲染。
只要將這套動捕設(shè)備,戴在你頭上。它能實(shí)時(shí)跟蹤200多個(gè)面部特征點(diǎn),并將這些數(shù)據(jù)實(shí)時(shí)地映射到Siren的面部Rig(骨骼綁定)驅(qū)動Siren的3D臉部模型。
動作表情以每秒60幀輸出在屏幕上。
最最重點(diǎn)的是——數(shù)字虛擬人是可以基于任何人的樣子進(jìn)行掃描,掃描之后,TA就是被掃描者的復(fù)刻和分身了。
而驅(qū)動這一數(shù)字虛擬人的表情和動作的,可以是其他人。
這樣,很多奇妙的事情就可以發(fā)生了。
周杰倫曾經(jīng)幻想,能穿越時(shí)空,回到30年前,跟鄧麗君合唱一首歌。
他說:那是多么榮幸的一件事啊。
30年后,他真的,跟她,隔空對唱。
周杰倫沒有想到——這場機(jī)緣來自科技,是45名工程師耗2個(gè)月心血打造,這場重逢,讓兩個(gè)時(shí)代的歌手,在萬千目光中,共譜了一曲。
《速度與激情7》里,保羅·沃克在不幸離世前,電影只拍完了八成左右的戲份,劇組是如何處理余下未拍攝的呢?
導(dǎo)演只好用CG方式來制作數(shù)字替身,輔以3D跟蹤和相機(jī)運(yùn)動匹配來完成剩余鏡頭,他還找來沃克的兄弟拍攝沃克的戲份。
影片的結(jié)尾,導(dǎo)演把保羅之前的影像剪輯到一起,給影迷一份深刻動人的完美懷念。
過去,讓逝去的人重生,仿佛是一個(gè)無法實(shí)現(xiàn)的夢??萍甲屢磺凶兊每赡?。
Siren的出現(xiàn),可以讓人物“還原”,變得更簡單。
如果說3D“鄧麗君”、“保羅”像電影特效制作一樣,是一幀幀通過離線渲染摳出來的,那么Siren則是實(shí)時(shí)渲染出來的,可以實(shí)時(shí)互動。
這個(gè)過程在15毫秒內(nèi)完成,一般人幾乎感受不到延遲。
而為了追相片級的表現(xiàn),整個(gè)開發(fā)過程,團(tuán)隊(duì)都需要在不同光照條件和相機(jī)位置下對比真實(shí)照片和引擎渲染結(jié)果,一點(diǎn)點(diǎn)修正。
換衣服對于她來說,就是揮揮手,抖三抖的事
現(xiàn)在Siren不管是高精度的面部動捕,還有長時(shí)間的身體動作捕捉,都一步步的做到盡可能的接近真實(shí)。
有了它,你可以和任何一個(gè)“人”實(shí)時(shí)互動交流。
那么有了Siren之后,會帶來哪些改變?
我們可以大膽想象,未來,你也可以像《頭號玩家》里的主人公一樣,將自己的一舉一動映射到虛擬角色身上,他是通過魔幻眼鏡完成自由變身,而你通過Siren,完成置換。
除了在游戲中感受虛擬人的魅力,Siren在影視方向的想象空間也很大。
要知道,從替身到摳像,從人皮面具到真人倒模,在這些方面,電影的創(chuàng)意可謂層出不窮。
有了Siren之后,你再也不用擔(dān)心這些流量小花鮮肉的演技了,形象掃一掃,剩下的表情驅(qū)動請交給真正的“演技派”。
當(dāng)然對于老藝術(shù)家,我們也可以在他們年輕時(shí),用數(shù)字化技術(shù)將他們定格在最美的時(shí)候,讓他們的才華在藝術(shù)作品中以最鮮活的姿態(tài)存在。
除了成為“復(fù)刻”的明星,Siren本身是不是也可以成為全能偶像?
完全可以啊。初音未來多火不用說,洛天依的名字你想必也不陌生,那么對于更真實(shí)的Siren,潛力更是無限。
出個(gè)MV,上綜藝,甚至開演唱會,代言游戲都不是問題,如果被賦予人工智能,能夠想象的空間足夠大。
你也可以成為虛擬主播?
脫離各種后期加持,無需動漫制作,告別濾鏡、醫(yī)美,面對最考驗(yàn)實(shí)時(shí)技術(shù)的直播,相信Siren小姐姐,也能應(yīng)付自如,不用錄播,人設(shè)就立在那里。
可能你所看到的女性Siren背后,驅(qū)動的是一個(gè)摳腳大漢呢。
還能變身智能語音助手?
Siren現(xiàn)在還需要真人驅(qū)動,未來,是否可以由AI驅(qū)動?那么想象家里像《銀翼殺手》里,有一個(gè)虛擬伴侶或助手,想必很奇妙,叫你起床,關(guān)照你增添衣物,家里的一切因?yàn)樗兊檬嫘?,感覺擁有了一個(gè)田螺姑娘呢。
“高保真,實(shí)時(shí)渲染,可交互,虛擬數(shù)字人....."
這些技術(shù)亮點(diǎn)背后,是Project Siren背后站著的一群人帶來的嘗試。
這群由騰訊互娛事業(yè)群的NEXT Studio 與業(yè)內(nèi)各領(lǐng)域頂尖公司聯(lián)合組成的開發(fā)團(tuán)隊(duì),正努力鍛造超真實(shí)虛擬偶像的可能性。
未來,充滿不確定性和挑戰(zhàn),我們期待Siren的再一次“改變”。
-
3D
+關(guān)注
關(guān)注
9文章
3024瀏覽量
115633 -
數(shù)字化
+關(guān)注
關(guān)注
8文章
10862瀏覽量
67449 -
智能語音
+關(guān)注
關(guān)注
11文章
829瀏覽量
50352
原文標(biāo)題:她叫Siren,不是人,也可以是所有人
文章出處:【微信號:szwlw26059696,微信公眾號:物聯(lián)網(wǎng)之聲】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
FreeRTOS 在 s32k3xx 中卡在 prvPortStartFirstTask有什么需要改變的嗎
伺服電機(jī)經(jīng)減速器之后的精度問題
關(guān)聯(lián)使能VP時(shí)為何改變VP默認(rèn)初始值?控件關(guān)聯(lián)了使能VP變量,為何默認(rèn)值不是0?
震有科技亮相2026數(shù)字設(shè)備與創(chuàng)新博覽會
光纜中芯數(shù)的增加會帶來什么好處或問題嗎
AI智能體管理系統(tǒng):當(dāng)企業(yè)擁有了一支會思考、會協(xié)作的數(shù)字團(tuán)隊(duì)
晶圓去膠工藝之后要清洗干燥嗎
最開始可以正常上傳C程序到板子里面,上傳幾次之后便不能上傳了,為什么?
Vivado仿真之后沒有出現(xiàn)仿真結(jié)果的解決方法
禾賽科技入選財(cái)富雜志2025年改變世界的公司榜單
USB緩沖區(qū)中的內(nèi)容滿了之后,是否有標(biāo)志位進(jìn)行反饋?
STM32U585CIU6移植touchgfx之后stm32不運(yùn)行程序怎么解決?
移植touchgfx之后stm32不運(yùn)行程序怎么解決?
Allegro Skill布線功能-改變過孔網(wǎng)絡(luò)介紹與演示
智慧教室的技術(shù)對課堂教學(xué)效率的影響與改變
有了Siren之后,會帶來哪些改變?
評論