AI 在未來(lái)幾年可能顛覆整個(gè)游戲產(chǎn)業(yè)制作流程。

傳統(tǒng)游戲制作往往需要經(jīng)過(guò)原畫(huà)設(shè)定、3D 場(chǎng)景搭建、特效設(shè)計(jì)、3D 角色構(gòu)建等多個(gè)環(huán)節(jié)完成，而在未來(lái)，這些工作都有望交給 AI 來(lái)做。

近日，F(xiàn)acebook AI 研究團(tuán)隊(duì)描述了一個(gè)能夠從現(xiàn)實(shí)世界視頻中提取可控角色的系統(tǒng)。利用該系統(tǒng)，可以從日常視頻中隨意創(chuàng)建虛擬人物及各種姿勢(shì)動(dòng)作。

三位 AI 研究人員創(chuàng)建的這種新方法（Vid2Game: Controllable Characters Extracted from Real-World Videos），可以將一個(gè)視頻中的真人轉(zhuǎn)換成一個(gè) 3D游戲角色，并且可以將此角色及其相關(guān)動(dòng)作轉(zhuǎn)換到新背景上。研究人員稱(chēng)，生成的角色可以和不同的背景互動(dòng)。

據(jù)介紹，這套AI 系統(tǒng)主要依賴(lài)于兩個(gè)神經(jīng)網(wǎng)絡(luò)。一個(gè)是由 Pose2Pose（P2P）網(wǎng)絡(luò)基于控制信號(hào)的輸入流（例如來(lái)自操縱桿或游戲手柄的控制信號(hào)）以自動(dòng)回歸方式操縱給定姿勢(shì)。另一個(gè)是 Pose2Frame（P2F），在隨后給定背景圖像的情況下生成高分辨率視頻幀。它們通過(guò)“學(xué)習(xí)”視頻中的人物身體形狀、運(yùn)動(dòng)風(fēng)格及其他特征，以此來(lái)建立游戲角色。系統(tǒng)最終生成的視頻具有高度的個(gè)性化和逼真性，可大大提升玩家的游戲體驗(yàn)。

“我們的模型可以從視頻中提取一個(gè)角色，并能控制它的動(dòng)作?！痹撜撐牡墓餐髡咴谖恼轮薪忉尩?，“模型能有效地捕捉到人的動(dòng)態(tài)和外觀，生成角色的圖像序列，生成的視頻可以具有任意背景”。研究人員稱(chēng)該系統(tǒng)具有足夠強(qiáng)的魯棒性，可在動(dòng)態(tài)背景下任意定位提取人物特征。

首先，需要將包含一個(gè)或多個(gè)人物特征的視頻輸入到針對(duì)特定域（例如，跳舞）訓(xùn)練的 Pose2Pose 網(wǎng)絡(luò)，將其運(yùn)動(dòng)狀態(tài)和自身隔離，用于確定哪些背景區(qū)域可以被合成圖像所替換。隨后 Pose2Frame 網(wǎng)絡(luò)運(yùn)用這些組合的運(yùn)動(dòng)姿勢(shì)數(shù)據(jù)，區(qū)分場(chǎng)景中與角色相關(guān)的變化，如陰影、反射以及角色的獨(dú)立特征。最后與預(yù)先設(shè)計(jì)好的背景混合輸出。

在實(shí)驗(yàn)部分，研究人員采集了三段視頻，每段視頻長(zhǎng)度為五到八分鐘，視頻的主角分別是一個(gè)戶(hù)外網(wǎng)球運(yùn)動(dòng)員，一個(gè)在室內(nèi)舞劍的人，和一個(gè)正在走路的人。之后與一個(gè)用三分鐘跳舞視頻訓(xùn)練的神經(jīng)網(wǎng)絡(luò)相比，該實(shí)驗(yàn)結(jié)果對(duì)人物動(dòng)態(tài)元素的捕捉更為成功。（排除角色服裝和鏡頭角度的變化）。

該技術(shù)投入使用后，人們將有機(jī)會(huì)成為游戲中人物的化身，自定義游戲角色，并賦予角色獨(dú)有的動(dòng)作形態(tài)。這項(xiàng)基于 AI 技術(shù)的角色生成系統(tǒng)可能會(huì)催生更多不同類(lèi)型的游戲，逼真且個(gè)性化可能是未來(lái)游戲行業(yè)發(fā)展的一個(gè)方向。