根據(jù)給定的稀疏上身追蹤信號(hào)（頭和雙手）來實(shí)現(xiàn)全身追蹤，亦即頭顯追蹤的頭部運(yùn)動(dòng)，以及控制器追蹤的雙手運(yùn)動(dòng)

目前大多數(shù)基于VR一體機(jī)的Avatar系統(tǒng)都沒有下半身，一個(gè)重要的原因是，盡管設(shè)備能夠通過內(nèi)向外追蹤實(shí)現(xiàn)頭部和雙手的動(dòng)捕，而這又使得估計(jì)手臂和胸部的位置相對(duì)容易，但系統(tǒng)難以判斷你的腿、腳或臀部位置，所以今天的Avatar一直都是缺失下半截。

所以，行業(yè)一直在探索各種解決方案。例如，Meta早前的一份研究就提出了基于AI的純頭顯全身Avatar動(dòng)捕方案，無需任何光學(xué)標(biāo)記。

在另一篇論文中，Meta的研究人員又提出了另一種為Avatar長(zhǎng)出雙腿的方法AGRoL。據(jù)介紹，這是一種全新的條件擴(kuò)散模型，專門用于根據(jù)給定的稀疏上身追蹤信號(hào)（頭和雙手）來實(shí)現(xiàn)全身追蹤，亦即頭顯追蹤的頭部運(yùn)動(dòng)，以及控制器追蹤的雙手運(yùn)動(dòng)。所述模型使用了一個(gè)簡(jiǎn)單的MLP架構(gòu)和一種新的運(yùn)動(dòng)數(shù)據(jù)調(diào)節(jié)方案，從而能夠準(zhǔn)確流暢預(yù)測(cè)全身運(yùn)動(dòng)，尤其是具有挑戰(zhàn)性的下半身運(yùn)動(dòng)。

人類是AR/VR應(yīng)用的主要參與者。所以，能夠追蹤全身運(yùn)動(dòng)是所述應(yīng)用的一大需求。常見的方法只能準(zhǔn)確地追蹤上身，而全身追蹤可以解鎖引人入勝的體驗(yàn)，增加用戶的臨場(chǎng)感。但在典型的AR/VR設(shè)置中，缺乏對(duì)完整人體的強(qiáng)烈追蹤信號(hào)，只有頭和手通過嵌入頭顯和控制器中的慣性測(cè)量單元傳感器進(jìn)行追蹤。對(duì)于理想情況，我們希望使用大多數(shù)頭顯提供的標(biāo)準(zhǔn)三輸入（頭和雙手）來實(shí)現(xiàn)高保真全身追蹤。

考慮到頭和手的位置和方向信息，預(yù)測(cè)全身姿勢(shì)，尤其是下半身，其本質(zhì)是一個(gè)欠約束的問題。為了解決這一挑戰(zhàn)，一系列的方法依賴于生成性模型。在這個(gè)領(lǐng)域，擴(kuò)散模型在圖像和視頻生成中顯示出令人印象深刻的結(jié)果，特別是對(duì)于條件生成。這促使Meta使用擴(kuò)散模型來生成基于稀疏追蹤信號(hào)的全身姿態(tài)。

當(dāng)然，在這項(xiàng)任務(wù)中使用擴(kuò)散模型并非易事。具有擴(kuò)散模型的條件生成方法廣泛用于跨模態(tài)條件生成。遺憾的是，考慮到數(shù)據(jù)表示的差異，例如人體關(guān)節(jié)特征與圖像，所述方法不能直接應(yīng)用于運(yùn)動(dòng)合成任務(wù)。

在名為《Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model》的論文中，Meta提出了一種全新的擴(kuò)散架構(gòu)Avatars Grow Legs（AGRoL），并專門針對(duì)條件運(yùn)動(dòng)合成任務(wù)而設(shè)計(jì)。

這項(xiàng)研究使用了基于MLP的架構(gòu)，團(tuán)隊(duì)發(fā)現(xiàn)精心設(shè)計(jì)的MLP網(wǎng)絡(luò)已經(jīng)可以實(shí)現(xiàn)與最先進(jìn)方法相當(dāng)?shù)男阅?。然而，MLP網(wǎng)絡(luò)的預(yù)測(cè)運(yùn)動(dòng)可能包含抖動(dòng)偽影。

為了解決這個(gè)問題，并從稀疏的追蹤信號(hào)中生成平滑的真實(shí)全身運(yùn)動(dòng)，研究人員設(shè)計(jì)了一個(gè)由MLP架構(gòu)賦能的輕量級(jí)擴(kuò)散模型。

擴(kuò)散模型需要在訓(xùn)練和推理期間將時(shí)間步長(zhǎng)嵌入注入網(wǎng)絡(luò)，而他們發(fā)現(xiàn)這個(gè)MLP架構(gòu)對(duì)輸入中的位置嵌入不敏感。所以，團(tuán)隊(duì)進(jìn)一步提出了一種新的策略，以在擴(kuò)散過程中有效地注入時(shí)間步長(zhǎng)嵌入。利用所提出的策略，模型可以顯著減輕抖動(dòng)問題，并進(jìn)一步提高性能及其對(duì)追蹤信號(hào)丟失的魯棒性。正如在大型運(yùn)動(dòng)捕捉數(shù)據(jù)集AMASS的實(shí)驗(yàn)證明，AGRoL在全身運(yùn)動(dòng)預(yù)測(cè)能力方面優(yōu)于現(xiàn)有技術(shù)的全身運(yùn)動(dòng)。

Meta的目標(biāo)是預(yù)測(cè)給定稀疏追蹤信號(hào)的全身運(yùn)動(dòng)，即頭顯和雙手控制器的方向和平移。給定N個(gè)觀察到的關(guān)節(jié)特征序列：

團(tuán)隊(duì)希望預(yù)測(cè)N個(gè)幀的全身姿態(tài)：

其中C和S表示輸入/輸出關(guān)節(jié)特征的維度。

研究人員采用SMPL模型來表示人體姿勢(shì)，并且僅使用SMPL模型的前22個(gè)關(guān)節(jié)，而忽略手上的關(guān)節(jié)。因此，y 1:N表示骨盆的全局方向和每個(gè)關(guān)節(jié)的相對(duì)旋轉(zhuǎn)。

基于MLP的網(wǎng)絡(luò)

網(wǎng)絡(luò)僅由4種在深度學(xué)習(xí)時(shí)代廣泛使用的組件組成：全連接層（LN）、SiLU激活層、1D卷積層（內(nèi)核大小為1）和層歸一化。注意，1D卷積層同時(shí)可以視為在不同維度操作的全連接層。所述網(wǎng)絡(luò)架構(gòu)的細(xì)節(jié)如下圖所示。

MLP網(wǎng)絡(luò)的每個(gè)block包含一個(gè)卷積層和一個(gè)全連接層，分別負(fù)責(zé)時(shí)間和空間信息合并。研究人員使用skip-connection作為層的預(yù)規(guī)范化。首先，使用線性層將輸入數(shù)據(jù)p 1:N投影到更高維度的latent space。網(wǎng)絡(luò)的最后一層從latent space投射到全身的輸出空間，其比例為y 1:N。

擴(kuò)散模型

擴(kuò)散模型是一種生成性模型，它學(xué)習(xí)反轉(zhuǎn)由馬爾可夫鏈添加的隨機(jī)高斯噪點(diǎn)，以便從噪點(diǎn)中恢復(fù)期望的數(shù)據(jù)樣本。

在擴(kuò)散模型中，時(shí)間步長(zhǎng)t的嵌入通常作為額外的輸入饋送到網(wǎng)絡(luò)。添加時(shí)間步長(zhǎng)嵌入的常見方法是將其與輸入連接，類似于transformer-based method中使用的位置嵌入。然而，由于Meta的網(wǎng)絡(luò)使用MLP，研究人員發(fā)現(xiàn)模型對(duì)時(shí)間步長(zhǎng)嵌入的值不太敏感，這阻礙了去噪過程的學(xué)習(xí)，并導(dǎo)致具有嚴(yán)重抖動(dòng)問題的運(yùn)動(dòng)預(yù)測(cè)。

為了解決這個(gè)問題，研究人員提出了一種新的策略，在MLP網(wǎng)絡(luò)的每個(gè)block之前重復(fù)注入時(shí)間步長(zhǎng)嵌入。管道的細(xì)節(jié)下圖所示。

時(shí)間步嵌入投影為通過全連接層和SiLU激活層匹配輸入特征維度，然后，預(yù)測(cè)每個(gè)block的時(shí)間步嵌入的比例和移位因子，直接將獲得的特征添加到輸入中間激活。團(tuán)隊(duì)指出，所提出的策略可以在很大程度上減輕抖動(dòng)問題，并實(shí)現(xiàn)平滑運(yùn)動(dòng)的合成。

研究人員在AMASS數(shù)據(jù)集訓(xùn)練和評(píng)估模型，采用SMPL人體模型作為人體姿態(tài)表示，并訓(xùn)練模型來預(yù)測(cè)根關(guān)節(jié)的全局方向和其他關(guān)節(jié)的相對(duì)旋轉(zhuǎn)。

如表1和表2所示，Meta的MLP網(wǎng)絡(luò)完全可以超越大多數(shù)以前的方法，并與最先進(jìn)的方法取得可比的結(jié)果，這表明了所述網(wǎng)絡(luò)的有效性。在擴(kuò)散過程的幫助下，AGRoL模型進(jìn)一步提高了MLP網(wǎng)絡(luò)的性能，并超越了所有以前的方法。

另外，所提出的AGRoL模型顯著減少了抖動(dòng)誤差，這意味著與其他模型相比，生成性運(yùn)動(dòng)更加平滑。

上圖是AGRoL（下方）和AvatarPoser（上方）對(duì)AMASS數(shù)據(jù)集測(cè)試序列的定性比較。圖中可視化了預(yù)測(cè)的骨骼和人體網(wǎng)格。綠色的骨架表示使用Meta方法預(yù)測(cè)的運(yùn)動(dòng)。紅色的骨架則表示使用AvatarPoser預(yù)測(cè)的運(yùn)動(dòng)。藍(lán)色的骨骼表示ground truth運(yùn)動(dòng)。如圖所示，與AvatarPoser的預(yù)測(cè)運(yùn)動(dòng)相比，Meta的預(yù)測(cè)運(yùn)動(dòng)更準(zhǔn)確。

上圖可視化了預(yù)測(cè)運(yùn)動(dòng)的軌跡。左邊的圖像顯示了帶有藍(lán)色骨架的ground truth運(yùn)動(dòng)。中間圖像顯示了帶有綠色骨架的AGRoL預(yù)測(cè)運(yùn)動(dòng)。右邊圖像顯示了AvatarPoser預(yù)測(cè)運(yùn)動(dòng)（紅色骨骼）。

圖中的淺紫色矢量表示每個(gè)關(guān)節(jié)的速度矢量。通過可視化運(yùn)動(dòng)軌跡，可以從圖中更好地查看抖動(dòng)問題和雙腳滑動(dòng)問題。平滑運(yùn)動(dòng)傾向于具有規(guī)則的姿勢(shì)軌跡，每個(gè)關(guān)節(jié)的速度向量穩(wěn)定地變化。姿勢(shì)軌跡的密度將隨著行走速度而變化，當(dāng)人減速時(shí)，軌跡將變得更密集。

相關(guān)論文：

Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model

總的來說，AGRoL是一種專門為基于稀疏IMU追蹤信號(hào)的全身運(yùn)動(dòng)合成而設(shè)計(jì)的條件擴(kuò)散模型。AGRoL是一種簡(jiǎn)單而高效的MLP擴(kuò)散模型。為了實(shí)現(xiàn)漸進(jìn)去噪并產(chǎn)生平滑的運(yùn)動(dòng)序列，研究人員提出了一種分block注入方案，在神經(jīng)網(wǎng)絡(luò)的每個(gè)中間block之前添加擴(kuò)散時(shí)間步長(zhǎng)嵌入。通過這種時(shí)間步嵌入策略，AGRoL在全身運(yùn)動(dòng)合成任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能，而不會(huì)出現(xiàn)其他運(yùn)動(dòng)預(yù)測(cè)方法中常用的任何額外損失。

研究表明，基于輕量級(jí)擴(kuò)散的模型AGRoL可以生成真實(shí)的平滑運(yùn)動(dòng)，同時(shí)實(shí)現(xiàn)實(shí)時(shí)推理速度，使其適合在線應(yīng)用。與現(xiàn)有方法相比，它對(duì)追蹤信號(hào)丟失更為魯棒。

編輯：黃飛

?