來自 NVIDIA 、多倫多大學(xué)和矢量研究所的研究人員提出了一種新的運(yùn)動捕捉方法，即使用昂貴的運(yùn)動捕捉硬件。它僅使用視頻輸入來改進(jìn)過去的運(yùn)動捕捉動畫模型。

YouTuber 和圖形研究人員 Károly Zsolnai-Fehér 博士在他的 YouTube 系列文章 兩分鐘的論文 中詳細(xì)介紹了這項創(chuàng)新技術(shù)的研究。這段視頻強(qiáng)調(diào)了研究人員如何僅通過視頻輸入捕獲使用人工智能的個體，并將其轉(zhuǎn)化為數(shù)字化身。然后，他們可以給阿凡達(dá)一個物理模擬，以消除腳滑動和時間不一致或閃爍的傳統(tǒng)挑戰(zhàn)。

“在本文中，我們引入了一種新的框架，用于從原始視頻姿勢估計中訓(xùn)練運(yùn)動合成模型，而不使用運(yùn)動捕捉數(shù)據(jù)，” Kevin Xie 在論文中解釋道。

“我們的框架通過接觸不變優(yōu)化（包括接觸力的計算）實施物理約束，從而細(xì)化噪聲姿勢估計。然后，我們在細(xì)化的姿勢上訓(xùn)練時間序列生成模型，合成未來的運(yùn)動和接觸力。我們的結(jié)果表明，這兩種姿勢的性能都有顯著提升通過我們基于物理的細(xì)化和視頻的運(yùn)動合成結(jié)果進(jìn)行估計。我們希望通過利用大量在線視頻資源，我們的工作將導(dǎo)致更具可伸縮性的人體運(yùn)動合成?！?/p>

圖 2 。 AI 使用運(yùn)動捕捉來捕捉運(yùn)動，將個人動畫化為數(shù)字化身，并提供物理模擬來準(zhǔn)確模擬現(xiàn)實生活中的運(yùn)動。

這個框架使人們離在虛擬世界中工作和玩耍更近了一步。它將幫助開發(fā)人員以更便宜的價格制作人體運(yùn)動動畫，并提供更豐富的運(yùn)動多樣性。從視頻游戲到虛擬世界，這個框架無疑將影響我們可視化人類運(yùn)動合成的方式。

關(guān)于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營銷經(jīng)理。他重點強(qiáng)調(diào)了 NVIDIA 實驗室在世界各地進(jìn)行的驚人研究。

審核編輯：郭婷