2 月 6 日消息，字節(jié)跳動近日發(fā)布了一項(xiàng)重大成果 ——OmniHuman 多模態(tài)框架，其優(yōu)勢在于其強(qiáng)大的視頻生成能力。用戶只需提供一張任意尺寸和人物占比的單張圖片，再結(jié)合一段輸入音頻，就能生成栩栩如生的人物視頻。

與傳統(tǒng) AI 模型不同，OmniHuman-1 能夠生成逼真的全身動畫，并且可以精準(zhǔn)地將手勢和面部表情與語音或音樂同步，打破了以往只能生成面部或上半身動畫的局限。

基于約 19000 小時的人類運(yùn)動數(shù)據(jù)訓(xùn)練，OmniHuman-1 模型支持不同的體型和畫面比例，能在內(nèi)存限制內(nèi)生成任意長度的視頻，并適應(yīng)不同輸入信號，在真實(shí)性和準(zhǔn)確性方面超越其他同類動畫工具。值得一提的是，它還支持卡通角色、人工物體、動物以及復(fù)雜姿勢的輸入，確保生成的動作特征與每種風(fēng)格的獨(dú)特特點(diǎn)相匹配。

在實(shí)際應(yīng)用場景中，OmniHuman 潛力巨大。在影視制作領(lǐng)域，創(chuàng)作者能輕松為虛擬角色打造全身動作戲份；虛擬直播里，主播動作更加自然，可增強(qiáng)直播的趣味性與吸引力；游戲世界中，數(shù)字人 NPC 的動作和表情更豐富，能提升玩家的沉浸感。