NVIDIA 現(xiàn)已開源 Audio2Face 模型與 SDK，讓所有游戲和 3D 應(yīng)用開發(fā)者都可以構(gòu)建并部署帶有先進(jìn)動(dòng)畫的高精度角色。NVIDIA 開源 Audio2Face 的訓(xùn)練框架，任何人都可以針對(duì)特定用例對(duì)現(xiàn)有模型進(jìn)行微調(diào)與定制。

NVIDIA Audio2Face 通過生成式 AI 驅(qū)動(dòng)的實(shí)時(shí)面部動(dòng)畫與嘴形同步，加速寫實(shí)數(shù)字角色的創(chuàng)作流程。Audio2Face 利用 AI 根據(jù)音頻輸入生成逼真的面部動(dòng)畫。這項(xiàng)技術(shù)通過分析音素、語調(diào)等聲學(xué)特征，創(chuàng)建動(dòng)畫數(shù)據(jù)流，并映射至角色的面部表情。這些動(dòng)畫數(shù)據(jù)既可用于離線渲染預(yù)設(shè)的資產(chǎn)，也可實(shí)時(shí)傳輸?shù)絼?dòng)態(tài)的、由 AI 驅(qū)動(dòng)的角色，實(shí)現(xiàn)準(zhǔn)確的嘴形同步與情感表達(dá)。

Audio2Face 模型已廣泛應(yīng)用于游戲、媒體娛樂以及客戶服務(wù)等行業(yè)。眾多獨(dú)立軟件廠商 ISV 與游戲開發(fā)商都在其應(yīng)用中采用了 Audio2Face。游戲開發(fā)者包括 Codemasters、GSC Game World、網(wǎng)易和完美世界。ISV 包括 Convai、Inworld AI、Reallusion、Streamlabs 和 UneeQ。

以下是開源工具的完整列表。