只需要輸入一段語音,代碼會(huì)自動(dòng)生成與之相對的動(dòng)畫唇形。
還是毫無違和感的那種。
這是一個(gè)在GitHub上擁有501星的開源項(xiàng)目,叫做Rhubarb Lip Sync。
它既可以是Windows和OS X命令行工具,也可以作為軟件的插件使用,能夠根據(jù)語音記錄自動(dòng)創(chuàng)建2D嘴型動(dòng)畫。
它可以用于計(jì)算機(jī)游戲、動(dòng)畫卡通中的角色,或者用于其他需要基于現(xiàn)有錄音、對嘴部進(jìn)行動(dòng)畫處理的的影視項(xiàng)目。
那么,它是怎么實(shí)現(xiàn)如此效果的呢?
運(yùn)作原理
首先,了解一下動(dòng)畫人物說話的六種嘴型。
上述六種嘴型是由漢娜·巴貝拉(Hanna-Barbera)發(fā)明,已經(jīng)成為2D動(dòng)畫嘴型的制作標(biāo)準(zhǔn),被迪士尼和華納兄弟等影視公司在多部影視作品采用。
大多數(shù)的發(fā)音,都可以用這六種嘴型表示出來。
因此,Rhubarb Lip Sync工作的步驟如下:
輸入一段語音
Lip Sync識(shí)別這段語音
使用六個(gè)基本嘴形和最多三個(gè)擴(kuò)展嘴形與語音匹配
輸出一個(gè)固定格式的文件
假如我說個(gè)奇怪的方言,它也能輸出相應(yīng)的嘴型動(dòng)畫嗎?
當(dāng)然不是。
目前,Rhubarb Lip Sync只提供了兩個(gè)語音識(shí)別系統(tǒng):
PocketSphinx:只能識(shí)別英語,準(zhǔn)確率更高。
Phonetic :能識(shí)別所有語言,因?yàn)樗且罁?jù)個(gè)人的聲音和音節(jié)判別的,但準(zhǔn)確率不如前者。
那么,這個(gè)小工具可以跟哪些視頻軟件融合使用呢?
可適用于多款軟件
可以在下載Rhubarb Lip Sync,并且安裝到AE上,可以直接在AE上運(yùn)行這個(gè)軟件。
Moho and OpenToonz
Rhubarb Lip Sync能夠生成.dat文件,這種文件可以被Moho and OpenToonz識(shí)別,并導(dǎo)入使用。
Spine by Esoteric Software
Rhubarb Lip Syn for Spine是一個(gè)圖形工具,可讓導(dǎo)入Spine項(xiàng)目,執(zhí)行自動(dòng)唇形同步,然后將結(jié)果重新導(dǎo)入Spine。
Vegas Pro by Magix
Rhubarb Lip Syn 還附帶了兩個(gè)用于Vegas Pro(以前稱為Sony Vegas)的插件腳本,可直接在Vegas中使用。
趕快把這個(gè)小工具推薦給你喜歡做視頻的朋友吧~
源代碼地址:
https://github.com/DanielSWolf/rhubarb-lip-sync
最新版本的下載地址:
https://github.com/DanielSWolf/rhubarb-lip-sync/releases
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
責(zé)編AJX
-
語音識(shí)別
+關(guān)注
關(guān)注
39文章
1782瀏覽量
114249 -
開源
+關(guān)注
關(guān)注
3文章
3690瀏覽量
43837 -
源代碼
+關(guān)注
關(guān)注
96文章
2953瀏覽量
68398
發(fā)布評論請先 登錄
RT-Thread榮獲2025優(yōu)秀開源項(xiàng)目 | 新聞速遞

零知開源——ESP32語音交互系統(tǒng)(AI小智)開發(fā)教程
Open Echo:一個(gè)開源的聲納項(xiàng)目

?Diffusion生成式動(dòng)作引擎技術(shù)解析
階躍星辰開源多模態(tài)模型,天數(shù)智芯迅速適配
字節(jié)跳動(dòng)發(fā)布OmniHuman 多模態(tài)框架
用DeepSeek-R1實(shí)現(xiàn)自動(dòng)生成Manim動(dòng)畫

開源鴻蒙榮獲開放原子“2024年度操作系統(tǒng)領(lǐng)域國內(nèi)活躍開源項(xiàng)目”
凌蒙派OpenHarmony開源項(xiàng)目榮獲本期Gitee官方推薦

ElfBoard開源項(xiàng)目|“智慧教室”開源項(xiàng)目技術(shù)文檔

8月全志芯片開源項(xiàng)目分享合集
Matepad pro12.2 已上市半個(gè)月,但是還沒有在開源網(wǎng)站看到該項(xiàng)目的開源信息,違背開源精神
普強(qiáng)信息成功中標(biāo)“語音智檢項(xiàng)目”
關(guān)于Makefile自動(dòng)生成-autotools的使用

評論