0 TL;DR

已適配 CosyVoice2 到 AX8850 開發(fā)板和 M.2 算力卡，可以協(xié)助樹莓派5實現(xiàn)本地語音克?。?/p>

預(yù)編譯示例已開源（GitHub & HuggingFace），附帶簡易 Gradio 演示界面；

RTF 1.5 左右（M.2 算力卡 RTF 2.5左右），適合對實時性要求不高的離線場景；

想要RTF ＜0.1 的 TTS，對音色效果要求不高的場景，可以參考我們才適配好的 Kokoro：

https://huggingface.co/AXERA-TECH/kokoro.axera

背景

今年下半年，隨著業(yè)務(wù)推廣需求增加，我們的大模型適配工作也有了新方向：不再只追求前沿模型的快速適配，而是更聚焦為銷售團隊提供“能打”的實戰(zhàn)“彈藥”——也就是貼近客戶剛需的、可快速落地的大模型解決方案。

因此，接下來的技術(shù)分享會更聚焦在基于我司邊緣 AI 芯片 AX8850 的實際應(yīng)用落地，幫助客戶實現(xiàn)從 Demo 到量產(chǎn)的跨越。

其中一個重點場景就是：離線語音智能助手。

目前實現(xiàn)方式大致分兩種：

組合式方案：ASR → LLM → TTS（或 Audio-LLM → TTS）

端到端方案：用一個全能大模型（如Qwen3-omni）直接處理語音輸入輸出

我們更傾向組合式方案，因為：

模塊靈活，可單獨升級替換

成本低，ROI 高

更容易適配不同客戶場景

而在組合方案中，TTS 是關(guān)鍵一環(huán)。我們希望它能支持語音克隆，讓助手更有“人味”。

目前主流的開源語音克隆TTS模型有：CosyVoice 2、IndexTTS2、VoxCPM 等。本文先帶大家快速看看 CosyVoice 2 在 AX8850 芯片上的部署進展，希望能為想在邊緣側(cè)做語音克隆的開發(fā)者提供一個新選擇。

CosyVoice2

CosyVoice 2 是阿里巴巴通義實驗室推出的一個開源多語言語音生成大模型，主要用于文本轉(zhuǎn)語音（TTS）應(yīng)用的開發(fā)。該模型在前代 CosyVoice 的基礎(chǔ)上，通過系統(tǒng)性優(yōu)化，實現(xiàn)了在流式（實時）模式下與人類語音媲美且近乎無損的合成質(zhì)量，同時顯著降低了響應(yīng)延遲。

Huggingface 鏈接：

https://huggingface.co/FunAudioLLM/CosyVoice2-0.5B

GitHub 鏈接：

https://GitHub.com/FunAudioLLM/CosyVoice

Paper 鏈接：

https://arxiv.org/pdf/2412.10117

Demos：

https://funaudiollm.GitHub.io/cosyvoice2/

架構(gòu)特點：

CosyVoice 2 的架構(gòu)延續(xù)了將語音信號的語義信息（說什么）和聲學信息（怎么說）分離建模的設(shè)計理念，主要由三個關(guān)鍵組件構(gòu)成：

監(jiān)督式語義語音分詞器 (Supervised Semantic Speech Tokenizer)：

這是一個基于 SenseVoice-Large ASR 模型改造的模塊。

它使用有限標量量化 (Finite Scalar Quantization, FSQ) 技術(shù)，將連續(xù)的語音信號離散化為語義語音標記（speech tokens）。

FSQ 的引入替代了傳統(tǒng)的向量量化（VQ），顯著提高了碼本利用率，能更有效地捕捉和保留語音中的信息。

統(tǒng)一的文本-語音語言模型 (Unified Text-Speech Language Model)：

這是 CosyVoice 2 的核心創(chuàng)新之一，實現(xiàn)了流式與非流式合成的統(tǒng)一。

該模型直接采用一個預(yù)訓練的大型語言模型（Qwen2.5-0.5B）作為骨干網(wǎng)絡(luò)，去除了前代模型中的文本編碼器和說話人嵌入，簡化了架構(gòu)并增強了上下文理解能力。

流式模式：輸入文本以連續(xù)流的方式接收。模型通過將 N 個文本標記與 M 個語音標記按特定比例（如 5:15）混合的方式進行訓練。當模型預(yù)測到“填充標記”時，系統(tǒng)便知道需要繼續(xù)接收下一個文本塊，從而實現(xiàn)邊接收文本邊生成語音標記的流式處理。

非流式模式：完整的輸入文本和語音標記被直接拼接，模型進行一次性生成。

通過在同一模型上同時訓練這兩種模式，CosyVoice 2 實現(xiàn)了“一個模型，兩種模式”，并且流式合成的質(zhì)量與非流式模式幾乎無損。

塊感知因果流匹配模型 (Chunk-Aware Causal Flow Matching Model)：

該模塊負責將語言模型生成的語義語音標記轉(zhuǎn)換為包含音色、韻律等細節(jié)的梅爾頻譜圖（Mel spectrum）。

它基于流匹配 (Flow Matching) 技術(shù)，是一種非自回歸（NAR）的生成模型。

為了支持流式合成，模型設(shè)計了因果卷積 Transformer UNet 結(jié)構(gòu)，并引入了四種不同的注意力掩碼：

- 非因果掩碼：用于離線模式，性能最佳。

- 全因果掩碼：僅允許訪問過去的信息，延遲最低。

- Chunk-M/Chunk-2M 掩碼：權(quán)衡延遲與性能，允許訪問有限的未來信息。

在訓練時，隨機從這四種掩碼中選擇一種，使得單一模型能夠適應(yīng)不同的合成場景（低延遲流式、高質(zhì)量離線等），極大地簡化了部署。

Benchmark

總結(jié)來說，CosyVoice 2 的架構(gòu)通過 FSQ 提升信息編碼效率，利用統(tǒng)一的 LLM 架構(gòu)實現(xiàn)流式與非流式的無縫切換，并采用塊感知的因果流匹配模型來支持靈活的流式聲學合成，最終構(gòu)建了一個高質(zhì)量、低延遲、部署靈活的先進語音合成系統(tǒng)。

部署示例

為了更好的進行開發(fā)者社區(qū)技術(shù)推廣，因此我們將借助國內(nèi)外非常成熟的樹莓派生態(tài)產(chǎn)品：樹莓派 5+AXCL 算力卡的形態(tài)進行說明。基于 AX8850 的社區(qū)開發(fā)板同樣也支持部署該實例，本文就不單獨說明了。

默認本文的閱讀者能自行解決訪問 Huggingface 的辦法。

硬件推薦

樹莓派 5 + LLM8850-Card

樹莓派 5 + Maix4-HAT

軟件步驟

默認已按照硬件產(chǎn)品的指導文檔完成了硬件及必要的軟件驅(qū)動安裝（例如 AXCL 驅(qū)動包）。

預(yù)編譯好的模型和示例已經(jīng)上傳到 huggingface（或者 hf-mirror）。

https://huggingface.co/AXERA-TECH/CosyVoice2

如何將原始的模型轉(zhuǎn)換成 axmodel 并部署，請參考我們的 GitHub 倉庫。

https://github.com/AXERA-TECH/Cosyvoice2.Axera

（友情提示：除非對該模型有 finetuning 需求的同學，否則我建議一開始不要浪費時間來學習該模型的換行或者示例代碼的編譯，因為過程比較復(fù)雜┓( ′?` )┏）

獲取示例

//代碼開始

pip install huggingface_hub
exportHF_ENDPOINT=HTTPS://hf-mirror.com
hf downloadAXERA-TECH/CosyVoice2--local-dirAXERA-TECH/CosyVoice2

//代碼結(jié)束

安裝依賴

//代碼開始

cdAXERA-TECH/CosyVoice2
pip install -r scripts/requirements.txt
pip install modelscope
modelscope download --model pengzhendong/wetext --local_dir pengzhendong/wetext

//代碼結(jié)束

運行示例

這里我們選擇基于 Gradio WebGUI 的方案

運行 tokenizer 服務(wù)

//代碼開始

cdscripts
Python cosyvoice2_tokenizer.py

//代碼結(jié)束

運行 axcl api 程序

//代碼開始

cponnxruntime-Linux-aarch64-1.23.0/lib/libonnxruntime.so.1.23.0libonnxruntime.so.1
run_axcl_aarch64.sh

//代碼結(jié)束

運行 gradio 腳本

//代碼開始

Python scripts/gradio_demo.py

//代碼結(jié)束

通過 web 瀏覽器訪問

補充知識

阿里巴巴通義實驗室除了研發(fā)家喻戶曉的通義千問大模型之外，其實還有很多其他有趣、有價值的項目。

FunAudioLLM

是阿里巴巴通義實驗室推出的一個面向語音生成的開源大模型項目，旨在通過大語言模型（LLM）技術(shù)，實現(xiàn)更自然、更智能的語音合成與對話能力。

FunAudioLLM 并不是一個單一模型，而是一個包含語音識別（SenseVoice）和語音合成（CosyVoice）的開源語音生成大模型套件。它代表了阿里在語音技術(shù)領(lǐng)域的前沿探索，致力于打造能理解情感、自然交流的下一代人機語音交互體驗。

FunAudioLLM 的整體目標是構(gòu)建一個端到端的語音生成系統(tǒng)，將先進的語音識別（SenseVoice）與高質(zhì)量的語音合成（CosyVoice）能力深度結(jié)合，實現(xiàn)從“聽懂人話”到“說出人話”的完整、智能閉環(huán)。它特別適用于：

智能客服與虛擬助手：不僅能理解用戶語音并識別其情緒，還能用自然、富有情感的語音進行回應(yīng)。

有聲書與內(nèi)容創(chuàng)作：用指定音色朗讀文本。

多語言內(nèi)容生成與實時翻譯：支持跨語言的語音轉(zhuǎn)寫與合成。

會議記錄與無障礙閱讀：實時轉(zhuǎn)錄并可選語音播報。

在后續(xù)的文章中，我們會針對 SenceVoice 模型單獨說明。

感謝

@M5Stack @矽速科技 提供適用于樹莓派 5 的 M.2 2242 算力卡 和 Maix4-HAT 算力模組

@某營銷部同學貢獻聲源片段數(shù)據(jù)輔助 CosyVoice 2 生成《贈汪倫》