今天，我們來研究樂鑫的語(yǔ)音助手框架ESP-Skainet其中的中文語(yǔ)音合成的例程。

編譯原例程

1.首先需要clone例程

git clone --recursive https://github.com/espressif/esp-skainet.git

該工程內(nèi)部自帶一個(gè)idf，是運(yùn)行的最佳版本，不過你任然可以使用自己的idf。

?

2.進(jìn)入例程中

cd  esp-skainet/examples/chinese_tts

?

3.理論上設(shè)置好了芯片型號(hào)為esp32s3后自動(dòng)調(diào)用sdkconfig.defaults.esp32s3配置文件。 但是實(shí)際上好像沒有，所以這里加一個(gè)步驟確保能使用上默認(rèn)配置。

cp sdkconfig.defaults.esp32s3 sdkconfig.defaults

?

4.設(shè)置芯片為esp32s3

idf.py set-target esp32s3

?

5.進(jìn)入menuconfig

idf.py menuconfig

修改Audio Media Hal -> Audio Hardware board 改成ESP32-S3-Korvo-1

?

6.編譯燒錄程序

idf.py flash monitor -p /dev/ttyUSB0

運(yùn)行原例程

運(yùn)行后，可以看到如下打印

歡迎使用樂鑫語(yǔ)音合成
I (266) tts_parser: unicode:0x6b22 -> huan1
I (266) tts_parser: unicode:0x8fce -> ying2
I (276) tts_parser: unicode:0x4f7f -> shi3
I (276) tts_parser: unicode:0x7528 -> yong4
I (286) tts_parser: unicode:0x4e50 -> le4
I (286) tts_parser: unicode:0x946b -> xin1
I (296) tts_parser: unicode:0x8bed -> yu3
I (296) tts_parser: unicode:0x97f3 -> yin1
I (306) tts_parser: unicode:0x5408 -> he2
I (306) tts_parser: unicode:0x6210 -> cheng2

請(qǐng)輸入短語(yǔ):

簡(jiǎn)化原例程并分析

原例程大致分為兩個(gè)功能，第一個(gè)功能是閱讀“樂鑫語(yǔ)音合成”這句話，還有一個(gè)功能是朗讀串口輸入的文字。?

第二部分經(jīng)常會(huì)有bug，所以咱們簡(jiǎn)化例程，重心分析第一個(gè)功能。簡(jiǎn)化例程如下：

#include 
#include 
#include 

#include "freertos/FreeRTOS.h"
#include "freertos/task.h"
#include "esp_system.h"
#include "esp_tts.h"
#include "esp_tts_voice_xiaole.h"
#include "esp_board_init.h"

int app_main()
{

    ESP_ERROR_CHECK(esp_board_init(AUDIO_HAL_16K_SAMPLES, 1, 16));     // 初始化codec芯片，配置好采樣率、聲道數(shù)、采樣大小
    esp_tts_voice_t *voice = (esp_tts_voice_t *)&esp_tts_voice_xiaole; // 配置tts的聲音配置文件，來自libvoice_set_xiaole
    esp_tts_handle_t *tts_handle = esp_tts_create(voice);              // 創(chuàng)建tts對(duì)象
    char *prompt1 = "你好我是啟明云端";                                // 需要轉(zhuǎn)換的文字

    if (esp_tts_parse_chinese(tts_handle, prompt1)) // 文字解析成拼音
    {
        int len[1] = {0};
        do
        {
            short *pcm_data = esp_tts_stream_play(tts_handle, len, 3); // 拼音轉(zhuǎn)換成pcm音頻
            esp_audio_play(pcm_data, len[0] * 2, portMAX_DELAY);       //播放音頻
        } while (len[0] > 0);
    }
    esp_tts_stream_reset(tts_handle); // 重置 tts 流并清除 TTS 實(shí)例的所有緩存

    return 0;
}

這里音頻的tts來自靜態(tài)庫(kù)libvoice_set_xiaole中，目前也只有這一個(gè)音色可供使用，其余的tts相關(guān)函數(shù)則是屬于靜態(tài)庫(kù)libesp_tts_chinese。

總結(jié)

tts過度封裝化，一定程度上注定它的使用難度不高。但是依據(jù)已跑完的例程來看，音頻任然有發(fā)音聲音的問題，對(duì)于現(xiàn)在的一些成熟的tts方案，樂鑫的這個(gè)tts還有一定的差距，這個(gè)缺點(diǎn)可能導(dǎo)致無法應(yīng)用于商業(yè)化項(xiàng)目中。項(xiàng)目中如果涉及到語(yǔ)音轉(zhuǎn)文字的內(nèi)容，一方面可以通過云平臺(tái)的提供的API能力發(fā)送文字收取PCM音頻來解決。另一方面如果是有限的詞匯，也可以用語(yǔ)音拼接的方式，把相應(yīng)的音頻存到文件系統(tǒng)中，通過映射播放指定的內(nèi)容并拼湊成一段完整的語(yǔ)句。例如：“支付寶收款”、“元”、“個(gè)”、“十”、“百”、“千”、“萬”這幾段文字的語(yǔ)音就基本可以通過拼湊音頻達(dá)到支付寶語(yǔ)音播報(bào)功能。
?