1.語(yǔ)音識(shí)別簡(jiǎn)介

語(yǔ)音識(shí)別技術(shù)，也被稱(chēng)為自動(dòng)語(yǔ)音識(shí)別（Automatic Speech Recognition，ASR），其目標(biāo)是將人類(lèi)的語(yǔ)音中的詞匯內(nèi)容轉(zhuǎn)換為計(jì)算機(jī)可讀的輸入，例如按鍵、二進(jìn)制編碼或者字符序列。與說(shuō)話人識(shí)別及說(shuō)話人確認(rèn)不同，后者嘗試識(shí)別或確認(rèn)發(fā)出語(yǔ)音的說(shuō)話人而非其中所包含的詞匯內(nèi)容。

我們的語(yǔ)音算法是基于Whisper是OpenAI設(shè)計(jì)的。Whisper作為一個(gè)通用的語(yǔ)音識(shí)別模型，它使用了大量的多語(yǔ)言和多任務(wù)的監(jiān)督數(shù)據(jù)來(lái)訓(xùn)練，能夠在英語(yǔ)語(yǔ)音識(shí)別上達(dá)到接近人類(lèi)水平的魯棒性和準(zhǔn)確性。Whisper還可以進(jìn)行多語(yǔ)言語(yǔ)音識(shí)別、語(yǔ)音翻譯和語(yǔ)言識(shí)別等任務(wù)。Whisper的架構(gòu)是一個(gè)簡(jiǎn)單的端到端方法，采用了編碼器-解碼器的Transformer模型，將輸入的音頻轉(zhuǎn)換為對(duì)應(yīng)的文本序列，并根據(jù)特殊的標(biāo)記來(lái)指定不同的任務(wù)。

基于EASY-EAI-Orin-nano(RK3576)硬件主板的運(yùn)行效率：

2.快速上手

如果您初次閱讀此文檔，請(qǐng)閱讀：《入門(mén)指南/源碼管理及編程介紹/源碼工程管理》，按需管理自己工程源碼（注：此文檔必看，并建議采用【遠(yuǎn)程掛載管理】方式，否則有代碼丟失風(fēng)險(xiǎn)?。。。?/span>。

2.1開(kāi)源碼工程下載

先在PC虛擬機(jī)定位到nfs服務(wù)目錄，再在目錄中創(chuàng)建存放源碼倉(cāng)庫(kù)的管理目錄：

cd ~/nfsroot mkdir GitHub cd GitHub

再通過(guò)git工具，在管理目錄內(nèi)克隆遠(yuǎn)程倉(cāng)庫(kù)（需要設(shè)備能對(duì)外網(wǎng)進(jìn)行訪問(wèn)）

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-3576.git

注：

* 此處可能會(huì)因網(wǎng)絡(luò)原因造成卡頓，請(qǐng)耐心等待。

* 如果實(shí)在要在gitHub網(wǎng)頁(yè)上下載，也要把整個(gè)倉(cāng)庫(kù)下載下來(lái)，不能單獨(dú)下載本實(shí)例對(duì)應(yīng)的目錄。

2.2開(kāi)發(fā)環(huán)境搭建

通過(guò)adb shell進(jìn)入板卡開(kāi)發(fā)環(huán)境，如下圖所示。

通過(guò)以下命令，把nfs目錄掛載上nfs服務(wù)器。

mount -t nfs -o nolock : /home/orin-nano/Desktop/nfs/

2.3例程編譯

然后定位到板卡的nfs的掛載目錄(按照實(shí)際掛載目錄)，進(jìn)入到對(duì)應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-3576/Demos/algorithm-speech_recognition/ ./build.sh

2.4模型部署

要完成算法Demo的執(zhí)行，需要先下載法模型。

百度網(wǎng)盤(pán)鏈接為：https://pan.baidu.com/s/1jNjnfjnrmyW3_vvdgEG-rA?pwd=1234 （提取碼：1234）。

同時(shí)需要把下載的解碼模型和編碼模型復(fù)制粘貼到Release/目錄：

2.5例程運(yùn)行及效果

進(jìn)入開(kāi)發(fā)板Release目錄，執(zhí)行下方命令，運(yùn)行示例程序：

cd Release/ ./test-speech_recognition speech_encoder.model speech_decoder.model filters.txt CN.txt cn 1-10-1_CN.wav

運(yùn)行例程命令如下所示：

API的詳細(xì)說(shuō)明，以及API的調(diào)用（本例程源碼），詳細(xì)信息見(jiàn)下方說(shuō)明。

3.語(yǔ)音識(shí)別API說(shuō)明

3.1引用方式

為方便客戶(hù)在本地工程中直接調(diào)用我們的EASY EAIapi庫(kù)，此處列出工程中需要鏈接的庫(kù)以及頭文件等，方便用戶(hù)直接添加。

3.2語(yǔ)音識(shí)別檢測(cè)初始化函數(shù)

設(shè)置語(yǔ)音識(shí)別初始化函數(shù)原型如下所示。

int speech_recognition_init(const char *p_encoder_path, const char *p_decoder_path, const char *p_filter_path,

const char *p_vocab_path, rknn_whisper_t *p_whisper);

具體介紹如下所示。

3.3語(yǔ)音識(shí)別運(yùn)行函數(shù)

設(shè)置語(yǔ)音識(shí)別運(yùn)行原型如下所示。

int speech_recognition_run(rknn_whisper_t *p_whisper, audio_buffer_t audio, int task_code, std::vector &recognized_text);

具體介紹如下所示。

3.4語(yǔ)音識(shí)別釋放函數(shù)

設(shè)置語(yǔ)音識(shí)別釋放原型如下所示。

int speech_recognition_release(rknn_whisper_t *p_whisper);

具體介紹如下所示。

1. 語(yǔ)音識(shí)別算法例程

例程目錄為Demos/algorithm-speech_recognition/test-speech_recognition.cpp，操作流程如下所示：

#include #include #include #include #include #include "sndfile.h" #include "speech_recognition.h" #include "audio_utils.h" int main(int argc, char **argv) { if (argc != 7){ printf("%s \n", argv[0]); printf("Example: %s speech_encoder.model speech_decoder.model filters.txt CN.txt cn 1-10-1_CN.wav\n", argv[0]); return -1; } const char *p_encoder_path = argv[1]; // 編碼模型地址 const char *p_decoder_path = argv[2]; // 解碼模型地址 const char *p_filter_path = argv[3]; // 濾波器頻譜 const char *p_vocab_path = argv[4]; // 詞組文件 const char *p_task = argv[5]; // 識(shí)別語(yǔ)種（cn/en） const char *p_audio_path = argv[6]; // 待識(shí)別音頻 int task_code = 0; std::vector recognized_text; // Tokenizer 預(yù)定義控制符號(hào)(切換語(yǔ)言或任務(wù)) if (strcmp(p_task, "en") == 0){ task_code = 50259; } else if (strcmp(p_task, "cn") == 0){ task_code = 50260; } else{ printf("\n\033[1;33mCurrently only English or Chinese recognition tasks are supported. Please specify as en or zh\033[0m\n"); return -1; } // 讀取音頻，并對(duì)音頻進(jìn)行處理 audio_buffer_t audio; int ret = read_audio(p_audio_path, &audio); if (ret != 0){ printf("read audio fail! ret=%d audio_path=%s\n", ret, p_audio_path); return -1; } if (audio.num_channels == 2){ ret = convert_channels(&audio); } if (audio.sample_rate != SAMPLE_RATE){ ret = resample_audio(&audio, audio.sample_rate, SAMPLE_RATE); } // speech recognition初始化 rknn_whisper_t whisper; ret = speech_recognition_init(p_encoder_path, p_decoder_path, p_filter_path, p_vocab_path, &whisper); int iter = 0; for (int i=0; i < 5; i++) { clock_t start = clock(); recognized_text.clear(); // speech recognition語(yǔ)音識(shí)別 ret = speech_recognition_run(&whisper, audio, task_code, recognized_text); clock_t end = clock(); // 記錄結(jié)束時(shí)間 double infer_time = ((double)(end - start)) / CLOCKS_PER_SEC; // 轉(zhuǎn)換為秒 // 結(jié)果輸出 std::cout << "\nspeech recognition output: "; for (const auto &str : recognized_text){ std::cout << str; } std::cout << std::endl; float audio_length = audio.num_frames / (float)SAMPLE_RATE; // sec audio_length = audio_length > (float)CHUNK_LENGTH ? (float)CHUNK_LENGTH : audio_length; float rtf = infer_time / audio_length; printf("%d, Real Time Factor (RTF): %.3f / %.3f = %.3f\n", iter++, infer_time, audio_length, rtf); } // speech recognition釋放 speech_recognition_release(&whisper); return 0; }