語音 AI是對話式 AI 的一個子集，包括可將人類語音轉(zhuǎn)換為文本的自動語音識別 (ASR) 和文本轉(zhuǎn)語音 (TTS）。

01語音 AI 的運作方式是什么？

語音 AI 系統(tǒng)包括兩個主要組件：

自動語音識別 (ASR) 系統(tǒng)，也稱為語音轉(zhuǎn)文本、語音識別或聲音識別系統(tǒng)。

文本轉(zhuǎn)語音 (TTS) 系統(tǒng)，也稱為語音合成或 AI 語音生成器。

典型 ASR 工作流的第一步是從輸入音頻中提取有用的特征。通常使用梅爾頻譜圖，以對數(shù)尺度表示音頻中各種頻率隨時間變化的強度。然后，將梅爾頻譜傳遞給預(yù)測每個字符概率的聲學(xué)模型。

接下來，解碼器獲取每個時間步長的字符概率，將其轉(zhuǎn)換為詞語序列。

為了提高 ASR 模型的準確性，采用語言模型來預(yù)測句子的概率，并糾正聲學(xué)模型的錯誤。

最后，標點和大寫模型增強了文本的可讀性，并應(yīng)用反向文本規(guī)范化規(guī)則正確對文本編排格式（比如將“十點鐘”轉(zhuǎn)為 "10:00"）。

TTS 工作流的第一步是文本準備。這個過程包括文本分析、識別和分析日期、貨幣金額和機場代碼等表達，以及文本規(guī)范化，即將書面文本轉(zhuǎn)換為語音形式，如展開縮寫（比如將 "10 kg" 轉(zhuǎn)換為“十公斤”）。

下一步是文本編碼，將每個字符轉(zhuǎn)換為數(shù)值，將文本轉(zhuǎn)換為編碼向量，輸入到頻譜圖生成器中。

編碼后，音高和時長預(yù)測器估計每個音素應(yīng)該保持多長時間以及語音音高，以確保生成的語音中的自然韻律。然后將這些信息與編碼文本一起饋送到頻譜圖生成器中，該生成器將文本轉(zhuǎn)換為梅爾頻譜圖。

最后，用這些頻譜圖通過聲碼器模型生成聽起來自然的語音。

02什么是語音 AI 與對話式 AI？

語音 AI 組件通常是基于語音的大型對話式 AI系統(tǒng)的組成部分，結(jié)合了各種技術(shù)，如自動語音識別、經(jīng)檢索增強生成(RAG) 技術(shù)增強的大語言模型(LLM)和文本轉(zhuǎn)語音，以理解并回應(yīng)不同的交互。

客戶服務(wù)應(yīng)用中使用的 AI 驅(qū)動虛擬助手就是語音 AI 和對話式 AI 應(yīng)用的一個例子。語音 AI 使系統(tǒng)能夠轉(zhuǎn)錄和解釋語音，讓用戶通過語音命令進行自然交互。

然后，對話式 AI 進行有意義的上下文感知對話，理解意圖、回復(fù)詢問，并處理預(yù)約、提供技術(shù)支持或指導(dǎo)用戶完成故障排除步驟等任務(wù)。這些技術(shù)共同創(chuàng)造了無縫的交互，提高了客戶服務(wù)的效率和質(zhì)量。

03語音 AI 有哪些用例？

語音 AI 通過自動執(zhí)行通信任務(wù)并實現(xiàn)更高效、更智能的交互重塑了各行各業(yè)的工作流。

數(shù)字人

為了增強客戶服務(wù)體驗并加強客戶關(guān)系，企業(yè)正在建立擁有特定領(lǐng)域內(nèi)部知識和可辨識品牌調(diào)性的虛擬形象。借助 NIM、RAG 增強型大型語言模型、世界級完全可定制的多語言語音和翻譯 AI，這些化身通過獨特、高質(zhì)量、定制的聲音提供個性化的答案和建議。

詳細了解數(shù)字人：

https://www.nvidia.com/en-us/use-cases/digital-humans/

AI 虛擬助手

虛擬助手運用于各個行業(yè)，可增強用戶體驗。ASR 用于為虛擬助手轉(zhuǎn)錄音頻查詢。然后，文本轉(zhuǎn)語音為虛擬助手生成合成語音。除事務(wù)處理情境人性化外，虛擬助手還可以幫助視障人士與非盲文文本交互，幫助有發(fā)音障礙的人士與他人交流，幫助兒童學(xué)習閱讀。

詳細了解 AI 虛擬助手詳情：

https://www.nvidia.cn/use-cases/ai-for-customer-support/

代理協(xié)助

消費者希望客服中心坐席能夠快速、高效地解決他們的問題。為了滿足這些期望并提供出色的客戶和坐席體驗，各行各業(yè)的企業(yè)正在實施由 Riva 語音和翻譯 AI 驅(qū)動的代理協(xié)助技術(shù)。

詳細了解代理協(xié)助：

https://blogs.nvidia.cn/blog/what-is-agent-assist/

AI 翻譯服務(wù)

在全球經(jīng)濟中，企業(yè)每天舉行數(shù)百萬次在線會議，并為來自不同語言背景的客戶提供服務(wù)。公司通過實時轉(zhuǎn)錄和翻譯實現(xiàn)準確的實時帶字幕直播，可適應(yīng)全球各種口音并能識別特定領(lǐng)域的詞匯。他們可以使用 LLM NIMs 進行總結(jié)并獲得見解，確保有效的溝通和順暢的全球互動。

詳細了解 AI 翻譯：

https://www.nvidia.com/en-us/case-studies/lilt/

AI 機器人

越來越多的服務(wù)機器人出現(xiàn)在全球各地的醫(yī)院、機場和零售店。它們可以處理餐廳和制造工廠的日常重復(fù)任務(wù)，協(xié)助客戶找到商品，并在患者護理過程中為醫(yī)護人員提供支持，從而幫助一線工作人員完成工作。

詳細了解 AI 機器人：

https://developer.nvidia.cn/blog/low-code-building-blocks-for-speech-ai-robotics/

呼叫中心轉(zhuǎn)錄

全球約有 1000 萬呼叫中心坐席每天約回答 20 億次呼叫。呼叫中心用例包括：

＞趨勢分析

＞監(jiān)管合規(guī)

＞實時安全或欺詐分析

＞瞬間情緒分析

＞實時翻譯

例如，自動語音識別轉(zhuǎn)錄客戶和呼叫中心坐席之間的實時對話以進行文本分析，用于為坐席提供實時建議，從而快速解決客戶查詢。

臨床筆記

在醫(yī)療健康領(lǐng)域，語音 AI 應(yīng)用加強了患者與醫(yī)療專業(yè)人員和保險機構(gòu)之間的溝通。ASR 可在醫(yī)患對話期間自動做筆記，并自動為保險機構(gòu)提取信息。

全球化和可及性

語音 AI 為全球受眾實現(xiàn)了無縫內(nèi)容本地化。例如，最初用日語制作的視頻可以實時翻譯并輸出為葡萄牙語或西班牙語，從而增加訪問量。無論是娛樂、播客還是教育資料，都能使用 AI 語音生成器為翻譯后的內(nèi)容配音，確保流暢、自然的體驗。

此外，語音 AI 可以生成準確的視頻轉(zhuǎn)錄文本，為有語音障礙的人士提升可及性。實時翻譯、配音和轉(zhuǎn)錄的集成簡化了視頻編輯和內(nèi)容創(chuàng)作工作流，為各種平臺的多語言版本提供支持。

NVIDIA GTC 將于 2026 年 3 月 16 - 19 日在美國加州圣何塞及線上同步舉行，歡迎與我們一同探索下一代 AI 的無限可能。

會議內(nèi)容和體驗將涵蓋代理式 AI、AI 工廠、面向科學(xué)的 AI、CUDA、高性能推理、開放模型、物理 AI、量子計算等諸多領(lǐng)域。掃描下方二維碼，立即注冊，加入這場全球頂尖的 AI 盛會。

*與 NVIDIA 產(chǎn)品相關(guān)的圖片或視頻（完整或部分）的版權(quán)均歸 NVIDIA Corporation 所有。