人工智能（ AI ）已經(jīng)將合成語(yǔ)音從單調(diào)的機(jī)器人呼叫和幾十年前的 GPS 導(dǎo)航系統(tǒng)轉(zhuǎn)變?yōu)?a href="http://www.brongaenegriffin.com/v/tag/11230/" target="_blank">智能手機(jī)和智能揚(yáng)聲器中虛擬助理的優(yōu)美音調(diào)。

對(duì)于組織來(lái)說(shuō)，為其特定行業(yè)和領(lǐng)域使用定制的最新語(yǔ)音 AI 技術(shù)從未如此容易。

語(yǔ)音 AI 正被用于 power 虛擬助理 ，擴(kuò)展呼叫中心， 使數(shù)字化身人性化 ， 增強(qiáng) AR 體驗(yàn) ，并通過(guò)自動(dòng)化臨床記錄為患者提供無(wú)摩擦的醫(yī)療體驗(yàn)。

根據(jù) Gartner Research ，到 2023 年，客戶將傾向于使用語(yǔ)音接口啟動(dòng) 70% 的自助式客戶互動(dòng) （ 2019 年為 40% ）。對(duì)個(gè)性化和自動(dòng)化體驗(yàn)的需求只會(huì)繼續(xù)增長(zhǎng)。

在這篇文章中，我將討論語(yǔ)音 AI ，它是如何工作的，語(yǔ)音識(shí)別技術(shù)的好處，以及語(yǔ)音 AI 用例的示例。

什么是語(yǔ)音人工智能，其好處是什么？

語(yǔ)音 AI 將 AI 用于基于語(yǔ)音的技術(shù)：自動(dòng)語(yǔ)音識(shí)別（ ASR ），也稱為語(yǔ)音對(duì)文本和文本對(duì)語(yǔ)音（ TTS ）。例如，虛擬會(huì)議中的自動(dòng)實(shí)時(shí)字幕顯示，以及向虛擬助理添加基于語(yǔ)音的界面。

Sim i 通常，基于語(yǔ)言的應(yīng)用程序，如聊天機(jī)器人、文本分析和數(shù)字助理，將語(yǔ)音 AI 與自然語(yǔ)言處理（ NLP ）一起作為大型應(yīng)用程序或系統(tǒng)的一部分。有關(guān)更多信息，請(qǐng)參閱 對(duì)話 AI 詞匯表 。

語(yǔ)音 AI 有很多好處：

High availability ：語(yǔ)音 AI 應(yīng)用程序可以在人工代理時(shí)間內(nèi)外響應(yīng)客戶呼叫，使聯(lián)絡(luò)中心能夠更高效地運(yùn)行。

Real-time insights： 實(shí)時(shí)記錄被指定為以客戶為中心的業(yè)務(wù)分析的輸入，如情緒分析、客戶體驗(yàn)分析和欺詐檢測(cè)。

Instant scalability： 在高峰時(shí)，語(yǔ)音 AI 應(yīng)用程序可以自動(dòng)擴(kuò)展，以處理客戶的數(shù)萬(wàn)個(gè)請(qǐng)求。

Enhanced experiences ：語(yǔ)音人工智能通過(guò)減少等待時(shí)間、快速解決客戶查詢并提供可定制語(yǔ)音界面的人性化交互，提高了客戶滿意度。

數(shù)字可訪問(wèn)性： 從語(yǔ)音到文本再到文本再到語(yǔ)音應(yīng)用，語(yǔ)音 AI 工具正在幫助那些有閱讀和聽(tīng)力障礙的人從生成的語(yǔ)音和書(shū)面文本中學(xué)習(xí)。

誰(shuí)在使用語(yǔ)音 AI 以及如何使用？

今天，語(yǔ)音 AI 正在徹底改變世界上最大的行業(yè)，如金融、電信和統(tǒng)一通信即服務(wù)（ UCaaS ）。

從深度學(xué)習(xí)、基于語(yǔ)音的技術(shù)起步的公司以及擴(kuò)展現(xiàn)有基于語(yǔ)音的 conversational AI 平臺(tái)的成熟公司都受益于語(yǔ)音 AI 。

以下是語(yǔ)音 AI 提高效率和業(yè)務(wù)成果的一些具體示例。

呼叫中心轉(zhuǎn)錄

全球約有 1000 萬(wàn)呼叫中心代理 每天接聽(tīng) 20 億個(gè)電話 。呼叫中心用例包括以下所有內(nèi)容：

趨勢(shì)分析

法規(guī)遵從性

實(shí)時(shí)安全或欺詐分析

實(shí)時(shí)情緒分析

實(shí)時(shí)翻譯

例如，自動(dòng)語(yǔ)音識(shí)別記錄客戶和呼叫中心代理之間的實(shí)時(shí)對(duì)話，以進(jìn)行文本分析，然后用于為代理提供 快速解決客戶查詢 的實(shí)時(shí)建議。

臨床記錄

在醫(yī)療保健領(lǐng)域，語(yǔ)音 AI 應(yīng)用程序改善了患者與醫(yī)療專業(yè)人員和理賠代表的聯(lián)系。 ASR automates note-taking 在患者 – 醫(yī)生對(duì)話和索賠代理信息提取期間。

虛擬助理

每個(gè)行業(yè)都有虛擬助理，可以增強(qiáng)用戶體驗(yàn)。 ASR 用于為虛擬助手轉(zhuǎn)錄音頻查詢。然后，文本到語(yǔ)音

生成虛擬助理的合成語(yǔ)音。除了使交易情境人性化之外，虛擬助理還幫助視力受損者與非盲文文本、語(yǔ)音障礙者以及兒童進(jìn)行互動(dòng)。

語(yǔ)音 AI 是如何工作的？

語(yǔ)音 AI 使用自動(dòng)語(yǔ)音識(shí)別和文本到語(yǔ)音技術(shù)為對(duì)話應(yīng)用程序提供語(yǔ)音接口。典型的語(yǔ)音人工智能管道包括數(shù)據(jù)預(yù)處理階段、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和后處理。

在本節(jié)中，我將討論 ASR 和 TTS 管道中的這些階段。

圖 3 ：。對(duì)話 AI 應(yīng)用的語(yǔ)音接口

自動(dòng)語(yǔ)音識(shí)別

為了讓機(jī)器能夠聽(tīng)到并與人類對(duì)話，它們需要一種將聲音轉(zhuǎn)換為代碼的通用媒介。設(shè)備或應(yīng)用程序如何通過(guò)聲音“看到”世界？

ASR pipeline 將包含語(yǔ)音的給定原始音頻文件處理并轉(zhuǎn)錄為相應(yīng)的文本，同時(shí)最小化稱為 字錯(cuò)誤率 （ WER ）的度量。

WER 用于測(cè)量和比較不同類型的語(yǔ)音識(shí)別系統(tǒng)和算法的性能。它是由錯(cuò)誤數(shù)除以正在轉(zhuǎn)錄的剪輯中的單詞數(shù)來(lái)計(jì)算的。

ASR 管道必須完成一系列任務(wù)，包括特征提取、聲學(xué)建模以及語(yǔ)言建模。

圖 4 ：。 ASR 管道

特征提取任務(wù)涉及將原始模擬音頻信號(hào)轉(zhuǎn)換為頻譜圖，頻譜圖是表示信號(hào)在不同頻率下隨時(shí)間變化的響度的視覺(jué)圖表，類似于熱圖。轉(zhuǎn)換過(guò)程的一部分涉及傳統(tǒng)的信號(hào)預(yù)處理技術(shù)，如 standardization 和 windowing 。

然后使用 Acoustic modeling 來(lái)建模音頻信號(hào)與語(yǔ)言中語(yǔ)音單位之間的關(guān)系。它將音頻片段映射到最可能不同的語(yǔ)音單元和相應(yīng)的字符。

ASR 管道中的最后一項(xiàng)任務(wù)涉及語(yǔ)言建模。 language model 添加了上下文表示并更正了聲學(xué)模型的錯(cuò)誤。換句話說(shuō)，當(dāng)您擁有聲學(xué)模型中的字符時(shí)，您可以將這些字符轉(zhuǎn)換為單詞序列，這些單詞可以進(jìn)一步處理為短語(yǔ)和句子。

歷史上，這一系列任務(wù)是使用生成方法執(zhí)行的，該方法要求使用語(yǔ)言模型、發(fā)音模型和聲學(xué)模型將發(fā)音轉(zhuǎn)換為音頻波形。然后，可以使用 高斯混合模型 或 隱馬爾可夫模型 來(lái)嘗試查找最可能與音頻波形中的聲音匹配的單詞。

這種統(tǒng)計(jì)方法在實(shí)施和部署的時(shí)間和精力上不太準(zhǔn)確，而且更加密集。當(dāng)試圖確保音頻數(shù)據(jù)的每個(gè)時(shí)間步與字符的正確輸出相匹配時(shí)，尤其如此。

然而，端到端的深度學(xué)習(xí)模型，如 連接主義時(shí)間分類 （ CTC ）模型和 注意序列到序列模型 ，可以直接從音頻信號(hào)生成轉(zhuǎn)錄本，并且具有較低的 WER 。

換言之， Jasper 、 QuartzNet 和 Citrinet 等基于深度學(xué)習(xí)的模型使公司能夠創(chuàng)建成本更低、功能更強(qiáng)大、更精確的語(yǔ)音 AI 應(yīng)用程序。

文本到語(yǔ)音

TTS 或 speech synthesis 管道負(fù)責(zé)將文本轉(zhuǎn)換為自然發(fā)音的語(yǔ)音，這種語(yǔ)音是人工生成的，具有類似人類的語(yǔ)調(diào)和清晰的發(fā)音。

圖 5 ：。 TTS 管道

TTS 管道可能必須完成許多不同的任務(wù)，包括文本分析、 linguistic analysis 和波形生成。

在 text analysis 階段，原始文本（帶有符號(hào)、縮寫(xiě)等）被轉(zhuǎn)換為完整的單詞和句子，擴(kuò)展縮寫(xiě)，并分析表達(dá)式。輸出被傳遞到語(yǔ)言分析中，以精煉語(yǔ)調(diào)、持續(xù)時(shí)間，并以其他方式理解語(yǔ)法結(jié)構(gòu)。結(jié)果，產(chǎn)生 spectrogram 或 mel 頻譜圖以轉(zhuǎn)換為連續(xù)的類人音頻。

我之前介紹的方法是一個(gè)典型的兩步過(guò)程，需要一個(gè)合成網(wǎng)絡(luò)和一個(gè) vocoder 網(wǎng)絡(luò)。這是兩個(gè)獨(dú)立的網(wǎng)絡(luò)，用于從文本生成頻譜圖（使用 Tacotron architecture 或 FastPitch ）和從頻譜圖或其他中間表示（如 WaveGlow 或 HiFiGAN ）生成音頻的后續(xù)目的。

除了兩階段方法外， TTS 管道的另一個(gè)可能實(shí)現(xiàn)涉及使用端到端的深度學(xué)習(xí)模型，該模型使用單個(gè)模型直接從文本生成音頻。神經(jīng)網(wǎng)絡(luò)直接從文本 – 音頻對(duì)中訓(xùn)練，不依賴中間表示。

端到端方法降低了復(fù)雜性，因?yàn)樗鼫p少了網(wǎng)絡(luò)之間的錯(cuò)誤傳播，減少了對(duì)單獨(dú)培訓(xùn)管道的需要，并最大限度地降低了手動(dòng)注釋持續(xù)時(shí)間信息的成本。

傳統(tǒng)的 TTS 方法也傾向于產(chǎn)生更多機(jī)器人和不自然的聲音，影響用戶參與，尤其是面向消費(fèi)者的應(yīng)用程序和服務(wù)。

構(gòu)建語(yǔ)音 AI 系統(tǒng)的挑戰(zhàn)

成功的語(yǔ)音 AI 應(yīng)用程序必須啟用以下功能。

獲取最先進(jìn)的模型

從頭開(kāi)始創(chuàng)建訓(xùn)練有素、準(zhǔn)確的深度學(xué)習(xí)模型既昂貴又耗時(shí)。

通過(guò)在前沿模型發(fā)布后立即提供對(duì)其的訪問(wèn)，即使是數(shù)據(jù)和資源受限的公司也可以在其產(chǎn)品和服務(wù)中使用高度精確、經(jīng)過(guò)預(yù)訓(xùn)練的模型和 transfer learning 。

高精度

要在全球或任何行業(yè)或領(lǐng)域部署，必須對(duì)模型進(jìn)行定制，以適應(yīng)多種語(yǔ)言（世界上 6500 種口語(yǔ)的一小部分）、方言、口音和上下文。一些域使用 特定術(shù)語(yǔ)和技術(shù)術(shù)語(yǔ) 。

實(shí)時(shí)性能

由多個(gè)深度學(xué)習(xí)模型組成的管道必須以毫秒為單位運(yùn)行推斷，以實(shí)現(xiàn)實(shí)時(shí)交互，精確到 300 毫秒，因?yàn)榇蠖鄶?shù)用戶在 100 毫秒左右開(kāi)始注意到 滯后和通信故障 ，在此之前，對(duì)話或體驗(yàn)開(kāi)始感覺(jué)不自然。

靈活且可擴(kuò)展的部署

公司需要不同的部署模式，甚至可能需要混合使用云、內(nèi)部部署和邊緣部署。成功的系統(tǒng)支持?jǐn)U展到需求波動(dòng)的數(shù)十萬(wàn)并發(fā)用戶。

數(shù)據(jù)所有權(quán)和隱私

公司應(yīng)該能夠?yàn)槠湫袠I(yè)和領(lǐng)域?qū)嵤┻m當(dāng)?shù)陌踩珜?shí)踐，例如在本地或組織的云中進(jìn)行安全數(shù)據(jù)處理。例如，可能要求遵守 HIPAA 或其他法規(guī)的醫(yī)療保健公司限制數(shù)據(jù)訪問(wèn)和數(shù)據(jù)處理。

語(yǔ)音 AI 的未來(lái)

由于計(jì)算基礎(chǔ)設(shè)施、語(yǔ)音 AI 算法的進(jìn)步，對(duì)遠(yuǎn)程服務(wù)的需求增加，以及現(xiàn)有和新興行業(yè)令人興奮的新用例，基于語(yǔ)音 AI 的產(chǎn)品和服務(wù)現(xiàn)在有了一個(gè)強(qiáng)大的生態(tài)系統(tǒng)和基礎(chǔ)設(shè)施。

當(dāng)前的語(yǔ)音 AI 應(yīng)用程序在推動(dòng)業(yè)務(wù)成果方面功能強(qiáng)大，但下一代語(yǔ)音 AI 應(yīng)用程序必須能夠處理多語(yǔ)言、多領(lǐng)域和多用戶對(duì)話。

能夠成功地將語(yǔ)音 AI 技術(shù)集成到其核心運(yùn)營(yíng)中的組織將具備良好的能力，能夠根據(jù)尚未列出的用例擴(kuò)展其服務(wù)和產(chǎn)品。

關(guān)于作者

MikikoBazeley 是 Mailchimp 的高級(jí) ML 操作和平臺(tái)工程師。她擁有豐富的工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師經(jīng)驗(yàn)，為初創(chuàng)公司和高增長(zhǎng)公司利用機(jī)器學(xué)習(xí)和數(shù)據(jù)開(kāi)發(fā)面向消費(fèi)者和企業(yè)的產(chǎn)品。她積極貢獻(xiàn)有關(guān)開(kāi)發(fā) ML 產(chǎn)品的最佳實(shí)踐的內(nèi)容，并在數(shù)據(jù)科學(xué)職業(yè)生涯中發(fā)言和指導(dǎo)非傳統(tǒng)候選人。

審核編輯：郭婷