實(shí)時通信應(yīng)用程序（如虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用程序）的音頻和視頻質(zhì)量是衡量用戶實(shí)時通信體驗的真正標(biāo)準(zhǔn)。他們嚴(yán)重依賴網(wǎng)絡(luò)帶寬和用戶設(shè)備質(zhì)量。

狹窄的網(wǎng)絡(luò)帶寬和低質(zhì)量的設(shè)備會產(chǎn)生不穩(wěn)定且嘈雜的音頻和視頻輸出。由于用戶同時產(chǎn)生和消費(fèi)音頻和視頻，因此可損壞流的數(shù)量增加，這一問題往往變得更加復(fù)雜。用戶通過部署內(nèi)容創(chuàng)建工具進(jìn)一步加劇了音頻和視頻擁塞。

為了使您能夠增強(qiáng)實(shí)時通信應(yīng)用程序的實(shí)時音頻和視頻質(zhì)量， NVIDIA Maxine提供 GPU – 加速 SDK 來執(zhí)行以下操作：

改進(jìn)標(biāo)準(zhǔn)麥克風(fēng)和網(wǎng)絡(luò)攝像頭經(jīng)驗通過視頻效果、音頻效果和 AR SDK 功能。

支持將多個音頻、視頻和增強(qiáng)現(xiàn)實(shí)功能實(shí)時鏈接到端到端管道中使用 Maxine 構(gòu)建新的或集成到已構(gòu)建的端到端管道中。

包括轉(zhuǎn)錄和翻譯當(dāng)與 NVIDIA Riva一起使用 Maxine 時，這是一個用于構(gòu)建對話 AI 應(yīng)用程序的 SDK 。

簡言之， Maxine 為具有高音頻和視頻質(zhì)量的虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用程序提供了最高的性能，無論是在 PC 機(jī)、內(nèi)部部署還是在具有 GPU 的云數(shù)據(jù)中心。

在本文中，您將了解：

用戶在使用 Maxine SDK 進(jìn)行實(shí)時通信應(yīng)用時體驗到的音頻和視頻增強(qiáng)功能。

使用 Maxine 、 NVIDIA 視頻編解碼器 SDK和 Riva 構(gòu)建端到端管道的好處。

Maxine SDK 的真實(shí)示例在視頻會議、內(nèi)容創(chuàng)建和實(shí)時流媒體應(yīng)用程序中提供了集成功能。

圖 1 與 Maxine 和 Riva SDK 的端到端管道

將標(biāo)準(zhǔn)音頻和視頻設(shè)備轉(zhuǎn)換為智能設(shè)備

NVIDIA Maxine 由視頻特效 SDK 、音頻特效 SDK 和 AR SDK 組成，具有 GPU – 經(jīng)過數(shù)十萬小時培訓(xùn)開發(fā)的最先進(jìn)的人工智能加速功能。

使用Maxine 視頻效果 SDK，您可以將標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭輸入轉(zhuǎn)換為高質(zhì)量視頻。視頻改進(jìn)如下：

圖像更清晰，細(xì)節(jié)更豐富，通過 Maxine 超分辨率和放大功能實(shí)現(xiàn)。

顯著降低網(wǎng)絡(luò)攝像頭傳感器類型、曝光和低照度造成的視頻噪音集成了 Maxine 視頻降噪功能。

塊狀偽影、響聲和蚊子噪音消除應(yīng)用 Maxine 偽影減少功能。

用戶選擇的虛擬背景，通過虛擬背景功能啟用（圖 2 ）。

有關(guān)如何使用標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭輸入運(yùn)行這些效果并將其集成到應(yīng)用程序中的更多信息，請參閱將嘈雜的低分辨率視頻轉(zhuǎn)換為高質(zhì)量視頻，為最終用戶帶來迷人的體驗。

Maxine 音頻效果 SDK提供的人工智能模型可以消除幾乎任何類型的音頻噪音–阻礙窄帶、寬帶和超寬帶音頻，并提高通話質(zhì)量。使用 Maxine 解決音頻質(zhì)量差問題的好處如下：

沒有不必要的背景噪音例如交流噪音、建筑噪音、交通噪音或鍵盤敲擊聲。有關(guān)通過噪聲消除功能消除的背景噪聲類型的完整列表的更多信息，請參閱關(guān)于背景噪聲抑制效果。

沒有無法理解的聲音或聲音失真，也就是說，在具有反射表面的大空間中說話時，不會出現(xiàn)混響。通過 Maxine Room 回聲消除功能可實(shí)現(xiàn)消除。

為了獲得更好的端到端質(zhì)量，您可以組合 Maxine audio effects 功能。有關(guān)如何構(gòu)建具有卓越音質(zhì)的虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用程序的更多信息，請參閱為虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用程序?qū)崿F(xiàn)無噪音音頻。

Maxine 增強(qiáng)現(xiàn)實(shí) SDK使您能夠從網(wǎng)絡(luò)攝像頭視頻中創(chuàng)建有趣且引人入勝的 AR 效果，并在應(yīng)用程序中使用這些效果來吸引用戶、了解用戶情緒或創(chuàng)建 3D 照片逼真的化身。

Maxine AR SDK 提供人臉跟蹤、人臉地標(biāo)跟蹤和人臉網(wǎng)格功能（圖 3 ）。

圖 3 。 Maxine AR 人臉相關(guān)特征示意圖

面跟蹤在面周圍創(chuàng)建邊界框，并隨時間跟蹤面位置。

人臉地標(biāo)跟蹤識別鼻子、眼睛和嘴唇等面部特征，并實(shí)時跟蹤它們。

人臉網(wǎng)格用 3D 網(wǎng)格表示人臉， 3D 網(wǎng)格模擬用戶實(shí)時變化的人臉，可用于人臉身份驗證和構(gòu)建化身。

人臉跟蹤和人臉地標(biāo)跟蹤可用于跟蹤駕駛員注意力，或用于面罩和眼鏡檢測應(yīng)用。

使用 Maxine Body Pose Estimation 功能，您可以創(chuàng)建用于理解用戶姿勢的應(yīng)用程序，并將其用于人體活動識別、運(yùn)動傳輸和實(shí)時虛擬交互。

快速構(gòu)建實(shí)時的端到端管道

在構(gòu)建音頻和視頻管道時，開發(fā)人員通常自定義 AI 模型以實(shí)現(xiàn)所需的音頻和視頻效果。此外，他們的管道必須支持多種平臺，如嵌入式、 PC 和服務(wù)器，還必須滿足低延遲和高吞吐量的視頻處理要求。事實(shí)證明，這樣的管道是計算密集型的。通常在運(yùn)營成本和音頻和視頻流質(zhì)量之間進(jìn)行權(quán)衡。

NVIDIA Maxine 及其周圍的生態(tài)系統(tǒng)完全有能力應(yīng)對這一挑戰(zhàn)。通過利用 NVIDIA GPU s 提供的加速功能和最先進(jìn)的 AI 模型功能，您可以構(gòu)建提供更好用戶體驗的應(yīng)用程序，同時管理相關(guān)成本。這就是它的工作原理。

Maxine AI 功能

NVIDIA Maxine 的核心是三個 SDK ，它們提供多種 AI 功能。這些功能提高了視頻分辨率，消除了音頻和視頻中的噪音，并提供了獨(dú)特的功能。

圍繞 Maxine 的 NVIDIA 生態(tài)系統(tǒng)由兩個關(guān)鍵產(chǎn)品 NVIDIA 視頻編解碼器 SDK和 NVIDIA Riva 組成。

使用視頻編解碼器 SDK ，您可以訪問提供硬件加速編碼和解碼功能的 NVNC 和 NVDEC API 。

使用 NVIDIA Riva ，您可以構(gòu)建對話 AI ，通過提供轉(zhuǎn)錄和翻譯等功能來幫助增強(qiáng)虛擬協(xié)作體驗。

所有這些特性都是 GPU 加速的，因此可以處理的介質(zhì)量遠(yuǎn)遠(yuǎn)高于基于 CPU 的管道。

例如，考慮一下德國的一個生產(chǎn)層經(jīng)理，他與美國的高管們在關(guān)鍵業(yè)務(wù)決策上進(jìn)行遠(yuǎn)程互動。工廠往往位于互聯(lián)網(wǎng)連接有限的偏遠(yuǎn)地區(qū)，生產(chǎn)車間往往是淹沒在大量背景噪音中的大房間。

使用 Maxine 噪音消除功能，經(jīng)理可以消除生產(chǎn)車間的背景噪音。

通過消除房間回聲，他們可以消除音頻混響。

通過 Riva 翻譯，生產(chǎn)車間經(jīng)理和高管可以用他們喜歡的語言進(jìn)行溝通。

通過視頻噪聲消除和超分辨率，一個嘈雜的 360p 視頻被轉(zhuǎn)換成清晰的 1440p 視頻。

經(jīng)理可以用干凈的背景掩蓋生產(chǎn)車間的雜亂。

圖 4 強(qiáng)調(diào)了使用和不使用 Maxine 時用戶體驗的巨大差異。

圖 4 具有 Maxine 生態(tài)系統(tǒng)的視頻會議管道：Maxine，視頻編解碼器和Riva

模塊化 Maxine 設(shè)計產(chǎn)品的優(yōu)勢在于，您可以輕松選擇和集成現(xiàn)有管道中所需的 SDK ，或者從頭開始構(gòu)建新的端到端管道。 Maxine 和圍繞 Maxine 的生態(tài)系統(tǒng)使您能夠快速構(gòu)建一個高吞吐量的端到端管道，接收嘈雜的數(shù)據(jù)流，并將其實(shí)時轉(zhuǎn)換為一種無噪音、高質(zhì)量、高實(shí)用性的體驗，可供所有設(shè)備使用。

使用 Maxine SDK 的增壓應(yīng)用程序的真實(shí)示例

為了展示如何集成 Maxine 特性，我們選擇了幾個實(shí)際示例，每個主要用例一個。

阿瓦亞空間

阿瓦亞空間是一個基于 CPaaS 的現(xiàn)代會議和工作流協(xié)作平臺，提供高清晰度視頻會議、視頻合成、會議錄制、實(shí)時轉(zhuǎn)錄和云級別的持久協(xié)作。

Avaya 的目標(biāo)是實(shí)現(xiàn)大規(guī)模提供實(shí)時、高質(zhì)量媒體服務(wù)的民主化，無論用戶的設(shè)備質(zhì)量如何，也不管用戶在世界各地的位置如何，以瀏覽器為第一體驗。為了實(shí)現(xiàn)這些目標(biāo)并優(yōu)化媒體處理， Avaya 將底層基于云的 CPaaS 與 NVIDIA Maxine 技術(shù)相結(jié)合。

通過將一系列 GPU 連接到容器和虛擬機(jī)的云部署，可實(shí)現(xiàn) 100% 的正常運(yùn)行時間。服務(wù)器根據(jù)需求進(jìn)行旋轉(zhuǎn)，便于與數(shù)千名參與者進(jìn)行大規(guī)模、實(shí)時、雙向視頻交互會議。

Avaya 使用 Maxine Noise Remove 功能來滿足計算成本高、延遲有限的預(yù)算，以滿足人們對干凈清晰的音頻的需求，而無背景噪音，并且由于設(shè)備質(zhì)量低和網(wǎng)絡(luò)性能差，對音頻和語音間隙的容忍度較低。與傳統(tǒng)的 DSP 方法相比， Maxine 噪聲消除功能更強(qiáng)大，涵蓋范圍更廣。它可以在不在端點(diǎn)上運(yùn)行的情況下實(shí)現(xiàn)低延遲，但盡可能靠近網(wǎng)絡(luò)邊緣。此外，由于基于 AI 的算法延遲低于 40ms ，因此音頻管道中沒有緩沖。

Avaya 還使用獨(dú)特的 Maxine 虛擬背景功能，將多個揚(yáng)聲器疊加在演示文稿上，以獲得更具吸引力的演示文稿。最終用戶不必?fù)碛刑厥獾挠布蛳螺d任何軟件。他們可以在任何設(shè)備上實(shí)現(xiàn)這一點(diǎn)，并且可以靈活地創(chuàng)建不同類型的布局。

借助 Maxine 虛擬背景功能， Avaya 為移動和處于復(fù)雜體位的揚(yáng)聲器提供強(qiáng)大的視頻分割。有關(guān) Maxine 如何使 Avaya 提供專業(yè)、高質(zhì)量、無處不在、可從任何平臺訪問的最終用戶體驗的更多信息，請參閱 Avaya 最近的 GTC 課程 NVIDIA 的 Maxine 如何改變我們的溝通方式。

Notch

Notch是一種用于 3D 、 VFX 和實(shí)時事件視覺效果的實(shí)時圖形工具。為舞臺表演創(chuàng)造效果通常需要一個單獨(dú)的昂貴攝像頭和跟蹤解決方案來跟蹤身體運(yùn)動。在某些情況下，生成視覺效果對于處理完整的攝影機(jī)提要（包括背景）變得很棘手。

通過 Maxine 實(shí)時人臉跟蹤和身體姿勢估計功能， Notch 使藝術(shù)家能夠通過減少對定制硬件跟蹤系統(tǒng)的需求，大大簡化現(xiàn)場活動舞臺的設(shè)置。取而代之的是，凹口可以使用標(biāo)準(zhǔn)的攝像設(shè)備。用戶可以進(jìn)一步使用骨骼體數(shù)據(jù)的運(yùn)動捕捉裝備來控制 3D 角色動畫。

通過 Maxine AI 驅(qū)動的虛擬背景功能， Notch 用戶可以創(chuàng)建視頻處理效果，將人與背景分開，并將處理僅應(yīng)用于舞臺上的人才或背景本身。這一簡單的過程具有高分辨率和精度，適用于復(fù)雜條件，如深色衣服和復(fù)雜的照明條件。有關(guān)更多信息，請參閱演示視頻切口 0 。 9 。 23 。 195 NVIDIA 貼片釋放走查。

Be.Live

另一個使用 Maxine 虛擬背景功能的例子是在實(shí)時流媒體空間。Be.Live是一個實(shí)時流媒體工作室，幫助企業(yè)、 SMB 和零售商創(chuàng)建專業(yè)的實(shí)時流媒體，而無需學(xué)習(xí)曲線。它們在云中運(yùn)行與虛擬背景相關(guān)的所有進(jìn)程。

無論是希望與觀眾建立聯(lián)系的小企業(yè)，還是建立雇主與雇員溝通的企業(yè)， Maxine 和 Be 。 Live 都提供了一種解決方案，使頂層背景刪除在主機(jī)后面沒有綠色屏幕。除了享受高質(zhì)量的背景，無需升級網(wǎng)絡(luò)攝像頭和工作室設(shè)置，用戶還可以節(jié)省計算能力，體驗更好的流媒體體驗。

Be 。 Live 的目標(biāo)是在 Live Commerce 生態(tài)系統(tǒng)中實(shí)施 Maxine 虛擬背景創(chuàng)新，因為該技術(shù)可以幫助許多品牌在無需太多投資的情況下啟動其實(shí)時購物流。

關(guān)于作者

About Gordana Neskovic

Gordana Neskovic 是AI/DL產(chǎn)品營銷團(tuán)隊的成員，負(fù)責(zé) NVIDIA Maxine。在加入 NVIDIA 之前，Gordana曾在VMware、Wells Fargo、Pinterest、SFO-ITT和KLA Tencor擔(dān)任過各種產(chǎn)品營銷、數(shù)據(jù)科學(xué)家、AI架構(gòu)師和工程職位。她擁有博士學(xué)位。圣塔 Clara 大學(xué)，塞爾維亞貝爾格萊德大學(xué)電氣工程碩士和學(xué)士學(xué)位。

About Tanay Varshney

Tanay Varshney 是 NVIDIA 的一名深入學(xué)習(xí)的技術(shù)營銷工程師，負(fù)責(zé)廣泛的 DL 軟件產(chǎn)品。他擁有紐約大學(xué)計算機(jī)科學(xué)碩士學(xué)位，專注于計算機(jī)視覺、數(shù)據(jù)可視化和城市分析的橫斷面。

審核編輯：郭婷