NVIDIA Omniverse Avatar實(shí)現(xiàn)實(shí)時(shí)對(duì)話式AI助手

美國(guó)加利福尼亞州圣克拉拉——GTC大會(huì)——2021年11月9日——NVIDIA于今日發(fā)布用于生成交互式AI虛擬形象的技術(shù)平臺(tái)——NVIDIA Omniverse Avatar。

Omniverse Avatar能夠連接NVIDIA在語(yǔ)音AI、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解、推薦引擎和模擬方面的技術(shù)。在該平臺(tái)上創(chuàng)建的虛擬形象是具有光線追蹤3D圖像效果的交互式角色，可以看到、說(shuō)話、談?wù)摳鞣N主題，以及合理地理解表達(dá)意圖。

Omniverse Avatar為AI助手的創(chuàng)建開(kāi)辟了道路，而且可以根據(jù)各個(gè)行業(yè)的需求輕松定制。AI助手可以幫助處理數(shù)十億次日?？蛻舴?wù)互動(dòng)，比如餐廳訂單，銀行交易，個(gè)人預(yù)約和預(yù)訂等，帶來(lái)更多商機(jī)并提升客戶滿意度。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“智能虛擬助手的前景一片光明。Omniverse Avatar將我們的基礎(chǔ)圖像、模擬和AI技術(shù)結(jié)合在一起，打造出一些有史以來(lái)最復(fù)雜的實(shí)時(shí)應(yīng)用。協(xié)作機(jī)器人和虛擬助手的案例令人難以置信，影響深遠(yuǎn)。”

Omniverse Avatar是用于3D工作流程的虛擬世界模擬和協(xié)作平臺(tái)——NVIDIA Omniverse的一部分，Omniverse公測(cè)版用戶現(xiàn)已超過(guò)7萬(wàn)人。

在NVIDIA GTC主題演講中，黃仁勛分享了使用Omniverse Avatar的多個(gè)例子，包括用于客戶支持的Project Tokkio、用于永久在線車載智能服務(wù)的NVIDIA DRIVE Concierge以及用于視頻會(huì)議的Project Maxine。

在第一個(gè)Project Tokkio演示中，黃仁勛展示了NVIDIA的同事們與一個(gè)黃仁勛的卡通虛擬形象進(jìn)行互動(dòng)——就生物學(xué)和氣候科學(xué)等話題開(kāi)展對(duì)話。

在第二個(gè)Project Tokkio演示中，黃仁勛著重介紹了餐廳自助服務(wù)亭中的一個(gè)客戶服務(wù)虛擬形象。演示中，有兩名顧客正在訂購(gòu)素食漢堡、薯?xiàng)l和飲料，該虛擬形象看到了他們、與他們交談并理解了他們。這些演示由NVIDIA AI軟件和目前全球最大的可定制語(yǔ)言模型——Megatron 530B驅(qū)動(dòng)。

在DRIVE Concierge AI平臺(tái)演示中，中央儀表盤(pán)屏幕上的數(shù)字助理幫助駕駛者選擇了最佳駕駛模式以準(zhǔn)時(shí)到達(dá)目的地，然后按照駕駛者的要求，設(shè)置在汽車?yán)m(xù)航里程下降到100英里以下時(shí)進(jìn)行提醒。

另外，黃仁勛還展示了Project Maxine如何為虛擬協(xié)作和內(nèi)容創(chuàng)作應(yīng)用增加最先進(jìn)的視頻和音頻功能。演示中，一個(gè)講英語(yǔ)的人在嘈雜的咖啡館里進(jìn)行視頻通話，但是其他人可以清楚地聽(tīng)到她所說(shuō)的話，沒(méi)有背景噪音。當(dāng)她講話時(shí)，她的話被實(shí)時(shí)轉(zhuǎn)錄并翻譯成德語(yǔ)、法語(yǔ)和西班牙語(yǔ)，并且聲音和語(yǔ)調(diào)與原話完全相同。

Omniverse Avatar主要組成部分

Omniverse Avatar 所使用的語(yǔ)音AI、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解、推薦引擎、面部動(dòng)畫(huà)和圖像元素，通過(guò)以下技術(shù)實(shí)現(xiàn)：

其語(yǔ)音識(shí)別基于NVIDIA Riva。這個(gè)軟件開(kāi)發(fā)工具包可以識(shí)別多種語(yǔ)言的語(yǔ)音。Riva還可通過(guò)文本語(yǔ)音轉(zhuǎn)換功能生成接近真人的語(yǔ)音反饋。

其自然語(yǔ)言理解基于Megatron 530B大型語(yǔ)言模型。該模型可以識(shí)別、理解和生成人類語(yǔ)言。Megatron 530B是一個(gè)預(yù)訓(xùn)練模型，它可以在很少或沒(méi)有訓(xùn)練的情況下完成句子、回答主題廣泛的問(wèn)題、總結(jié)長(zhǎng)而復(fù)雜的故事、翻譯成其他語(yǔ)言，并應(yīng)對(duì)許多它未接受過(guò)專門(mén)訓(xùn)練的情景。

其推薦引擎由NVIDIA Merlin提供。該框架使企業(yè)可以建立能夠處理大量數(shù)據(jù)的深度學(xué)習(xí)推薦系統(tǒng)，以提出更明智的建議。

其感知功能來(lái)自用于視頻分析的計(jì)算機(jī)視覺(jué)框架——NVIDIA Metropolis。

其虛擬形象動(dòng)畫(huà)由AI賦能的2D和3D面部動(dòng)畫(huà)和渲染技術(shù)——NVIDIA Video2Face和Audio2Face驅(qū)動(dòng)。

這些技術(shù)被集成在一個(gè)應(yīng)用，并使用NVIDIA統(tǒng)一計(jì)算框架進(jìn)行實(shí)時(shí)處理。這些技術(shù)被打包成可擴(kuò)展、自定義微服務(wù)后，能夠通過(guò)NVIDIA Fleet Command在多個(gè)地點(diǎn)安全地部署、管理和協(xié)調(diào)。

原文標(biāo)題：GTC21 | NVIDIA發(fā)布用于創(chuàng)建AI虛擬形象的平臺(tái)

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:pj