NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine（ACE）的一系列技術，增強了 AI 虛擬形象和數字人的真實感和可訪問性，這些新的動畫和語音功能實現了更自然的對話和情感表達。

開發(fā)者現在可以使用新的云 API 在應用中輕松實現和擴展智能虛擬形象，包括自動語音識別（ASR）、文本轉語音（TTS）、神經機器翻譯（NMT）和 Audio2Face（A2F）。

AI 驅動的情感動畫

用戶可使用最新的 ACE AI 動畫功能和微服務（包括新添加的 A2F 情感支持）構建更具表現力的數字人，現在還提供用于身體、頭部和眼球運動的 Animation Graph 微服務。

圖 1. NVIDIA ACE 端到端開發(fā)套件

增強的 AI 語音功能

現在支持的語言包括意大利語、西班牙語、德語和普通話，ASR 技術的整體準確性也得到了提高，ASR、TTS 和 NMT 的云 API 簡化了對最新語音 AI 功能的訪問。

無論用戶是想使用自己的語音將自定義語音應用到智能 NPC，還是在視頻會議通話中隨機化用戶的語音，新的 Voice Font 微服務都能讓用戶自定義 TTS 輸出。這項技術可將說話者的獨特音調和音量轉換為參考音頻，同時保持相同的節(jié)奏和聲音模式。

新工具和框架

ACE Agent 是一家專業(yè)的對話管理和系統(tǒng)集成商，它能夠提供更加流暢的端到端體驗，并高效地協(xié)調微服務之間的連接。開發(fā)者還可以利用與 NVIDIA Omniverse 平臺的集成，通過 NVIDIA NeMo Guardrails、NVIDIA SteerLM 和 LangChain 來更好地控制精確且可調節(jié)的響應。

現在，可以更輕松地在用戶選擇的渲染器或編碼環(huán)境中啟動和運行這些工具。新功能包括：

• 在 Avatar 配置器中支持 Blendshape，以輕松集成 Unreal Engine 等熱門渲染器。

• 面向 Python 用戶的全新 A2F 應用程序。

• 一款參考應用程序，適用于有興趣為客戶服務構建虛擬助理的開發(fā)者。

總結

這些新推出的 NVIDIA ACE 功能提高了數字人體驗的質量標準。借助簡化構建和部署的增強功能，開發(fā)者現在可以獲得構建新一代數字人應用所需的簡化配置。

想要探索尖端數字人技術？點擊“閱讀原文”，申請 NVIDIA ACE 搶先體驗。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。掃描下方海報二維碼，立即注冊 GTC 大會。