中科深智成立于 2016 年，是一家專注于端到端生成式 AI 虛擬人技術(shù)的公司，從底層自研的大語言模型、動作和表情生成算法模型以及 3D 自動建模，到 Motionverse 虛擬人業(yè)務(wù)中臺，再到 3D 生成式 AI 產(chǎn)品和應(yīng)用層。中科深智除了為生態(tài)合作伙伴提供 AI 虛擬人 API 外，還開發(fā)了一系列 3D 生成式 AI 產(chǎn)品，包括超寫實虛擬人生成系統(tǒng) Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動播、AI 快速動畫生成系統(tǒng)自動畫、虛擬人實時交互和應(yīng)答系統(tǒng)云小七等。

傳統(tǒng) NPC 人機(jī)交互

生硬且成本高昂

在動作和表情方面，傳統(tǒng) NPC 因為無法獲取用戶的畫面信息和語音信息，也就無法做出實時的反饋，動作和語音的呈現(xiàn)皆靠預(yù)設(shè)，所謂的人機(jī)交互其實非常的刻板和生硬。

在文字和語音的對話能力方面，大語言模型的出現(xiàn)賦予了 NPC 實時對話的能力。但無論是何種大語言模型的誕生，都經(jīng)歷了數(shù)據(jù)清洗、預(yù)訓(xùn)練、指令微調(diào)、測試、合規(guī)、部署和應(yīng)用接口開發(fā)等環(huán)節(jié)，這些環(huán)節(jié)此前是彼此分散的，而并非一體化的，這也意味著每兩個環(huán)節(jié)之間都需要進(jìn)行大量的人工處理和匹配部署，這本質(zhì)上是對人力成本和時間成本的浪費(fèi)，亟需一種更加省時和高效的解決方案。

NVIDIA 賦能游戲 NPC

實現(xiàn)智能化互動

NVIDIA Omniverse 中的 Audio2Face 可以輔助云小七實現(xiàn)音頻輸入的面部輸出，通過預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)、調(diào)整角色網(wǎng)格的 3D 頂點等方式，快速實現(xiàn)表情切換。通過利用 NVIDIA Maxine 對于音頻和視頻通信方面進(jìn)行優(yōu)化，即使用戶使用普通的麥克風(fēng)和攝像頭，NPC 也能監(jiān)測到他們的行為并且產(chǎn)生反饋，與玩家實現(xiàn)實時互動。

此外，云小七底層的文字對話能力來自于中科深智今年 5 月推出的自有大語言模型 GenSense 數(shù)智姜尚。數(shù)智姜尚是國內(nèi)商用大模型在輕量化領(lǐng)域內(nèi)的重要嘗試，是針對垂直領(lǐng)域和虛擬人端到端應(yīng)用而專門設(shè)計的大語言模型，可成為虛擬人的“大腦”，為其提供實時互動的能力支撐。數(shù)智姜尚采用了先進(jìn)的優(yōu)化技術(shù)，輕巧便利且占用資源極少，可為用戶提供流暢的使用體驗。配合 NVIDIA GPU，數(shù)智姜尚能夠以高性能運(yùn)行并展現(xiàn)出色的表現(xiàn)。其次，數(shù)智姜尚的部署和定制非常簡便，可以輕松集成到現(xiàn)有的企業(yè)工作流中，為用戶提供個性化和智能化的解決方案，同時實現(xiàn)快速的模型訓(xùn)練和應(yīng)用部署。

NVIDIA NeMo 在數(shù)智姜尚的訓(xùn)練過程中提供了低門檻、經(jīng)濟(jì)、高效的幫助。

首先，NVIDIA NeMo 幫助解決了訓(xùn)練全流程的問題，包括數(shù)據(jù)清洗、預(yù)訓(xùn)練和指令微調(diào)，以及測試、合規(guī)、部署和應(yīng)用接口開發(fā)等。在此之前，這需要多個架構(gòu)才能完成，因此極大的提高了自有模型的開發(fā)效率。

同時，NVIDIA NeMo 還提供了大量的、可應(yīng)用于多個不同場景的預(yù)訓(xùn)練模型。選擇 NVIDIA 已經(jīng)訓(xùn)練好的模型，能夠大幅縮短微調(diào)和再訓(xùn)練的時間，也幫助擴(kuò)充了中科深智自身大模型數(shù)智姜尚的適應(yīng)性。NeMo 本身的 ASR/TTS 也直接帶來了自然交互工具，無需借助第三方，從而加速了數(shù)智姜尚的開發(fā)和交付。

此外，通過使用 NVIDIA 提供的 NeMo Guardrails 工具，中科深智還高效解決了對話式 AI 合規(guī)性和安全性的風(fēng)險。通過 NeMo Guardrails 為對話設(shè)置響應(yīng)的范圍和邊界，使數(shù)智姜尚的回答范圍僅限于適當(dāng)?shù)闹黝}并僅提供必要的信息，能夠限制 AI 只與已確認(rèn)安全的第三方應(yīng)用程序建立聯(lián)系。

NVIDIA 助力中科深智

加速AI 對話數(shù)字人建設(shè)

中科深智聯(lián)合創(chuàng)始人兼 CTO 宋健說：“中科深智是 NVIDIA 初創(chuàng)加速計劃的高級會員，通過該計劃，一方面中科深智與 NVIDIA 進(jìn)行了深入的技術(shù)合作，另外一方面也鏈接到大量外部企業(yè)資源，可以快速有效的將產(chǎn)品和需求方進(jìn)行對接。

大模型驅(qū)動的對話式 AI 和數(shù)字人的結(jié)合引發(fā)了新一輪的商業(yè)增量，也是我們的企業(yè)客戶關(guān)注的重點。對話式數(shù)字人正在不同領(lǐng)域發(fā)揮著越來越大的作用，幫助企業(yè)用戶解決客戶服務(wù)等難題，提高客戶的體驗。然而開發(fā)和運(yùn)行可落地的語音人工智能服務(wù)仍然是一項復(fù)雜而艱巨的任務(wù)，通常需要面臨實時性、可理解性、自然性、低資源、魯棒性等挑戰(zhàn)。在 NVIDIA 初創(chuàng)加速計劃的支持之下，我們深入了解并且成功應(yīng)用了 NVIDIA 各項最新技術(shù)和工具，包括 NVIDIA Nemo，NVIDIA Omniverse 等等，切實幫助我們加速了 AI 對話數(shù)字人的建設(shè)?！?/span>

NVIDIA 初創(chuàng)加速計劃

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯(lián)系。