NVIDIA Clara Guardian是一個應(yīng)用框架，同時也是一種合作伙伴生態(tài)系統(tǒng)，它可以利用多模態(tài) AI 簡化智能傳感器的開發(fā)和部署，可應(yīng)用于醫(yī)療健康設(shè)施的各個位置。借助各種各樣的預(yù)訓(xùn)練模型、參考應(yīng)用和設(shè)備群管理解決方案，開發(fā)者能夠以更快的速度構(gòu)建解決方案，從而將 AI 引入醫(yī)療健康設(shè)施，并提高患者護(hù)理水平。

Clara Guardian 的關(guān)鍵組件包括醫(yī)療健康預(yù)訓(xùn)練模型，該模型適用于計算機(jī)視覺和語音、訓(xùn)練工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command是一個混合云平臺，可支持在數(shù)百萬臺服務(wù)器或醫(yī)院的邊緣設(shè)備中安全管理并擴(kuò)展 AI 部署。

這使得生態(tài)系統(tǒng)合作伙伴可以輕松將 AI 功能添加到常用傳感器中，從而監(jiān)控人群的安全社交距離、測量體溫、檢測是否佩戴口罩等防護(hù)裝備，或與高風(fēng)險患者進(jìn)行遠(yuǎn)程交互，從而在保護(hù)醫(yī)療健康機(jī)構(gòu)人員安全的同時，還能讓他們隨時了解狀況。

應(yīng)用和服務(wù)可以在各種硬件上運行，因此，開發(fā)者能夠在從邊緣到云端的任意位置安全地進(jìn)行部署。

NVIDIA Clara Guardian 功能特性

提供解決方案

利用高性能的預(yù)訓(xùn)練模型在醫(yī)療健康領(lǐng)域構(gòu)建精確 AI。

云原生，邊緣優(yōu)先

快速擴(kuò)展軟件，并在邊緣輕松部署應(yīng)用。

安全管理

在數(shù)十臺，甚至多達(dá)數(shù)百萬臺的服務(wù)器或邊緣設(shè)備上安全地管理和擴(kuò)展 AI 部署。

醫(yī)療健康領(lǐng)域?qū)Ｓ玫念A(yù)訓(xùn)練模型

適用于語音的 Clara Guardian

適用于語音的 Clara Guardian 是 Riva 對話式 AI 功能針對醫(yī)療健康領(lǐng)域的特定版本。

對于自動語音識別（ASR）功能，模型執(zhí)行離線識別和串流識別兩種模式，可自動添加標(biāo)點符號、輸出字詞時間戳并返回前 n 個腳本。

我們推薦使用 CitriNet 這個基于端到端卷積 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型會接收音頻片段，并將其轉(zhuǎn)寫為字母、字節(jié)對或詞片段序列。CitriNet 已在 ASR 數(shù)據(jù)集上進(jìn)行訓(xùn)練，在沒有任何外部 LM 的情況下，它可以在 LibriSpeech test-other 上達(dá)到 6.22% 的誤字率（WER），并且在各種硬件 / GPU 上高效運行，如此處所示。

Conformer-CTC 模型是用于自動語音識別的 Conformer 模型的非自回歸變體，該模型使用 CTC 損失 / 解碼代替 Transducer。

對于自然語言理解（NLU）功能，深度學(xué)習(xí)模型通過編碼向量理解上下文，并為特定語言任務(wù)（如預(yù)測下一個單詞和文本摘要）提供適當(dāng)?shù)妮敵觥?/p>

對于文本轉(zhuǎn)語音（TTS），有一款基于 FastPitchHifiGanE2E 的語音合成模型。FastPitchHifiGanE2E 是一個端到端的非自回歸模型，可將文本轉(zhuǎn)化成音頻。它將 FastPitch 和 HiFiGan 組合成一個模型，并以端到端方式聯(lián)合訓(xùn)練。

語音模型（ASR、NLP 和 TTS）可用于截取、處理和響應(yīng)患者在醫(yī)療健康設(shè)置中可能提出的常見請求。

適用于計算機(jī)視覺的 Clara Guardian

適用于計算機(jī)視覺的 Clara Guardian 是DeepStream和Riva計算機(jī)視覺功能在醫(yī)療健康領(lǐng)域的特定版本。

Clara Guardian 包含可用于手勢識別、心率監(jiān)測、口罩檢測和身體姿態(tài)估計的預(yù)訓(xùn)練模型。

身體姿態(tài)估計可用于檢測身體中重要關(guān)節(jié)和面部特征的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝蓋、腳踝、鼻子、頸部等），從而建立患者監(jiān)控 AI 模型。

手勢識別模型可以識別一系列常見的手勢（揮手、表示同意、豎大拇指、表示制止等）。

僅通過觀察人臉的視頻流，心率估計模型就可以獲得一個人的心率數(shù)據(jù)。

預(yù)編譯的NVIDIA TensorRT引擎已在NVIDIA GPUs上進(jìn)行優(yōu)化。

借助 Fleet Command 進(jìn)行安全管理

NVIDIA Fleet Command是一個混合云平臺，可以跨數(shù)十臺到數(shù)百萬臺服務(wù)器或邊緣設(shè)備，安全地遠(yuǎn)程部署、管理和擴(kuò)展 AI。管理員無需花費數(shù)周時間規(guī)劃和執(zhí)行部署，只需幾分鐘即可將 AI 擴(kuò)展到醫(yī)院。管理員能夠在一個控制面板中實現(xiàn)整個 IT 部門的相關(guān)操作，從而管理 AI 應(yīng)用的生命周期、通過無線以及遠(yuǎn)程監(jiān)控和訪問系統(tǒng)更新系統(tǒng)軟件。

端到端 AI 解決方案

Clara Guardian 包含經(jīng) GPU 優(yōu)化的組件，可加速應(yīng)用開發(fā)的各個階段。

訓(xùn)練

一系列醫(yī)療健康領(lǐng)域?qū)Ｓ玫念A(yù)訓(xùn)練計算機(jī)視覺和對話式 AI 模型，適用于各種用例。

NVIDIA NeMo，為 ASR、NLP 和 TTS 構(gòu)建對話式 AI 模型。

TAO 工具套件，可創(chuàng)建零編碼且高度準(zhǔn)確的計算機(jī)視覺模型。

部署

NVIDIA Riva用于部署融合了視覺、語音和其他傳感器數(shù)據(jù)的對話式 AI 模型。

NVIDIA DeepStream SDK借助傳輸層安全性（TLS）協(xié)議，提供多平臺可擴(kuò)展的視頻分析框架，可在邊緣進(jìn)行部署，可連接到任意云。

審核編輯：湯梓紅