NVIDIA Clara Guardian是一個應用框架，同時也是一種合作伙伴生態(tài)系統(tǒng)，它可以利用多模態(tài) AI 簡化智能傳感器的開發(fā)和部署，可應用于醫(yī)療健康設施的各個位置。借助各種各樣的預訓練模型、參考應用和設備群管理解決方案，開發(fā)者能夠以更快的速度構建解決方案，從而將 AI 引入醫(yī)療健康設施，并提高患者護理水平。

Clara Guardian 的關鍵組件包括醫(yī)療健康預訓練模型，該模型適用于計算機視覺和語音、訓練工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command是一個混合云平臺，可支持在數(shù)百萬臺服務器或醫(yī)院的邊緣設備中安全管理并擴展 AI 部署。

這使得生態(tài)系統(tǒng)合作伙伴可以輕松將 AI 功能添加到常用傳感器中，從而監(jiān)控人群的安全社交距離、測量體溫、檢測是否佩戴口罩等防護裝備，或與高風險患者進行遠程交互，從而在保護醫(yī)療健康機構人員安全的同時，還能讓他們隨時了解狀況。

應用和服務可以在各種硬件上運行，因此，開發(fā)者能夠在從邊緣到云端的任意位置安全地進行部署。

NVIDIA Clara Guardian 功能特性

提供解決方案

利用高性能的預訓練模型在醫(yī)療健康領域構建精確 AI。

云原生，邊緣優(yōu)先

快速擴展軟件，并在邊緣輕松部署應用。

安全管理

在數(shù)十臺，甚至多達數(shù)百萬臺的服務器或邊緣設備上安全地管理和擴展 AI 部署。

醫(yī)療健康領域?qū)Ｓ玫念A訓練模型

適用于語音的 Clara Guardian

適用于語音的 Clara Guardian 是 Riva 對話式 AI 功能針對醫(yī)療健康領域的特定版本。

對于自動語音識別（ASR）功能，模型執(zhí)行離線識別和串流識別兩種模式，可自動添加標點符號、輸出字詞時間戳并返回前 n 個腳本。

我們推薦使用 CitriNet 這個基于端到端卷積 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型會接收音頻片段，并將其轉(zhuǎn)寫為字母、字節(jié)對或詞片段序列。CitriNet 已在 ASR 數(shù)據(jù)集上進行訓練，在沒有任何外部 LM 的情況下，它可以在 LibriSpeech test-other 上達到 6.22% 的誤字率（WER），并且在各種硬件 / GPU 上高效運行，如此處所示。

Conformer-CTC 模型是用于自動語音識別的 Conformer 模型的非自回歸變體，該模型使用 CTC 損失 / 解碼代替 Transducer。

對于自然語言理解（NLU）功能，深度學習模型通過編碼向量理解上下文，并為特定語言任務（如預測下一個單詞和文本摘要）提供適當?shù)妮敵觥?/p>

對于文本轉(zhuǎn)語音（TTS），有一款基于 FastPitchHifiGanE2E 的語音合成模型。FastPitchHifiGanE2E 是一個端到端的非自回歸模型，可將文本轉(zhuǎn)化成音頻。它將 FastPitch 和 HiFiGan 組合成一個模型，并以端到端方式聯(lián)合訓練。

語音模型（ASR、NLP 和 TTS）可用于截取、處理和響應患者在醫(yī)療健康設置中可能提出的常見請求。

適用于計算機視覺的 Clara Guardian

適用于計算機視覺的 Clara Guardian 是DeepStream和Riva計算機視覺功能在醫(yī)療健康領域的特定版本。

Clara Guardian 包含可用于手勢識別、心率監(jiān)測、口罩檢測和身體姿態(tài)估計的預訓練模型。

身體姿態(tài)估計可用于檢測身體中重要關節(jié)和面部特征的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝蓋、腳踝、鼻子、頸部等），從而建立患者監(jiān)控 AI 模型。

手勢識別模型可以識別一系列常見的手勢（揮手、表示同意、豎大拇指、表示制止等）。

僅通過觀察人臉的視頻流，心率估計模型就可以獲得一個人的心率數(shù)據(jù)。

預編譯的NVIDIA TensorRT引擎已在NVIDIA GPUs上進行優(yōu)化。

借助 Fleet Command 進行安全管理

NVIDIA Fleet Command是一個混合云平臺，可以跨數(shù)十臺到數(shù)百萬臺服務器或邊緣設備，安全地遠程部署、管理和擴展 AI。管理員無需花費數(shù)周時間規(guī)劃和執(zhí)行部署，只需幾分鐘即可將 AI 擴展到醫(yī)院。管理員能夠在一個控制面板中實現(xiàn)整個 IT 部門的相關操作，從而管理 AI 應用的生命周期、通過無線以及遠程監(jiān)控和訪問系統(tǒng)更新系統(tǒng)軟件。

端到端 AI 解決方案

Clara Guardian 包含經(jīng) GPU 優(yōu)化的組件，可加速應用開發(fā)的各個階段。

訓練

一系列醫(yī)療健康領域?qū)Ｓ玫念A訓練計算機視覺和對話式 AI 模型，適用于各種用例。

NVIDIA NeMo，為 ASR、NLP 和 TTS 構建對話式 AI 模型。

TAO 工具套件，可創(chuàng)建零編碼且高度準確的計算機視覺模型。

部署

NVIDIA Riva用于部署融合了視覺、語音和其他傳感器數(shù)據(jù)的對話式 AI 模型。

NVIDIA DeepStream SDK借助傳輸層安全性（TLS）協(xié)議，提供多平臺可擴展的視頻分析框架，可在邊緣進行部署，可連接到任意云。

審核編輯：湯梓紅