近年來，邊緣計算、攝像機、實時處理和人工智能的進步幫助醫(yī)療設備發(fā)生了變革。 NVIDIA 開發(fā)了 NVIDIA Clara Holoscan 支持軟件定義 AI 醫(yī)療設備開發(fā)的平臺。平臺包括 NVIDIA Clara 開發(fā)工具包 這個 NVIDIA Clara Holoscan SDK 和 NVIDIA Clara Holoscan MGX 用于生產(chǎn)就緒部署。

NVIDIA Clara Holoscan SDK 0.2 的最新版本為醫(yī)療設備中的高性能流應用程序提供了實時 AI 推理功能和快速 I / O 。這包括內(nèi)窺鏡檢查、超聲波、外科機器人、顯微鏡和基因組測序儀器。

該版本還包括：

NVIDIA Graph eXecution Framework （ GXF ）與 GStreamer 的核心后端。

內(nèi)窺鏡 AI 應用示例。

一個可定制的 AI 管道，用于添加您自己的模型。

支持帶有 Jetson AGX Jetson 和 NVIDIA Xavier 6000 的 Jetson AGX 開發(fā)工具包，以及帶有 Jetson AGX Orin 和 NVIDIA RTX A6000 的 RTX Holoscan 開發(fā)工具包。

支持 NVIDIA JetPack 5.0 SDK ，其中包括 Ubuntu 20.04 。

圖形執(zhí)行框架處理流數(shù)據(jù)

Clara Holoscan SDK 0.2 中最重要的變化是核心后端從 GStreamer 轉移到了 NVIDIA GXF 。 GXF 是一個支持流數(shù)據(jù)處理管道基于組件編程的框架。它是為非常高效的數(shù)據(jù)攝取、數(shù)據(jù)傳輸和 AI / ML 工作負載而構建的。

有了 GXF ，開發(fā)人員可以創(chuàng)建可重用的組件，并將它們組合成圖形，以便快速為不同的產(chǎn)品構建應用程序。 GXF 支持視頻和 AU 流的處理，以及用于醫(yī)療設備（如原始超聲、放射成像掃描儀和顯微鏡）的用戶定義流數(shù)據(jù)類型。

最近在 1080p 視頻流上使用 NVIDIA 延遲顯示分析工具 進行的測試表明，與以前的解決方案相比， GXF 提供了顯著的加速。在測試中，與 Clara Holoscan SDK 0.1 中類似的基于 GStreamer 的管道相比， GXF 將 AI 推斷應用程序的開銷減少了近 3 倍。

圖 1 ： Clara Holoscan SDK 0.2 中的 GXF 與之前 SDK 0.1 中的 GStreamer 相比

此外， GXF 支持用戶自定義組件，以支持通用數(shù)據(jù)處理管道。 GXF 通過兩個重要組件處理構建高性能應用程序的關鍵部分。

第一個是確定組件何時執(zhí)行的調(diào)度器。調(diào)度器支持單線程或多線程執(zhí)行，以及條件執(zhí)行、異步調(diào)度和其他自定義工具。

其次， GXF 有一個內(nèi)存分配器，它為系統(tǒng)提供了一個大型連續(xù)內(nèi)存池的預先分配，并根據(jù)需要重用區(qū)域。為了確保組件之間的零拷貝數(shù)據(jù)交換，可以將內(nèi)存固定到設備上。

圖 2 ：通用管道的一個示例，開發(fā)人員可以在其中自定義工作流，包括數(shù)據(jù)處理、模型推理、存儲和可視化

內(nèi)窺鏡 AI 樣本在 Clara Holoscan 上的應用

數(shù)字內(nèi)窺鏡已經(jīng)發(fā)展成為醫(yī)學篩查和微創(chuàng)手術的關鍵技術。使用實時人工智能平臺來處理和分析內(nèi)窺鏡攝像頭產(chǎn)生的視頻信號的情況越來越多。

這項技術有助于異常檢測和測量、圖像增強、警報和分析。 Clara Holoscan SDK 0.2 包括一個支持 AI 的內(nèi)窺鏡示例應用程序，展示了 GXF 的端到端功能，并支持與具有 HDMI 輸入的 AJA 接口的設備。

內(nèi)窺鏡 AI 示例應用程序具有深度學習模型，可在內(nèi)窺鏡視頻流上實時執(zhí)行目標檢測和工具跟蹤。

該應用程序使用多個 NVIDIA 功能來最小化總體延遲，包括：

GPUDirect RDMA 視頻數(shù)據(jù)傳輸，消除向系統(tǒng)內(nèi)存復制或從系統(tǒng)內(nèi)存復制的開銷。

用于 CUDA 的 NVIDIA 性能原語庫在 AI 推理之前加速了 2D 圖像轉換。

TensorRT 用于優(yōu)化 AI 推理和加速的運行時。

CUDA 和 OpenGL 互操作性，在 GPU 上為可視化提供高效的資源共享。

帶上您自己的模型 AI 應用程序

開發(fā)人員可以將自己的 AI 模型引入 Clara Holoscan 參考管道，以快速創(chuàng)建自己的流式工作流。通過更新一個配置文件并將數(shù)據(jù)導出為 GXF 本機數(shù)據(jù)格式，可以完成從一個模型到另一個模型的交換。以便攜式 ONNX 保存的模型以及 NVIDIA 性能優(yōu)化的 TRT 格式可以在 GXF 的內(nèi)置推理引擎上運行。

支持 Clara 開發(fā)工具包

Clara AGX 和新的 Clara Holoscan 顯影劑套件 。 下一代 Clara Holoscan 開發(fā)工具包采用高性能 NVIDIA Orin 模塊、功能強大的 RTX A6000 GPU 以及 ConnectX SmartNIC 的連接性能。

該套件是開發(fā)下一代軟件定義醫(yī)療設備的理想解決方案。 Orin 適用于支持多個傳感器的高速接口的自主機器，其性能是上一代多個并發(fā) AI 推理管道的 8 倍。

使用 Ubuntu 20.04 更新 JetPack 5.0HP1

NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系統(tǒng)。對于版本 0.2 ， JetPack SDK 正在從版本 4.5 升級到版本 5.0HP1 。這將操作系統(tǒng)升級到 L4T rel-34 ，與使用 LTS 內(nèi)核 5.10 的 Ubuntu 20.04 相當。

Clara Holoscan SDK 入門

這個 Clara Holoscan SDK 0.2 現(xiàn)在可以在 GitHub 上使用 Apache 2.0 許可證訪問源代碼。

關于作者

Vanessa Braunstein 在 NVIDIA 的醫(yī)療團隊從事產(chǎn)品營銷工作。此前，她在基因組學、醫(yī)學成像、制藥、化學和診斷公司從事產(chǎn)品開發(fā)和營銷。她學習分子和細胞生物學、公共衛(wèi)生和商業(yè)。

Marc Edgar 是 NVIDIA 的醫(yī)療設備高級聯(lián)盟經(jīng)理，幫助各種規(guī)模的醫(yī)療保健公司發(fā)展，以提高質(zhì)量、可負擔性和獲得醫(yī)療保健的機會。在加入 NVIDIA 之前，他在 General Ele CTR ic 工作了超過 25 年。他開發(fā)并商業(yè)化了許多 AI / ML 算法，并在醫(yī)療保健和工業(yè)領域擁有 16 項專利。

審核編輯：郭婷