醫(yī)療科技的未來(lái)是機(jī)器人化——醫(yī)院將全面自動(dòng)化，由 AI 驅(qū)動(dòng)的手術(shù)系統(tǒng)、機(jī)器人助手和自主患者護(hù)理徹底改變現(xiàn)有醫(yī)療模式。

構(gòu)建 AI 驅(qū)動(dòng)的機(jī)器人系統(tǒng)面臨幾項(xiàng)關(guān)鍵挑戰(zhàn)。首要挑戰(zhàn)是將數(shù)據(jù)收集與專(zhuān)家見(jiàn)解相融合，另一項(xiàng)挑戰(zhàn)則是為逼真的解剖結(jié)構(gòu)、傳感器和機(jī)器人創(chuàng)建詳細(xì)的生物力學(xué)仿真，這些仿真對(duì)于生成合成數(shù)據(jù)和訓(xùn)練機(jī)器人至關(guān)重要。確保從虛擬部署無(wú)縫過(guò)渡到現(xiàn)實(shí)場(chǎng)景同樣關(guān)鍵，此外還需在操作過(guò)程中管理高帶寬、多模態(tài)傳感器 AI 的超低延遲問(wèn)題。

這些技術(shù)瓶頸凸顯了對(duì)整體性框架的需求——該框架需包含三個(gè)核心計(jì)算模塊：用于訓(xùn)練先進(jìn)模型的 AI 計(jì)算，用于在高保真虛擬環(huán)境中開(kāi)發(fā)和驗(yàn)證機(jī)器人行為的仿真計(jì)算，以及用于臨床環(huán)境實(shí)時(shí)執(zhí)行的運(yùn)行時(shí)計(jì)算。

NVIDIA Isaac for Healthcare是一款用于 AI 醫(yī)療健康機(jī)器人的開(kāi)發(fā)者框架，能幫助開(kāi)發(fā)者應(yīng)對(duì)這些挑戰(zhàn)。Isaac for Healthcare 適用于醫(yī)療健康特定領(lǐng)域，基于 NVIDIA三臺(tái)計(jì)算機(jī)實(shí)現(xiàn)物理 AI。

該框架包含用于采用 MONAI 提供預(yù)訓(xùn)練模型和代理式 AI 框架，其中 MAISI、Vista-3D 等模型可生成仿真工作流所需的解剖合成數(shù)據(jù)；其次，它包含用于仿真的NVIDIA Omniverse（包括NVIDIA Isaac Sim和NVIDIA Isaac Lab），開(kāi)發(fā)者可以導(dǎo)入醫(yī)療設(shè)備/機(jī)器人、傳感器及解剖結(jié)構(gòu)，以構(gòu)建具有物理精確性的虛擬環(huán)境，讓機(jī)器人系統(tǒng)能安全地學(xué)習(xí)技能；第三，它包含NVIDIA Holoscan，用于實(shí)現(xiàn)在機(jī)器人端部署和進(jìn)行實(shí)時(shí)傳感器處理。

該框架能夠提供數(shù)字原型設(shè)計(jì)、硬件在環(huán)（HIL）產(chǎn)品開(kāi)發(fā)測(cè)試、用于 AI 訓(xùn)練的合成數(shù)據(jù)生成、策略訓(xùn)練，以及實(shí)時(shí)部署等，適用于各類(lèi)型醫(yī)療機(jī)器人，包括：

手術(shù)與介入機(jī)器人

影像診斷機(jī)器人

康復(fù)輔助與服務(wù)機(jī)器人

NVIDIA 三臺(tái)計(jì)算機(jī)解決方案，正在為醫(yī)療健康領(lǐng)域的下一代 AI 機(jī)器人發(fā)展提供支持

Isaac for Healthcare：

引領(lǐng)醫(yī)療 AI 機(jī)器人技術(shù)新浪潮

Isaac for Healthcare 通過(guò)數(shù)字孿生與物理 AI 技術(shù)的融合，為醫(yī)療領(lǐng)域提供以下核心能力：

針對(duì)下一代醫(yī)療機(jī)器人系統(tǒng)、傳感器及器械的數(shù)字化原型設(shè)計(jì)。

利用高保真仿真環(huán)境生成的真實(shí)數(shù)據(jù)與合成數(shù)據(jù)訓(xùn)練 AI 模型。

在具備硬件在環(huán)（HIL）的數(shù)字孿生環(huán)境中驗(yàn)證 AI 模型。

通過(guò)在數(shù)字孿生環(huán)境中實(shí)現(xiàn)對(duì)機(jī)器人系統(tǒng)的擴(kuò)展現(xiàn)實(shí)（XR）和 / 或具備觸覺(jué)反饋的遠(yuǎn)程操作，收集用于通過(guò)模仿學(xué)習(xí)來(lái)訓(xùn)練機(jī)器人策略的數(shù)據(jù)。

利用 GPU 并行計(jì)算來(lái)訓(xùn)練強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)算法，提升機(jī)器人靈巧操作能力（比如在機(jī)器人輔助手術(shù)的場(chǎng)景中）。

通過(guò)硬件在環(huán)數(shù)字孿生系統(tǒng)，對(duì)機(jī)器人進(jìn)行持續(xù)測(cè)試（CT）。

構(gòu)建從仿真到現(xiàn)實(shí)的部署應(yīng)用，實(shí)現(xiàn)物理手術(shù)機(jī)器人的落地。

最新版本重點(diǎn)推出兩大端到端參考工作流：手術(shù)子任務(wù)自動(dòng)化與自主機(jī)器人超聲掃描，全面覆蓋外科手術(shù)和醫(yī)學(xué)影像機(jī)器人應(yīng)用場(chǎng)景，旨在加速實(shí)現(xiàn)用戶(hù)特定場(chǎng)景下的自主機(jī)器人能力開(kāi)發(fā)。

下文將詳細(xì)解析這兩大工作流的技術(shù)實(shí)現(xiàn)。

機(jī)器人手術(shù)子任務(wù)自動(dòng)化工作流

本工作流為開(kāi)發(fā)者構(gòu)建和部署手術(shù)子任務(wù)自動(dòng)化解決方案提供標(biāo)準(zhǔn)化模板。通過(guò)整合數(shù)字孿生、強(qiáng)化學(xué)習(xí)與模仿學(xué)習(xí)、高保真合成數(shù)據(jù)生成以及實(shí)時(shí)機(jī)器人評(píng)估等技術(shù)，該方案為 AI 驅(qū)動(dòng)的手術(shù)自動(dòng)化提供了可擴(kuò)展的實(shí)施路徑。

該工作流基于 ORBIT-Surgical 項(xiàng)目開(kāi)發(fā)，該項(xiàng)目由 NVIDIA、PAIR 實(shí)驗(yàn)室（多倫多大學(xué)與佐治亞理工學(xué)院聯(lián)合實(shí)驗(yàn)室）及 AUTOLAB（加州大學(xué)伯克利分校）共同推進(jìn)，并得到蘇黎世聯(lián)邦理工學(xué)院的研究協(xié)作支持。

ORBIT-Surgical 現(xiàn)正遷移至 Isaac for Healthcare 平臺(tái)，并逐漸演變?yōu)闄C(jī)器人手術(shù)子任務(wù)自動(dòng)化工作流。未來(lái)，來(lái)自學(xué)術(shù)界、產(chǎn)業(yè)界和臨床醫(yī)療機(jī)構(gòu)的現(xiàn)有合作伙伴及新伙伴，將共同協(xié)作推動(dòng)該工作流的進(jìn)一步發(fā)展。

Isaac for Healthcare 工作流 1——機(jī)器人手術(shù)子任務(wù)自動(dòng)化，幫助開(kāi)發(fā)者構(gòu)建手術(shù)子任務(wù)自動(dòng)化策略

約翰霍普金斯大學(xué)和斯坦福大學(xué)的合作團(tuán)隊(duì)，將一個(gè)經(jīng)過(guò)數(shù)小時(shí)手術(shù)視頻訓(xùn)練的視覺(jué)語(yǔ)言模型（VLM）與達(dá)芬奇研究套件（dVRK）集成，該系統(tǒng)可自主執(zhí)行三個(gè)關(guān)鍵手術(shù)任務(wù)：小心提起身體組織、使用手術(shù)針和縫合傷口（如上圖所示）。

借助這一工作流，開(kāi)發(fā)人員可以將自己的手術(shù)機(jī)器人、傳感器、器械和患者模型引入 NVIDIA Omniverse，創(chuàng)建高保真手術(shù)數(shù)字孿生模型。這使他們能夠在不接觸患者的情況下，對(duì)縫合、切割和組織操作等復(fù)雜手術(shù)過(guò)程進(jìn)行仿真，同時(shí)大規(guī)模生成大量基于物理原理的、逼真的合成數(shù)據(jù)，用于訓(xùn)練機(jī)器人策略。

然后，這些合成生成的數(shù)據(jù)集將在 Isaac Lab 中用于訓(xùn)練強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)流程，或者微調(diào)現(xiàn)有的通用視覺(jué)語(yǔ)言動(dòng)作模型（例如 π0），以使手術(shù)機(jī)器人能夠掌握人類(lèi)外科醫(yī)生的技能和靈活性。

最后，在數(shù)字孿生中經(jīng)過(guò)充分訓(xùn)練的策略，實(shí)現(xiàn)了從仿真到現(xiàn)實(shí)的過(guò)渡，并部署到一臺(tái)物理手術(shù)機(jī)器人上（本例中為 dVRK）。

Isaac for Healthcare 在手術(shù)子任務(wù)自動(dòng)化工作流中的關(guān)鍵能力包括：

自帶（BYO）組件：使用自定義機(jī)器人、器械、耗材和解剖結(jié)構(gòu)

具備仿真環(huán)境：逼真、基于物理的數(shù)字孿生模型

數(shù)據(jù)生成和收集：合成數(shù)據(jù)以及專(zhuān)家示范操作數(shù)據(jù)

策略訓(xùn)練：用于技能獲取的強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)

評(píng)估和測(cè)試：在數(shù)字孿生中進(jìn)行基于 HIL 測(cè)試的基準(zhǔn)測(cè)試

Sim2Real 遷移：將 AI 從仿真環(huán)境部署到真實(shí)手術(shù)中

Isaac for Healthcare 機(jī)器人手術(shù)子任務(wù)自動(dòng)化工作流是一個(gè)主要基于 NVIDIA Omniverse 和 NVIDIA Holoscan 構(gòu)建的框架

BYO 解剖學(xué)

該流程創(chuàng)建逼真解剖模型的步驟如下：從 AI 輔助的合成 CT 生成（使用NVIDIA MAISI）和分割操作（使用NVIDIA VISTA3D或 Auto3DSeg）開(kāi)始，隨后進(jìn)行網(wǎng)格轉(zhuǎn)換、網(wǎng)格清理和優(yōu)化、逼真紋理處理，最終將所有帶紋理的器官組裝成統(tǒng)一的 OpenUSD 文件。

該工作流能夠創(chuàng)建針對(duì)特定患者的模型，用于罕見(jiàn)或復(fù)雜病例的仿真。這一點(diǎn)尤為重要，因?yàn)榇祟?lèi)病例的真實(shí)患者數(shù)據(jù)往往非常稀缺，這就使得仿真成為了用于培訓(xùn)和術(shù)前準(zhǔn)備的極為寶貴的工具。

逼真人體器官模型可在 GitHub 獲?。?/p>

https://github.com/isaac-for-healthcare/i4h-asset-catalog

BYO 機(jī)器人 / 儀器

該工作流基于達(dá)芬奇研究套件（dVRK）開(kāi)發(fā)，但所提供的模板能夠推廣應(yīng)用到其他機(jī)器人平臺(tái)。導(dǎo)入手術(shù)機(jī)器人的流程需要遵循 Isaac Sim 通用導(dǎo)入指南。詳細(xì)指導(dǎo)請(qǐng)參考 Isaac Sim URDF 導(dǎo)入教程。

Isaac Sim 4.5 提供了簡(jiǎn)化的工作流，通過(guò)將機(jī)器人 CAD 模型轉(zhuǎn)換為 USD 格式來(lái)準(zhǔn)備仿真模型。轉(zhuǎn)換為 USD 后，可進(jìn)行關(guān)節(jié)裝配的關(guān)鍵步驟，包括添加關(guān)節(jié)物理特性和定義機(jī)器人的運(yùn)動(dòng)學(xué)屬性。完成這些關(guān)鍵準(zhǔn)備工作后，您的機(jī)器人模型即可集成到仿真場(chǎng)景（數(shù)字孿生模型）中，以物理精確的方式與器官或其他物體交互。

BYO 傳感器

該工作流為 AI 策略學(xué)習(xí)提供多種感知模式。開(kāi)發(fā)者可集成不同的成像傳感器（如立體相機(jī)、內(nèi)窺鏡相機(jī)、深度傳感器）來(lái)定制 AI 感知流程。

專(zhuān)家示范數(shù)據(jù)采集

（通過(guò)遠(yuǎn)程操作技術(shù)）

該工作流還提供方案/示例，支持通過(guò)不同手術(shù)任務(wù)的遠(yuǎn)程操作，生成高質(zhì)量示范數(shù)據(jù)，這些數(shù)據(jù)對(duì)于訓(xùn)練和評(píng)估手術(shù)機(jī)器人中的 AI 模型至關(guān)重要。

各種外圍設(shè)備，包括鍵盤(pán)、空間鼠標(biāo)、游戲手柄、VR 控制器和達(dá)芬奇研究套件（dVRK）的主工具操作器（MTM），都可以與數(shù)字孿生體進(jìn)行通信，并提供輸入指令，來(lái)控制 Cartesian 空間中的機(jī)器人。

策略學(xué)習(xí)

對(duì)于任務(wù)自動(dòng)化，支持各種先進(jìn)的強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)算法，例如 Action Chunking Transformer（ACT）和 https://arxiv.org/abs/2303.04137，以便獲取高效的手術(shù)技能。

自主機(jī)器人超聲工作流

超聲成像具有無(wú)創(chuàng)、便攜和安全等優(yōu)勢(shì)。然而，要獲得高質(zhì)量的超聲圖像需要熟練的超聲技師操作。但是由于訓(xùn)練有素的專(zhuān)業(yè)人員面臨日益短缺的情況，超聲成像充分展現(xiàn)了任務(wù)自動(dòng)化在擴(kuò)大醫(yī)療服務(wù)可及性、支持及時(shí)準(zhǔn)確診斷方面的潛在優(yōu)勢(shì)。

該參考工作流提供了一個(gè)可復(fù)現(xiàn)、可定制且模塊化的框架，通過(guò) AI、數(shù)字孿生和更廣泛的三臺(tái)計(jì)算系統(tǒng)框架，構(gòu)建超聲機(jī)器人自動(dòng)化方案。該工作流的主要功能大多與機(jī)器人手術(shù)子任務(wù)自動(dòng)化工作流重疊，因此本文僅重點(diǎn)闡述超聲工作流特有的核心能力。

Isaac for Healthcare 工作流 2——自主機(jī)器人超聲，使開(kāi)發(fā)者能夠開(kāi)發(fā)機(jī)器人超聲自動(dòng)化策略

使用此工作流，開(kāi)發(fā)者可以將機(jī)械臂、相機(jī)傳感器、超聲探頭和患者模型導(dǎo)入 NVIDIA Omniverse，以創(chuàng)建高保真超聲檢查的數(shù)字孿生模型。開(kāi)發(fā)人員可以構(gòu)建逼真的解剖模型和虛擬探頭，對(duì)超聲波與不同密度組織的相互作用進(jìn)行仿真，生成豐富的訓(xùn)練數(shù)據(jù)集。

這種方法使開(kāi)發(fā)人員能夠在不受物理實(shí)驗(yàn)室限制的情況下，探索不同的掃描角度、壓力水平以及解剖結(jié)構(gòu)的變化情況。開(kāi)發(fā)者可以利用 Isaac Lab，獲取來(lái)自仿真和專(zhuān)家示范操作的數(shù)據(jù)，以采用強(qiáng)化學(xué)習(xí)或模仿學(xué)習(xí)，訓(xùn)練機(jī)器人系統(tǒng)進(jìn)行最佳定位，并調(diào)整超聲波探針的方向以捕獲高質(zhì)量圖像。

Isaac for Healthcare 自主機(jī)器人超聲工作流框架

Isaac for Healthcare 的

早期采用者與生態(tài)系統(tǒng)合作伙伴

Isaac for Healthcare 正通過(guò)與手術(shù)機(jī)器人、介入機(jī)器人、影像機(jī)器人以及機(jī)械臂供應(yīng)商等領(lǐng)域的領(lǐng)先機(jī)構(gòu)合作，加速 AI 驅(qū)動(dòng)的醫(yī)療機(jī)器人的發(fā)展。

在手術(shù)機(jī)器人領(lǐng)域，Virtual Incision正在評(píng)估 Isaac for Healthcare 在手術(shù)合成數(shù)據(jù)生成（SDG）方面的能力，以開(kāi)發(fā)其未來(lái)手術(shù)機(jī)器人系統(tǒng)的自主任務(wù)能力，并利用真實(shí)仿真環(huán)境提升手術(shù)精度。

Moon Surgical正在對(duì)自主機(jī)器人設(shè)置進(jìn)行原型設(shè)計(jì)，使機(jī)器人能夠動(dòng)態(tài)適應(yīng)外科醫(yī)生的技術(shù)和手術(shù)流程，從而提高手術(shù)的精準(zhǔn)度和效率。

在介入機(jī)器人領(lǐng)域，Neptune Medical使用 NVIDIA Omniverse 和 Isaac Sim 設(shè)計(jì)與仿真機(jī)器人內(nèi)窺鏡檢查，以增強(qiáng)診斷能力。

XCath正字利用 Isaac for Healthcare 為其血管介入機(jī)器人、治療設(shè)備和人體血管系統(tǒng)創(chuàng)建全面的數(shù)字孿生，在其基于導(dǎo)管的機(jī)器人系統(tǒng)中實(shí)現(xiàn)自主導(dǎo)航的運(yùn)動(dòng)規(guī)劃和控制。

Kinova和Franka等領(lǐng)先機(jī)械臂提供商，正在通過(guò)在 Isaac for Healthcare 中提供可直接用于仿真的預(yù)構(gòu)建機(jī)械臂，推動(dòng)開(kāi)發(fā)者生態(tài)系統(tǒng)的發(fā)展。

結(jié)合全面的參考工作流，這些解決方案為開(kāi)發(fā)者提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)，使他們能夠快速制作原型，并將自主功能部署到醫(yī)療設(shè)備中，推動(dòng)醫(yī)療機(jī)器人領(lǐng)域的創(chuàng)新發(fā)展。

立即開(kāi)始

借助全面的資源套件來(lái)探索Isaac for Healthcare，這些資源能夠加速由 AI 驅(qū)動(dòng)的醫(yī)療機(jī)器人的開(kāi)發(fā)進(jìn)程。

從手術(shù)子任務(wù)自動(dòng)化工作流（Surgical Subtask Automation Workflow）或自主機(jī)器人超聲工作流（Autonomous Robotic Ultrasound Workflow）中進(jìn)行選擇，以啟動(dòng)您的項(xiàng)目。