利用 NVIDIA Isaac Sim 和 NVIDIA Omniverse 開發(fā)的 ORBIT-Surgical 正在 ICRA 機(jī)器人大會上展出。

NVIDIA 與學(xué)術(shù)研究人員正在聯(lián)合開發(fā)用于手術(shù)的機(jī)器人。

ORBIT-Surgical 是一個由多倫多大學(xué)、加州大學(xué)伯克利分校、蘇黎世聯(lián)邦理工學(xué)院、佐治亞理工學(xué)院和 NVIDIA 研究人員共同開發(fā)的機(jī)器人訓(xùn)練仿真框架。它所訓(xùn)練的機(jī)器人可以在提升手術(shù)團(tuán)隊技術(shù)水平的同時，減輕外科醫(yī)生的認(rèn)知負(fù)荷。

該框架支持十多種操作，這些操作靈感來源于腹腔鏡手術(shù)（又稱微創(chuàng)手術(shù)）訓(xùn)練課程，例如抓取針頭等小物件、將它們從一只機(jī)械臂傳遞到另一只，并高度精準(zhǔn)地放置針頭等。

這個基于物理學(xué)的框架是使用NVIDIA Isaac Sim（一個用于設(shè)計、訓(xùn)練和測試 AI 機(jī)器人的仿真平臺）構(gòu)建而成的。研究人員在NVIDIA GPU上訓(xùn)練了強(qiáng)化學(xué)習(xí)和仿真學(xué)習(xí)算法，并使用NVIDIA Omniverse（一個用于開發(fā)和部署基于通用場景描述 OpenUSD 的高級 3D 應(yīng)用程序和管線的平臺）進(jìn)行逼真的渲染。

在下面的視頻中，ORBIT-Surgical 研究團(tuán)隊演示了如何在實驗室環(huán)境中將仿真訓(xùn)練中的數(shù)字孿生移植到實體機(jī)器人上。該團(tuán)隊使用的是由機(jī)器人手術(shù)領(lǐng)導(dǎo)者 Intuitive Surgical 支持的非營利組織 Intuitive Foundation 所提供的社群支持型“達(dá)芬奇”研究套件。

ORBIT-Surgical 已在 ICRA（IEEE 國際機(jī)器人與自動化會議）上進(jìn)行展示，開源代碼包現(xiàn)已在 GitHub 上發(fā)布。

AI 以一抵九

ORBIT-Surgical 的基礎(chǔ)是Isaac Orbit，這是一個基于 Isaac Sim 構(gòu)建的模塊化機(jī)器人學(xué)習(xí)框架。Orbit 支持各種用于強(qiáng)化學(xué)習(xí)和仿真學(xué)習(xí)的程序庫，可以讓 AI 智能體進(jìn)行模擬真實專家示例的訓(xùn)練。

借助該手術(shù)框架，開發(fā)者能夠利用在NVIDIA RTX GPU上運行的強(qiáng)化學(xué)習(xí)和仿真學(xué)習(xí)框架訓(xùn)練像“達(dá)芬奇”研究套件機(jī)器人（dVRK）這樣的機(jī)器人，來操縱剛性和柔性物體。

ORBIT-Surgical 引入了十多項用于手術(shù)訓(xùn)練的基準(zhǔn)任務(wù)，包括單手任務(wù)和雙手任務(wù)，單手任務(wù)包括拿起一塊紗布、將分流管插入血管或?qū)⒖p合針舉到特定位置等；雙手任務(wù)包括將針從一只機(jī)械臂遞給另一只、將穿好線的針穿過環(huán)形桿、以及在避開障礙物的同時將兩只手臂伸到特定位置等。

ORBIT-Surgical 的基準(zhǔn)測試之一是插入分流器——

左圖為真實世界中的機(jī)器人，右圖為仿真機(jī)器人。

通過開發(fā)一種利用 GPU 加速和并行化優(yōu)勢的手術(shù)仿真器，該團(tuán)隊能夠?qū)C(jī)器人的學(xué)習(xí)速度提升一個數(shù)量級，相比于現(xiàn)有的外科手術(shù)框架。他們發(fā)現(xiàn)在單個 NVIDIA RTX GPU 上，機(jī)器人數(shù)字孿生可以在兩小時內(nèi)完成插入分流管和舉起縫合針等任務(wù)的訓(xùn)練。

憑借在 Omniverse 中進(jìn)行渲染所實現(xiàn)的視覺逼真度，研究人員還可使用 ORBIT-Surgical 生成高保真合成數(shù)據(jù)，這有助于訓(xùn)練 AI 模型完成各種感知任務(wù)，例如在手術(shù)室拍攝的真實世界視頻中區(qū)分手術(shù)工具等。

該團(tuán)隊的一項概念驗證表明，將仿真和真實數(shù)據(jù)相結(jié)合，可顯著提高 AI 模型區(qū)分圖像中手術(shù)針頭的準(zhǔn)確性，這有助于減少在訓(xùn)練此類模型時對昂貴的大型真實世界數(shù)據(jù)集的需求。