圖像數(shù)據(jù)通常可以通過兩個(gè)維度（行和列）來描述，可能還有一個(gè)額外維度用于紅色、綠色、藍(lán)色（ RGB ）。然而，有時(shí)需要進(jìn)一步的維度，以便在特定應(yīng)用和領(lǐng)域中進(jìn)行更準(zhǔn)確和詳細(xì)的圖像分析。

例如，您可能希望研究三維（ 3D ）體積，測(cè)量?jī)蓚€(gè)零件之間的距離或建模該三維體積隨時(shí)間的變化（第四維）。在這些情況下，你需要兩個(gè)以上的維度來理解你所看到的。

多維圖像處理，或n– 維度圖像處理，是從具有兩個(gè)或多個(gè)維度的圖像數(shù)據(jù)中分析、提取和增強(qiáng)有用信息的廣義術(shù)語。它對(duì)于醫(yī)學(xué)成像、遙感、材料科學(xué)和顯微鏡應(yīng)用特別有用和必要。

這些應(yīng)用中的一些方法可能涉及來自比傳統(tǒng)灰度、 RGB 或紅、綠、藍(lán)、 alpha （ RGBA ）圖像更多通道的數(shù)據(jù)。使用具有識(shí)別、過濾和分割功能的設(shè)備， N 維圖像處理可以幫助您學(xué)習(xí)并做出明智的決策。

多維圖像處理為您提供了在科學(xué)應(yīng)用中執(zhí)行傳統(tǒng)二維濾波功能的靈活性。具體來說，在醫(yī)學(xué)成像中，計(jì)算機(jī)斷層掃描（ CT ）和磁共振成像（ MRI ）掃描需要多維圖像處理，以形成身體及其功能的圖像。例如，在醫(yī)學(xué)成像中使用多維圖像處理來檢測(cè)癌癥或估計(jì)腫瘤大小。

多維圖像處理開發(fā)人員面臨的挑戰(zhàn)

除了識(shí)別、獲取和存儲(chǔ)圖像數(shù)據(jù)本身之外，處理多維圖像數(shù)據(jù)也面臨著一系列挑戰(zhàn)。

首先，多維圖像的大小比二維圖像大，并且通常具有高分辨率，因此將其加載到內(nèi)存并訪問它們非常耗時(shí)。

其次，處理圖像數(shù)據(jù)的每個(gè)附加維度需要額外的時(shí)間和處理能力。分析更多維度擴(kuò)大了考慮范圍。

第三，計(jì)算機(jī)視覺和圖像處理算法需要更長(zhǎng)的時(shí)間來分析每個(gè)附加維度，包括低級(jí)操作和基元。多維濾波器、梯度和直方圖的復(fù)雜性隨著每個(gè)附加維度的增加而增加。

最后，當(dāng)操作數(shù)據(jù)時(shí)，多維圖像處理的數(shù)據(jù)集可視化由于考慮的額外維度和必須呈現(xiàn)的質(zhì)量而變得更加復(fù)雜。在生物醫(yī)學(xué)成像中，所需的細(xì)節(jié)水平可以在識(shí)別癌細(xì)胞和受損器官組織方面產(chǎn)生差異。

多維輸入/輸出

如果你是從事多維圖像處理的數(shù)據(jù)科學(xué)家或研究人員，你需要能夠高效加載和處理大型圖像文件的軟件。流行的多維文件格式包括：

NumPy 二進(jìn)制格式（.npy ）

標(biāo)簽圖像文件格式（ TIFF ）

TFRecord （.tfrecord）

Zarr

上述格式的變體

因?yàn)槊總€(gè)像素都很重要，所以您必須使用所有可用的處理能力準(zhǔn)確地處理圖像數(shù)據(jù)。圖形處理單元（ GPU ）硬件為您提供了處理和平衡實(shí)時(shí)分析復(fù)雜多維圖像數(shù)據(jù)的工作量所需的處理能力和效率。

cuCIM

Compute Unified Device Architecture Clara IMage （ cuCIM ）是一個(gè)開源、加速的計(jì)算機(jī)視覺和圖像處理軟件庫，它利用 GPU 的處理能力來解決開發(fā)人員處理多維圖像的需求和難點(diǎn)。

數(shù)據(jù)科學(xué)家和研究人員需要快速、易于使用、可靠的軟件來應(yīng)對(duì)日益增加的工作量。雖然專門針對(duì)生物醫(yī)學(xué)應(yīng)用進(jìn)行了調(diào)整，但 cuCIM 可用于地理空間、材料和生命科學(xué)以及遙感用例。

cuCIM 提供 200 多種計(jì)算機(jī)視覺和圖像處理功能，用于顏色轉(zhuǎn)換、曝光、特征提取、測(cè)量、分割、恢復(fù)和變換。

cuCIM 是一款功能強(qiáng)大且快速的圖像處理軟件，只需對(duì)現(xiàn)有管道進(jìn)行最小的更改。 cuCIM 為您提供了增強(qiáng)的數(shù)字圖像處理能力，這些能力可以集成到現(xiàn)有的管道中：

人工智能醫(yī)學(xué)開放網(wǎng)絡(luò)（ MONAI ）

Numba

NumPy

PyTorch

TensorFlow

您可以使用 C ++或 Python 應(yīng)用程序編程接口（ API ）進(jìn)行集成，該接口與 OpenSlide for I / O 和 scikit image 相匹配，以便在 Python 中進(jìn)行處理。

cuCIM Python 綁定提供了許多常用的計(jì)算機(jī)視覺和圖像處理功能，這些功能很容易集成并編譯到開發(fā)人員的工作流程中。

使用 cuCIM 不需要學(xué)習(xí)新的接口或編程語言。在大多數(shù)情況下，只添加一行代碼用于將圖像傳輸?shù)?GPU 。 cuCIM 編碼結(jié)構(gòu)幾乎與 CPU 使用的結(jié)構(gòu)相同，因此利用 GPU 支持的功能幾乎不需要更改。

由于 cuCIM 還支持 GPUDirect Storage （ GDS ），因此您可以高效地將數(shù)據(jù)直接從存儲(chǔ)器傳輸和寫入 GPU ，而無需在主機(jī)（ CPU ）內(nèi)存中創(chuàng)建中間副本。這節(jié)省了輸入/輸出任務(wù)的時(shí)間。

憑借其快速設(shè)置， cuCIM 提供了 GPU 加速的圖像處理和高效的 I / O 的優(yōu)勢(shì)，只需開發(fā)人員付出最小的努力，并且不需要低級(jí)別的計(jì)算統(tǒng)一設(shè)備架構(gòu)（ CUDA ）編程。

關(guān)于作者

邁克爾·布恩是NVIDIA 自動(dòng)駕駛汽車和計(jì)算機(jī)視覺的產(chǎn)品營銷經(jīng)理。

Gigon Bae 是 NVIDIA 的一名軟件工程師，從事 NVIDIA Clara 的工作——這是一個(gè)用于人工智能成像、基因組學(xué)以及智能傳感器開發(fā)和部署的醫(yī)療保健應(yīng)用程序框架。

Gregory Lee 是 NVIDIA Clara 團(tuán)隊(duì)的一名軟件工程師。他獲得了博士學(xué)位。在密歇根大學(xué)獲得生物醫(yī)學(xué)工程博士學(xué)位，并在磁共振成像 （MRI） 研究領(lǐng)域工作了多年。

審核編輯：郭婷