來源：UNknown知識庫

一、醫(yī)學(xué)圖像分割簡介

醫(yī)學(xué)影像分割是醫(yī)學(xué)影像分析中的重要領(lǐng)域，也是計算機輔助診斷、監(jiān)視、干預(yù)和治療所必需的一環(huán)，其關(guān)鍵任務(wù)是對醫(yī)學(xué)影像中感興趣的對象（例如器官或病變）進行分割，可以為疾病的精準(zhǔn)識別、詳細分析、合理診斷、預(yù)測與預(yù)防等方面提供非常重要的意義和價值。

在醫(yī)學(xué)影像分割任務(wù)中，目前主要存在以下幾個難點：

標(biāo)注數(shù)據(jù)少。造成該問題的一個重要的原因是收集標(biāo)注困難，手工標(biāo)注醫(yī)學(xué)影像是一個費時費力的過程，而這個標(biāo)注過程在實際的臨床實踐中可能并不需要。

傳感器噪聲或偽影?，F(xiàn)代醫(yī)學(xué)影像最基本的成像模態(tài)有 X 光、超聲、CT 和 MRI 等，用于成像的醫(yī)學(xué)設(shè)備會存在物理噪聲和圖像重建誤差，而醫(yī)學(xué)影像模態(tài)和成像參數(shù)設(shè)定的差別則會造成不同大小的偽影。

分割目標(biāo)形態(tài)差異大?；颊咧g存在高矮胖瘦等體型差異，且病變的大小、形狀和位置可能存在巨大差異，因此解剖結(jié)構(gòu)上會有差異。不同的分割部位也存在差異，往往需要不同的算法，有時還需要考慮到先驗知識的加入。

組織邊界信息弱。人體內(nèi)部的一些器官都是具有相似特征的軟組織，它們相互接觸且邊界信息非常弱，而胰腺腫瘤、肝腫瘤、腎臟腫瘤等邊界不清楚的腫瘤往往還非常小，導(dǎo)致很難被識別到。

二、基于 U-Net 的醫(yī)學(xué)影像分割算法

1

U-Net

U-Net 是醫(yī)學(xué)影像分割領(lǐng)域著名的一個網(wǎng)絡(luò)架構(gòu)，在 2015 年由 Ronneberger等人參加 ISBI Challenge 提出的一種基于 FCN 的分割網(wǎng)絡(luò)。經(jīng)過修改和擴展后的 U-Net 能夠適應(yīng)很小的訓(xùn)練集，并且輸出更加精確的分割結(jié)果。

U-Net 的上采樣過程中依然有大量通道，這使得網(wǎng)絡(luò)將上下文信息向更高分辨率傳播，且其擴展路徑與收縮路徑對稱，形成了一個 U 型的形狀段，并通過跳躍連接的方式融合來自不同階段的特征圖。

當(dāng)面對醫(yī)學(xué)影像分割任務(wù)時，U-Net 這種擴展路徑和收縮路徑所組成的編碼—解碼的網(wǎng)絡(luò)架構(gòu)成為了首選，同時發(fā)展出很多變體。

2

加入密集連接的 U-Net 算法

密集連接的思想來自于 DenseNet，在 DenseNet 出現(xiàn)之前，卷積神經(jīng)網(wǎng)絡(luò)的進化一般通過層數(shù)的加深或者加寬進行，DenseNet 通過對特征的復(fù)用提出了一種新的結(jié)構(gòu)，不但減緩了梯度消失的現(xiàn)象同時模型的參數(shù)量也更少。

U-Net++ 網(wǎng)絡(luò)架構(gòu)在 2018 年被 Zhou 等人提出，創(chuàng)新點在于將密集連接加入 U-Net 網(wǎng)絡(luò)，從而引入深度監(jiān)督的思想，并通過重新設(shè)計的跳躍連接路徑把不同尺寸的U-Net 結(jié)構(gòu)融入到了一個網(wǎng)絡(luò)里。

在原始的U-Net網(wǎng)絡(luò)架構(gòu)上，UNet++ 加入了更多的跳躍連接路徑和上采樣卷積塊，用于彌補編碼器和解碼器之間的語義鴻溝。中間隱藏層使用的深度監(jiān)督一方面可以解決 U-Net++ 網(wǎng)絡(luò)訓(xùn)練時的梯度消失問題，另一方面允許網(wǎng)絡(luò)在測試的階段進行剪枝，減少模型的推斷時間。

U-Net++ 網(wǎng)絡(luò)架構(gòu)的第一個優(yōu)勢就是精度的提升，這是由于它整合了不同層次的特征，第二個是靈活的網(wǎng)絡(luò)結(jié)構(gòu)配合深度監(jiān)督，讓參數(shù)量巨大的深度神經(jīng)網(wǎng)絡(luò)在可接受的精度范圍內(nèi)大幅度地縮減參數(shù)量。

但是因為多次跳躍連接操作，同樣的數(shù)據(jù)在網(wǎng)絡(luò)中會存在多個復(fù)制，模型訓(xùn)練時的顯存占用相對較高，需要采用一些顯存優(yōu)化技術(shù)來更好地訓(xùn)練模型。

3

融合殘差思想的 U-Net 算法

神經(jīng)網(wǎng)絡(luò)因為寬度和深度的增加，會面臨梯度消失或梯度爆炸引起的網(wǎng)絡(luò)退化問題，為此 He 等人提出了殘差網(wǎng)絡(luò)（ResNet）。殘差塊的輸入通過殘差路徑直接疊加到殘差塊的輸出之中，殘差塊會嘗試去學(xué)習(xí)并擬合殘差以保證增加的網(wǎng)絡(luò)層數(shù)不會削弱網(wǎng)絡(luò)的表達性能。

2019年 Ibtehaz 等人提出了 MultiResUNet 網(wǎng)絡(luò)，MultiResUNet 運用殘差思想改造了 U-Net 中的卷積塊和跳躍連接。MultiResNet 使用一系列 3×3 卷積核來模擬 5×5 卷積核和 7×7 卷積核的感受野，卷積塊的輸入經(jīng)過 1×1 卷積核后經(jīng)由殘差路徑直接與卷積后的輸入疊加，作者稱之為 MultiResblock，在減少網(wǎng)絡(luò)計算量的同時可以提取不同尺度的空間特征。

作者同時提出了 ResPath 來減少跳躍連接過程中所丟失的空間信息，ResPath 由一系列的 3×3 卷積、1×1卷積和殘差路徑組成，編碼器的輸入特征圖經(jīng)過 ResPath 與解碼器特征圖連接，一方面減少了語義鴻溝，另一方面增強了網(wǎng)絡(luò)的學(xué)習(xí)能力。

4集成注意力機制的 U-Net 算法

注意力機制借鑒了人類的注意力思維方式，最初被應(yīng)用于基于 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的圖像分類、自然語言處理等深度學(xué)習(xí)任務(wù)中并取得了顯著成果。2018年 Oktay 等人提出了 Attention U-Net 網(wǎng)絡(luò)架構(gòu)。

AttentionU-Net 在對擴展路徑每個階段上的特征圖與收縮路徑中對應(yīng)特征圖進行拼接之前，使用了一個注意力門抑制無關(guān)區(qū)域中的特征激活來提高模型的分割準(zhǔn)確性，在達到高分割精度的同時而無需額外的定位模塊。

與 U-Net 和相比，AttentionU-Net 在胰腺和腹部多器官分割數(shù)據(jù)集上，提升了分割的精度，同時減少了模型訓(xùn)練和推理的時間。

5

面向 3D 影像的 U-Net 算法

3D U-Net 網(wǎng)絡(luò)架構(gòu)是原始 U-Net 網(wǎng)絡(luò)架構(gòu)的一個簡單擴展，由 U-Net 的研究團隊在 2016 年提出并應(yīng)用于三維圖像分割。因為電腦屏幕上只能展示二維的切片，所以直接在三維層面上標(biāo)注分割標(biāo)簽比較困難。與此同時，相鄰的二維切片往往包含了近似的圖片信息。

基于上述兩個事實，作者提出了只需要稀疏標(biāo)注的二維圖像進行訓(xùn)練的 3D U-Net 網(wǎng)絡(luò)架構(gòu)。3D U-Net 通過將 U-Net 原來的 2D 卷積、池化、上采樣操作替換成對應(yīng)的 3D 操作，并加入 Batch Normalization 層實現(xiàn)了對三維醫(yī)學(xué)影像的直接分割。

2016年 Milletari 等人提出了 V-Net 網(wǎng)絡(luò)架構(gòu)，是原始 U-Net 網(wǎng)絡(luò)架構(gòu)的另一種 3D 實現(xiàn)。V-Net 相比 3D U-Net 最大的亮點在于吸收了 ResNet 的思想，在網(wǎng)絡(luò)拓展路徑和收縮路徑的每個階段中都引入殘差學(xué)習(xí)的機制。同時，V-Net 以步長為 2 的 2×2×2 卷積核取代拓展路徑里的池化操作來降低特征圖的分辨率。

V-Net 和 3D U-Net 都是針對三維醫(yī)學(xué)影像所直接構(gòu)建的端到端的深度卷積神經(jīng)網(wǎng)絡(luò)，目的是運用 3D 卷積從三維進行編碼，以良好的分割某些在二維沒有明顯表征的病理。3D分割算法在利用醫(yī)學(xué)影像的三維組織連通性方面具有優(yōu)勢，但相較2D分割算法其參數(shù)量更多，訓(xùn)練和推理過程對設(shè)備的算力要求更高。

參考資料：彭璟，羅浩宇，趙淦森等《深度學(xué)習(xí)下的醫(yī)學(xué)影像分割算法綜述》

—版權(quán)聲明—

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請聯(lián)系刪除或修改！

編輯：jq