圖1. 數(shù)據(jù)集A(a-c)和數(shù)據(jù)集B(d-f)的視網(wǎng)膜OCT圖像及標(biāo)注說明

近期，中國科學(xué)院上海光學(xué)精密機(jī)械研究所高端光電裝備部研究團(tuán)隊(duì)在醫(yī)學(xué)圖像處理領(lǐng)域取得重要突破。相關(guān)研究成果以“TranSegNet: Hybrid CNN-Vision Transformers Encoder for Retina Segmentation of Optical Coherence Tomography”為題發(fā)表于LIFE-BASEL。

OCT技術(shù)憑借非侵入、高分辨的優(yōu)勢，成為眼科疾病檢測的“金標(biāo)準(zhǔn)”。然而，視網(wǎng)膜層及病灶的精準(zhǔn)分割面臨巨大挑戰(zhàn)：圖像噪點(diǎn)、血管陰影、病理結(jié)構(gòu)形態(tài)差異等均可能影響傳統(tǒng)算法性能。手動標(biāo)注依賴專家經(jīng)驗(yàn)，耗時(shí)長且主觀性強(qiáng)。既往基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的模型雖取得進(jìn)展，但局部感受野限制導(dǎo)致全局特征建模不足。

TranSegNet通過深度融合卷積神經(jīng)網(wǎng)絡(luò)(CNN)與Vision Transformer(ViT)的優(yōu)勢，構(gòu)建了獨(dú)特的混合編碼架構(gòu)。以輕量化的改進(jìn)型U-Net骨干網(wǎng)絡(luò)為基礎(chǔ)，其通過多尺度分層卷積精準(zhǔn)捕獲局部視網(wǎng)膜紋理特征，同時(shí)引入全局注意力機(jī)制，利用輕量化ViT模塊中的多頭卷積注意力層，突破傳統(tǒng)CNN的局部感受野限制，有效建模視網(wǎng)膜層間復(fù)雜的長程空間依賴關(guān)系。通過端到端輕量化設(shè)計(jì)，模型在不依賴預(yù)訓(xùn)練的前提下，以56%的參數(shù)量縮減與每秒15幀的實(shí)時(shí)處理速度(NVIDIA RTX3070)，實(shí)現(xiàn)視網(wǎng)膜層邊界分割誤差降低至5.29微米，并在黃斑積液等不規(guī)則病灶識別中表現(xiàn)出超越主流模型的魯棒性，為臨床高精度自動診斷提供了高效、可靠的解決方案。

圖2.(a)TranSegNet整體網(wǎng)絡(luò)結(jié)構(gòu) (b)Transformer層結(jié)構(gòu)設(shè)計(jì)

該模型已成功應(yīng)用于實(shí)驗(yàn)室自建SD-OCT系統(tǒng)及美國杜克大學(xué)公開數(shù)據(jù)集，可精準(zhǔn)分割視網(wǎng)膜8層結(jié)構(gòu)及積液區(qū)域，生成定量化厚度圖譜，為早期青光眼、糖尿病視網(wǎng)膜病變的篩查提供自動化工具。研究團(tuán)隊(duì)表示，TranSegNet的輕量化特性適配邊緣計(jì)算設(shè)備，未來將結(jié)合移動OCT設(shè)備實(shí)現(xiàn)基層醫(yī)療場景的快速診斷。

審核編輯 黃宇