引言：目前，自然圖像-文本的多模態(tài)預(yù)訓(xùn)練模型已經(jīng)在各種各樣的下游任務(wù)上取得了非常好的效果，但是由于域之間的差異很難直接遷移到醫(yī)學(xué)領(lǐng)域。同時，獲取有標(biāo)注的醫(yī)學(xué)圖像領(lǐng)域的數(shù)據(jù)集通常需要大量的專業(yè)知識和較高的成本，所以從對應(yīng)的放射學(xué)報告中得到有效監(jiān)督從而提高性能成為一種可能。本文主要介紹醫(yī)學(xué)的多模態(tài)模型的進(jìn)展，這些模型方法在下游的分類、分割、檢索、圖像生成等任務(wù)上均取得了性能的提升。

Contrastive Learning of Medical Visual Representations from Paired Images and Text

http://arxiv.org/abs/2010.00747

這篇文章提出了ConVIRT框架，核心思想其實就是多模態(tài)的對比學(xué)習(xí)，是CLIP之前的工作，CLIP文中也有說受到ConVIRT的啟發(fā)，其使用其實的是ConVIRT的簡化版本。ConVIRT的整體架構(gòu)如下：

主要流程比較直觀：一張圖片先做隨機變換得到不同的視圖，然后進(jìn)入Image Encoder，最后接一個非線性變化得到512維的特征表示；對與該圖片配對的放射學(xué)報告，首先進(jìn)行隨機采樣得到其中的某句話，然后進(jìn)入TextEncoder，最后通過得到512維的特征表示；最后分別對圖片和文本計算infoNCE loss。 GLoRIA: A Multimodal Global-Local Representation Learning Framework for Label-efficient Medical Image Recognition【ICCV2021】

https://ieeexplore.ieee.org/document/9710099/

本文主要從全局和局部進(jìn)行醫(yī)學(xué)圖像的表示學(xué)習(xí)，提出GLoRIA模型，主要使用注意機制，通過匹配放射學(xué)報告中的單詞和圖像子區(qū)域來學(xué)習(xí)圖像的全局-局部表示。其中創(chuàng)建上下文感知的局部圖像表示是通過學(xué)習(xí)基于特定單詞的重要圖像子區(qū)域的注意力權(quán)重。如下圖中基于單詞“effusion”（積液）得到的圖像區(qū)域積液的權(quán)重就比較大。

下圖是進(jìn)行全局和局部學(xué)習(xí)的方法圖。給定一對醫(yī)學(xué)圖像和報告，首先使用圖像編碼器和文本編碼器分別提取圖像和文本特征。

全局圖像-文本表示是通過全局對比損失進(jìn)行學(xué)習(xí)的。為了學(xué)習(xí)局部表征，首先基于圖像子區(qū)域特征和詞級特征計算相似性矩陣，以生成注意力加權(quán)圖像表示（Attention weighted image representation）。首先計算文本和圖像特征的所有組合之間的點積相似性：

上式得到的表示的是個單詞和個圖像子區(qū)域的相似性矩陣，表示的就是第個單詞和第個圖像子區(qū)域之間的相似性。之后通過下面的softmax得到注意力權(quán)重：

對于報告中的每個單詞，我們根據(jù)其與所有圖像子區(qū)域的相似性計算注意力加權(quán)圖像表示：

之后通過局部的對比損失來實現(xiàn)這一目標(biāo)：使用函數(shù)計算單詞與其相應(yīng)的注意力加權(quán)圖像特征之間的相似性。

在給定詞表示的情況下，Local contrastive loss的目標(biāo)是使注意加權(quán)圖像區(qū)域表示的后驗概率最大化：

本文主要在圖像分類、檢索和分割上進(jìn)行性能評估。其中分類和檢索也是結(jié)合全局和局部圖像文本相似性去實現(xiàn)的。具體來說：通過圖像和文本表示提取特征后，基于全局圖像和文本表示計算全局相似度；利用基于詞的注意加權(quán)圖像表示和對應(yīng)的詞表示計算局部相似度。通過全局相似度和局部相似度的平均得到最終的圖像文本相似度。

但對于分類來說，其沒有具體的文本表示，GLoRIA的做法是預(yù)生成合理的文本，以描述分類類別中每種疾病子類型、嚴(yán)重程度和位置。通過隨機組合子類型、嚴(yán)重性和位置的可能單詞生成文本提示來作為每個分類類的文本。 MedCLIP: Contrastive Learning from Unpaired Medical Images and Text【EMNLP 2022】

http://arxiv.org/abs/2210.10163

這篇文章提出了MedCLIP模型，出發(fā)點一方面是醫(yī)學(xué)圖像文本數(shù)據(jù)集比互聯(lián)網(wǎng)上的一般圖像文本數(shù)據(jù)集要少幾個數(shù)量級，另一方面是以前的方法會遇到許多假陰性，即來自不同患者的圖像和報告可能具有相同的語義，但被錯誤地視為負(fù)樣本。所以MedCLIP通過將圖片文本對進(jìn)行解耦然后進(jìn)行對比學(xué)習(xí)，通過引入外部醫(yī)學(xué)知識而減少假陰性。

假設(shè)有個成對的圖像文本樣本、個標(biāo)記的圖像和個醫(yī)學(xué)句子。以前的方法只能使用對樣本，但MedCLIP將個圖像文本對分別解耦為個圖像和個句子。最終能夠通過遍歷所有可能的組合來獲得圖像文本對，所以這樣就可以得到倍的監(jiān)督信號。 為了完成額外的監(jiān)督，MedCLIP利用外部醫(yī)學(xué)知識來構(gòu)建知識驅(qū)動的語義相似性。這里MedCLIP使用了外部工具M(jìn)etaMap，MetaMap是可以從原始句子中提取統(tǒng)一醫(yī)學(xué)語言系統(tǒng)（UMLS）中定義的實體。遵循之前工作的做法，主要關(guān)注14種主要實體類型。同樣，對于帶有診斷標(biāo)簽的圖像，也是利用MetaMap將原始類映射到UMLS概念，從而與文本中的實體對齊，例如，“Normal”映射到“No Findings”。接下來就可以從提取的圖像和文本實體中構(gòu)建multi-hot向量，分別為和。因此，通過這種方式統(tǒng)一了圖像和文本的語義。對于任何圖像和文本，MedCLIP就可以通過比較相應(yīng)的和來衡量它們的語義相似性。 MedCLIP通過構(gòu)建的語義標(biāo)簽和來連接圖像和文本，首先可以得到soft targets：

表示的就是醫(yī)學(xué)語義的相似性。對圖片和文本分別進(jìn)行softmax：

另外我們也可以通過直接將圖像和文本特征計算余弦相似性得到logit，同樣進(jìn)行softmax處理：

因此，Semantic Matching Loss是logits和soft targets之間的交叉熵：

Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning【NIPS 2022】

http://arxiv.org/abs/2210.06044

這篇文章提出MGCA框架，通過多粒度跨模態(tài)對齊學(xué)習(xí)通用醫(yī)學(xué)視覺表示。如下圖所示，醫(yī)學(xué)圖像和放射學(xué)報告會在不同層級自然而然表現(xiàn)出多粒度語義對應(yīng)關(guān)系：疾病層級、實例層級和病理區(qū)域?qū)蛹墶?/p>

圖像和文本首先分別經(jīng)過圖像和文本編碼器，得到一系列token表示，然后通過下面三個模塊實現(xiàn)三個粒度的對應(yīng)：

Instance-wise Image-Text Alignment (ITA)：進(jìn)行實例級別的對齊，即圖像文本的對比損失。 Cross-attention-based Token-wise Alignment (CTA)：基于交叉注意力機制的token級別的對齊。這個模塊的出發(fā)點對應(yīng)到前面的病理區(qū)域級別，用CTA模塊來顯式匹配和對齊局部的醫(yī)學(xué)圖像和放射學(xué)報告。思路是進(jìn)行token級別的對齊，使用交叉注意計算生成的視覺和文本token之間的一個匹配。形式上，對于第個圖像文本對中的第個視覺token，我們讓去和對應(yīng)的文本中的所有token計算其對應(yīng)的跨模態(tài)文本嵌入，看作得到了和圖片token相似的文本信息。

之后采用local image-to-text alignment 損失來將圖片token接近其交叉模態(tài)文本嵌入，但將推離其他跨模態(tài)文本嵌入，同時考慮到不同的視覺標(biāo)記具有不同的重要性（例如，包含病理的視覺標(biāo)記顯然比具有不相關(guān)信息的視覺標(biāo)記更重要），我們在計算LIA損失時為視覺token分配權(quán)重。因此，如下：

Cross-modal Prototype Alignment (CPA)：ITA 和 CTA 都將來自不同實例的樣本視為負(fù)對，所以可能會把有許多類似的語義的樣本在嵌入空間推開，例如相同的疾病的對。因此，CPA模塊是為了進(jìn)行疾病級別的對齊。首先使用迭代的聚類算法Sinkhorn-Knopp，文本和圖像分別被聚類算法預(yù)測結(jié)果是和，同時有個可學(xué)習(xí)的原型聚類中心，，可以直接計算得到圖像/文本和每個類中心的softmax概率：

跨模態(tài)疾病水平（即原型）對齊是通過進(jìn)行跨模態(tài)預(yù)測和優(yōu)化以下兩個交叉熵?fù)p失來實現(xiàn)的。使用 作為“偽標(biāo)簽”來訓(xùn)練圖像表示，作為“偽標(biāo)簽”來訓(xùn)練文本表示：

最后，CPA損失是所有圖像報告對中兩個預(yù)測損失的平均值：

MGCA總的目標(biāo)是三個模塊目標(biāo)的加權(quán)和。 LViT: Language meets Vision Transformer in Medical Image Segmentation

http://arxiv.org/abs/2206.14718

LViT 模型主要用于醫(yī)學(xué)圖像分割，是一個雙 U 結(jié)構(gòu)，由一個 U 形 CNN 分支和一個 U 形 Transformer 分支組成。CNN 分支負(fù)責(zé)圖片輸入和預(yù)測輸出，ViT 分支用于合并圖像和文本信息，利用 Transformer 處理跨模態(tài)信息。

U 形 ViT 分支設(shè)計用于合并圖像特征和文本特征。第一層DownViT模塊接收文本特征輸入和來自第一層DownCNN模塊的圖像特征輸入。特定的跨模態(tài)特征合并操作由以下等式表示：

后續(xù) DownViT 模塊既接收來自上層 DownViT 模塊的特征，又接收來自相應(yīng)層的 DownCNN 模塊的特征。 然后，對應(yīng)尺寸的特征通過 UpViT 模塊傳輸回 CNN-ViT 交互模塊。并且該特征與相應(yīng)層的 DownCNN 模塊中的特征合并。這將最大限度地提取圖像全局特征，并避免由于文本注釋的不準(zhǔn)確性而導(dǎo)致的模型性能振蕩。 PLAM模塊的設(shè)計如上圖b所示，旨在保留圖像的局部特征，并進(jìn)一步合并文本中的語義特征；

為了擴展 LViT 的半監(jiān)督版本，LViT使用指數(shù)偽標(biāo)簽迭代機制（EPI）。其中表示模型的預(yù)測，通過不簡單地使用一代模型預(yù)測的偽標(biāo)簽作為下一代模型的目標(biāo)從而避免偽標(biāo)簽質(zhì)量下降。因此，EPI可以逐步優(yōu)化模型對每個未標(biāo)記像素的分割預(yù)測結(jié)果，并對噪聲標(biāo)簽具有魯棒性。

為了進(jìn)一步利用文本信息來指導(dǎo)偽標(biāo)簽的生成，設(shè)計了Languane-Vision Loss函數(shù)。首先計算對應(yīng)于偽標(biāo)簽的文本特征向量和用于對比標(biāo)簽的文本特征向量之間的余弦相似性TextSim。之后根據(jù)TextSim，選擇相似度最高的對比文本，并找到與該文本對應(yīng)的圖像mask。然后再計算圖片的偽標(biāo)簽和對比標(biāo)簽之間的相似性：

對比標(biāo)簽主要提供近似位置的標(biāo)簽信息，而不是邊界的細(xì)化。因此的主要目的是避免差異顯著的分割錯誤或錯誤標(biāo)記病例。因此只在未標(biāo)記的情況下使用LV損失，在沒有標(biāo)簽的情況下，可以避免偽標(biāo)簽質(zhì)量的急劇惡化。 Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains

http://arxiv.org/abs/2210.04133

目前許多生成模型雖然表現(xiàn)出了出色的生成能力，但它們通常不能很好地推廣到特定領(lǐng)域，例如醫(yī)學(xué)圖像領(lǐng)域。但是，利用生成模型生成一些醫(yī)學(xué)圖像出來可能有助于緩解醫(yī)療數(shù)據(jù)集的匱乏。因此，這項工作主要是研究將大型預(yù)訓(xùn)練基礎(chǔ)模型的表示能力擴展到醫(yī)學(xué)概念，具體來說，本文是利用擴散模型stable diffusion生成醫(yī)學(xué)圖像。

主要是利用了穩(wěn)定擴散模型的架構(gòu)，將整個設(shè)定轉(zhuǎn)化為了放射學(xué)的圖像和文本。具體流程如上圖二所示，給定隨機噪聲進(jìn)行去噪，在這個過程中會有文本作為條件去影響去噪的過程，最后使用VAE的解碼器進(jìn)行圖像的生成。整個工作是比較偏實驗和驗證性的。主要從stable diffusion的各個模塊進(jìn)行訓(xùn)練，包括VAE、Text Encoder、Textual Projection、Textual Embeddings Fine-tuning、U-Net Fine-tuning。

通過兩個簡單的prompt：“肺部射線照片”和“帶有可見胸腔積液的射線照片”來測試不同設(shè)置下的生成能力。并通過定量的FID指標(biāo)進(jìn)行評估。

從定性和定量的結(jié)果來看，表現(xiàn)最好的是U-Net訓(xùn)練的第二種設(shè)定，能夠生成較好的圖片的同時還能匹配文本的語義，能夠理解有無“胸腔積液”的區(qū)別。 Generalized radiograph representation learning via cross-supervision between images and free-text radiology reports【Natural Machine Intelligence 2022】

https://arxiv.org/abs/2111.03452

本文提出REFERS模型，主要通過在圖像和文本對上進(jìn)行交叉監(jiān)督學(xué)習(xí)去得到放射學(xué)表征。

主要考慮到每項患者研究通常都有一份自由文本報告但是通常涉及不止一張 X 光片。首先通過radiograph transformer來提取不同視圖的相關(guān)特征表示。為了充分利用每份報告的信息，設(shè)計了一個基于注意力機制的視圖融合模塊，以同時處理患者研究中的所有射線照片并融合多個特征。 接下來進(jìn)行交叉監(jiān)督學(xué)習(xí)，從自由文本放射學(xué)報告中獲取監(jiān)督信號。主要通過兩個任務(wù)：reportgeneration和study–report representation consistency reinforcement實現(xiàn)監(jiān)督。第一項任務(wù)采用原始放射學(xué)報告中的自由文本來監(jiān)督radiograph transformer的訓(xùn)練過程。第二項任務(wù)加強了患者研究的視覺表示與其相應(yīng)報告的文本表示之間的一致性。第一項任務(wù)主要通過report transformer在給定圖像和前面的token的條件下進(jìn)行token的生成：

第二項任務(wù)通過圖像和文本的對比來實現(xiàn)。 RoentGen: Vision-Language Foundation Model for Chest X-ray Generation

http://arxiv.org/abs/2211.12737

本文提出了RoentGen，是用于合成高保真的胸片的生成模型，能夠通過自由形式的醫(yī)學(xué)語言文本prompt進(jìn)行插入、組合和修改各種胸片的成像，同時能夠具有相應(yīng)醫(yī)學(xué)概念的高度的圖像相關(guān)性。

使用RoentGen對胸部X射線圖像進(jìn)行文本到圖像合成流程如上圖所示。使用微調(diào)或重新訓(xùn)練的U-Net 對隨機高斯噪聲進(jìn)行降噪，同時此過程中會有文本編碼器從醫(yī)療文本提示得到的編碼。最后VAE的解碼器將去噪的向量映射到像素空間，從而產(chǎn)生高保真、多樣化的胸部射線圖像。 其中，微調(diào)或重新訓(xùn)練的具體方式是這樣的：使用文本編碼器和VAE，對提示和相應(yīng)的圖像進(jìn)行編碼，并將采樣噪聲添加到后者的潛在表示中，之后U-Net進(jìn)行預(yù)測原始采樣噪聲：

計算真實噪聲和預(yù)測噪聲之間的MSE loss，由此提高生成能力：

總結(jié)：目前醫(yī)學(xué)多模態(tài)通過不同的模型設(shè)計從而學(xué)習(xí)局部語義、獲取更多相關(guān)知識信息、盡可能利用現(xiàn)有數(shù)據(jù)集、生成圖像以盡可能彌補數(shù)據(jù)量少的問題，在下游的多種任務(wù)上得到了性能提升。如何進(jìn)一步學(xué)習(xí)更加通用的醫(yī)學(xué)模型、如何將其應(yīng)用到實際中是仍然值得思考和探索的。

審核編輯 ：李倩