斯坦福大學(xué)研究人員正在通過(guò)一項(xiàng)新研究和一個(gè)新 AI 模型簡(jiǎn)化癌癥診斷、治療規(guī)劃和預(yù)后預(yù)測(cè)。這項(xiàng)名為“多模態(tài)統(tǒng)一掩碼建模 Transformer”（MUSK）的研究旨在推進(jìn)精準(zhǔn)腫瘤學(xué)的發(fā)展，以便根據(jù)每位患者特有的醫(yī)療數(shù)據(jù)為其量身定制治療方案。

該研究的資深學(xué)者、放射腫瘤學(xué)副教授李瑞江表示：“多模態(tài)基礎(chǔ)模型是醫(yī)學(xué) AI 研究的一個(gè)新領(lǐng)域。最近已經(jīng)出現(xiàn)了一些醫(yī)學(xué)領(lǐng)域的視覺(jué)語(yǔ)言基礎(chǔ)模型，尤其是病理學(xué)領(lǐng)域，但當(dāng)前研究使用的仍是現(xiàn)有的基礎(chǔ)模型，這些模型需要使用配對(duì)圖像-文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。盡管在付出巨大的努力后，已整理出 100 萬(wàn)對(duì)病理圖像-文本，但仍不足以完全覆蓋整個(gè)疾病譜的多樣性。”

腫瘤學(xué)家在考慮患者病情和規(guī)劃最佳治療方案時(shí)需要參考許多數(shù)據(jù)來(lái)源。但整合和解釋復(fù)雜的醫(yī)療數(shù)據(jù)對(duì)于醫(yī)生和 AI 模型來(lái)說(shuō)仍然十分困難。最近發(fā)表在《自然》上的這項(xiàng)研究解釋了 MUSK 如何幫助醫(yī)生做出更加準(zhǔn)確、明智的決定并解決醫(yī)療 AI 領(lǐng)域這一長(zhǎng)期存在的難題。

通過(guò)使用深度學(xué)習(xí)，MUSK 可以處理臨床文本數(shù)據(jù)（例如醫(yī)生筆記）和病理圖像（例如組織學(xué)切片），識(shí)別醫(yī)生可能無(wú)法立刻察覺(jué)的模式，從而獲得更好的臨床洞察。

為此，MUSK 使用了一個(gè)兩階段多模態(tài) Transformer 模型。該模型首先學(xué)習(xí)大量未配對(duì)的數(shù)據(jù)，從文本和圖像中提取有用的特征，然后通過(guò)連接成對(duì)的圖像和文本數(shù)據(jù)調(diào)整對(duì)數(shù)據(jù)的理解。這有助于它識(shí)別不同類型的癌癥、預(yù)測(cè)生物標(biāo)志物并提出有效的治療方案。

研究人員在該領(lǐng)域最大的數(shù)據(jù)集之一上對(duì)該 AI 模型進(jìn)行了預(yù)訓(xùn)練，共使用了來(lái)自 11577 名患者的 5000 萬(wàn)張病理圖像，涉及 33 種腫瘤類型和 10 億病理相關(guān)文本數(shù)據(jù)。

據(jù)該研究的第一作者、放射物理學(xué)博士后 Jinxi Xiang 介紹，此次預(yù)訓(xùn)練歷時(shí) 10 天，使用了 8 個(gè)節(jié)點(diǎn)共計(jì) 64 顆 NVIDIA V100 Tensor Core GPU 幫助 MUSK 高效處理海量病理圖像和臨床文本。二次預(yù)訓(xùn)練階段和消融研究使用了 NVIDIA 80 gb Tensor Core GPU。研究人員還使用 NVIDIA RTX GPU 評(píng)估下游任務(wù)，并使用NVIDIA CUDA和NVIDIA cuDNN庫(kù)加速整個(gè)框架以提高性能。

在 23 項(xiàng)病理學(xué)基準(zhǔn)測(cè)試中，MUSK 在幾個(gè)關(guān)鍵領(lǐng)域的表現(xiàn)優(yōu)于現(xiàn)有的 AI 模型。該模型擅長(zhǎng)將病理圖像與相關(guān)醫(yī)學(xué)文本進(jìn)行匹配，從而更有效地收集相關(guān)患者信息。它還能解釋病理學(xué)相關(guān)問(wèn)題，例如識(shí)別癌變區(qū)域或預(yù)測(cè)生物標(biāo)志物的存在，準(zhǔn)確率達(dá)到 73%。

圖 1 MUSK 可以執(zhí)行的視覺(jué)問(wèn)題解答示例

MUSK 可將乳腺癌、肺癌和結(jié)直腸癌等癌癥亞型的檢測(cè)和分類的準(zhǔn)確率提高 10%，為早期診斷和治療規(guī)劃提供了幫助。它還能檢測(cè)出乳腺癌生物標(biāo)記物，AUC（一項(xiàng)衡量模型準(zhǔn)確性的指標(biāo)）為 83%。

此外，MUSK 預(yù)測(cè)癌癥生存結(jié)果的準(zhǔn)確率為 75%，預(yù)測(cè)肺癌和胃食管癌對(duì)免疫療法反應(yīng)的準(zhǔn)確率為 77%，準(zhǔn)確率明顯高于通過(guò)標(biāo)準(zhǔn)臨床生物標(biāo)志物進(jìn)行預(yù)測(cè)，該預(yù)測(cè)的準(zhǔn)確率僅為60-65%。

李瑞江表示：“整合了多模態(tài)數(shù)據(jù)的 AI 模型明顯優(yōu)于那些僅基于圖像或文本數(shù)據(jù)的模型，這凸顯了多模態(tài)方法的強(qiáng)大威力。MUSK 的真正價(jià)值在于它能夠利用大規(guī)模的非配對(duì)圖像和文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，相比當(dāng)前需要配對(duì)數(shù)據(jù)的模型有了明顯的提升?！?/p>

這項(xiàng)研究的核心優(yōu)勢(shì)在于只需少量訓(xùn)練就能適應(yīng)不同的臨床環(huán)境。這可以提高腫瘤學(xué)工作流的效率，幫助醫(yī)生更快地診斷癌癥，同時(shí)為患者量身定制療效更好的治療方案。

該研究組之后的工作重點(diǎn)是在不同機(jī)構(gòu)、不同人群的患者隊(duì)列以及治療決策等高風(fēng)險(xiǎn)用途中驗(yàn)證該模型。研究人員表示要獲得監(jiān)管部門的批準(zhǔn)，還需要在臨床試驗(yàn)中進(jìn)行預(yù)期驗(yàn)證。

李瑞江表示：“我們還在努力將數(shù)字病理學(xué)的 MUSK 方法擴(kuò)展到其他類型的數(shù)據(jù)，例如放射學(xué)圖像和基因組數(shù)據(jù)等?！?/p>

現(xiàn)在可在 GitHub 上獲得該研究組的研究成果，包括安裝說(shuō)明、模型權(quán)重、評(píng)估代碼和樣本數(shù)據(jù)：

https://github.com/lilab-stanford/ MUSK