InstaDeep、慕尼黑工業(yè)大學(xué)（TUM）和 NVIDIA 之間的合作推動(dòng)了面向基因組學(xué)的多超級(jí)計(jì)算規(guī)模的基礎(chǔ)模型開(kāi)發(fā)進(jìn)程。這些模型在大量預(yù)測(cè)任務(wù)（例如啟動(dòng)子和增強(qiáng)子位點(diǎn)預(yù)測(cè)）中展示了最先進(jìn)的性能。

這一聯(lián)合團(tuán)隊(duì)的研究指出，經(jīng)過(guò)基因組學(xué)訓(xùn)練的大型語(yǔ)言模型（LLM）可將應(yīng)用擴(kuò)展到大量基因組學(xué)任務(wù)。

該團(tuán)隊(duì)使用 NVIDIA 的超級(jí)計(jì)算機(jī) Cambridge-1 來(lái)訓(xùn)練參數(shù)規(guī)模從 500M 到 2.5B 不等的各種大型語(yǔ)言模型（LLM）。這些模型在各種基因組數(shù)據(jù)集上進(jìn)行了訓(xùn)練，以探索模型規(guī)模和數(shù)據(jù)多樣性對(duì)下游任務(wù)性能的影響。

分類任務(wù)包括預(yù)測(cè)增強(qiáng)子和啟動(dòng)子序列以及轉(zhuǎn)錄因子結(jié)合位點(diǎn)。這些任務(wù)有助于了解 DNA 如何轉(zhuǎn)錄生成 RNA 和蛋白質(zhì)，從而開(kāi)啟新的臨床應(yīng)用。

研究中明確了 20 項(xiàng)任務(wù)。對(duì)于每一項(xiàng)任務(wù)，性能都隨著模型規(guī)模和數(shù)據(jù)集多樣性的增加而單調(diào)遞增。參照專門的最新模型基線，在多物種數(shù)據(jù)集上訓(xùn)練的具有最大參數(shù)規(guī)模（2.5B 參數(shù)）的大型語(yǔ)言模型在 19 項(xiàng)任務(wù)中的 15 項(xiàng)中取得了同等或更高的性能。

這些結(jié)果是通過(guò)利用參數(shù)輕量化微調(diào)實(shí)現(xiàn)的。然而，即使依靠從 Transformer 模型各層提取的預(yù)訓(xùn)練嵌入以及簡(jiǎn)單的淺層感知器（MLP）或邏輯回歸，也足以在 11 個(gè)任務(wù)中實(shí)現(xiàn)同等乃至更高的性能。

在每個(gè)模型檢查點(diǎn)和每個(gè)任務(wù)的所有層上應(yīng)用這種探測(cè)策略，訓(xùn)練出了 120 萬(wàn)個(gè) MLP 模型。該研究對(duì)大型語(yǔ)言模型的訓(xùn)練和使用等各方面進(jìn)行了詳細(xì)分析，例如不同層對(duì)下游任務(wù)性能的影響。

在固定模型規(guī)模下直接比較序列多樣性，顯示出具有重要意義的性能提升，增加模型規(guī)模也是如此。例如，對(duì)于一個(gè) 500M 參數(shù)模型，僅在人類參考基因組上訓(xùn)練的性能不如在 1000 基因組數(shù)據(jù)集上訓(xùn)練的性能。

同樣，在 1000 基因組數(shù)據(jù)集上訓(xùn)練的 2.5B 參數(shù)模型的性能優(yōu)于任何 500M 參數(shù)模型。而對(duì)于相同的模型，性能會(huì)遜于在自定義多物種數(shù)據(jù)集上訓(xùn)練的結(jié)果，即使下游性能是在僅涉及人類基因組的任務(wù)上測(cè)量的。

研究人員觀察到，并非所有嵌入都是平等創(chuàng)建的。雖然通常的做法建議使用大型語(yǔ)言模型的最后一層進(jìn)行下游預(yù)測(cè)。但耐人尋味的是，中間層產(chǎn)生的表征在下游任務(wù)中顯示出明顯更高的性能。研究人員發(fā)現(xiàn)，最佳層的選擇取決于任務(wù)，表明不同類型的 DNA 特征被不同層的模型所捕獲。

InstaDeep 首席執(zhí)行官 Karim Beguir 表示：“我們相信這些結(jié)果首次清楚地證明了基因組學(xué)基礎(chǔ)模型的可行性，這些模型能夠真正地推廣到多項(xiàng)任務(wù)中。這些結(jié)果從很多方面反映出了過(guò)去幾年內(nèi)適應(yīng)性基礎(chǔ)模型在自然語(yǔ)言處理方面的發(fā)展進(jìn)程。如今，其應(yīng)用于藥物研發(fā)和人類健康等如此具有挑戰(zhàn)性的問(wèn)題，著實(shí)令人難以置信的興奮?！?/p>

NVIDIA 的 Cambridge-1 對(duì)該項(xiàng)目的成功至關(guān)重要。該項(xiàng)目需要高性能計(jì)算基礎(chǔ)設(shè)施來(lái)訓(xùn)練具有捕獲基因組中遠(yuǎn)程相互作用所需感受域的大型模型。

研究人員嘗試了多種方法、數(shù)據(jù)集大小、模型規(guī)模和分詞器方案，最終使用在 16 個(gè) NVIDIA DGX A100 節(jié)點(diǎn)（128 個(gè) A100 80GB GPU）上訓(xùn)練的 2.5B 參數(shù)稀疏注意力模型，在多任務(wù)上實(shí)現(xiàn)了迄今公開(kāi)發(fā)表的最佳性能。

在未來(lái)的研究工作中，該團(tuán)隊(duì)計(jì)劃通過(guò)直接微調(diào)模型，探索進(jìn)一步的下游任務(wù)性能改進(jìn)，并將繼續(xù)在應(yīng)用于基因組學(xué)的大型語(yǔ)言模型的架構(gòu)創(chuàng)新方面展開(kāi)合作。InstaDeep 是首批使用 Cambridge-1 的 NVIDIA 初創(chuàng)加速計(jì)劃成員之一。

掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC 23，切莫錯(cuò)過(guò)這場(chǎng) AI 和元宇宙時(shí)代的技術(shù)大會(huì)！