對于很多有高性能計算需求的用戶來說，通常比較關(guān)注的是計算的硬件配置是否是最新的，因為這往往關(guān)系到計算效率。但性能計算與任何一項技術(shù)一樣，都需要分步驟完成，除了計算速度，在高性能完成一項計算任務(wù)后，所用到的存儲空間最終了決定這項任務(wù)是否能夠成功執(zhí)行。北鯤云計算就帶你一起來了解一下存儲的重要性。

隨著異構(gòu)計算越來越多的應(yīng)用，包括傳統(tǒng)高性能計算和新興的云計算都開始大規(guī)模的采用異構(gòu)計算方式，包括GPU、FPGA、ARM等諸多架構(gòu)芯片的出現(xiàn)，讓整個計算市場呈現(xiàn)出“百花齊放”的情形。

網(wǎng)絡(luò)層面上，北鯤云注意到，從每年兩屆的超算TOP500榜單的數(shù)據(jù)來看，100G網(wǎng)絡(luò)是以太網(wǎng)的“標配”；而在注重傳輸效率和低延遲的InfiniBand網(wǎng)絡(luò)中，200G的HDR標準則成為主流。從這個角度來說，高性能計算的發(fā)展可謂是突飛猛進，從計算到網(wǎng)絡(luò)的變化使得數(shù)據(jù)的處理和傳輸越發(fā)效率，在這樣飛速發(fā)展的狀態(tài)下，存儲空間就成為高性能計算發(fā)展中另一個不可忽視的重要環(huán)節(jié)。

存儲對于高性能計算有多重要？

以往在談到高性能計算的時候，我們更在意計算的速度，因為那時候計算能力還有較大的提升空間；而如今，異構(gòu)計算的出現(xiàn)讓計算效率呈指數(shù)級提升，而高速網(wǎng)絡(luò)也讓這些計算成果讓數(shù)據(jù)本身能夠發(fā)揮更大的價值，在高性能計算主體升級后，作為高性能計算重要組成部分的存儲環(huán)節(jié)，如果沒有隨之升級，就會成為制約高性能計算發(fā)展瓶頸。

從上個世紀90年代提出的生物基因工程測序到最近大火出圈的AlphaFold2模型，無一不說明高性能計算在生命科學領(lǐng)域的成功應(yīng)用。無論是計算過程中出現(xiàn)的臨時數(shù)據(jù)，還是計算完成后的結(jié)果輸出，都是相當龐大的數(shù)據(jù)。因此，如果存儲不足，也就意味著計算不得不中斷，當然，如果沒有足夠的存儲空間，計算結(jié)果數(shù)據(jù)同樣不能順利地發(fā)揮其價值。

以國內(nèi)著名的基因公司——華大基因為例，這個為全球基因發(fā)展提供重大貢獻的公司擁有數(shù)百臺測序儀，由此每月產(chǎn)生的數(shù)據(jù)高達300TB-1PB。如此一來，僅僅是存儲這些數(shù)據(jù)就是一個讓人頭疼的問題，更何況還需要對數(shù)據(jù)進行后續(xù)的分析和利用。這其中動用的存儲資源可謂是“天文數(shù)字”。此時，北鯤云超算平臺能夠為用戶提供PB級別存儲空間的優(yōu)勢就凸顯出來了。

縱觀當下的存儲市場，多種存儲協(xié)議的并存一直是困擾行業(yè)升級與迭代的難題。除了多協(xié)議共存之外，多協(xié)議互通也同樣是整個行業(yè)關(guān)心的問題。比如NAS就是常見的多協(xié)議互通的典型。而北鯤云采用的就是NAS轉(zhuǎn)存。

容量: 10PB HDD + 1PB SSD

并行文件系統(tǒng)：帶寬20GB/s, IOPS: 280 萬，時延：0.2ms?

單作業(yè)臨時高速存儲(按需)：Enhanced SSD, 容量500G – 500TB, 單盤 4GB/s吞吐, RDMA over RoCE, 25Gbps網(wǎng)絡(luò)

對于普通用戶而言，這樣的存儲空間是足夠的，而且是免費開放的。

對于傳統(tǒng)高性能計算應(yīng)用來說，無論是生物基因、高能物理還是流體力學、視頻處理等等多種科研應(yīng)用都會利用到海量數(shù)據(jù)，而提升數(shù)據(jù)的存儲空間和利用率就能夠更好的提升高性能計算的發(fā)展。

責任編輯:tzh