近兩年以來存儲市場可謂好不熱鬧，SSD帶來的急速已經(jīng)體現(xiàn)在了下至消費電子，上至超算的性能上，然而隨著高性能計算走上了全新的道路，大吞吐量和大容量也已經(jīng)不再是HPC存儲關(guān)注的唯二設(shè)計目標了。

那么當下的HPC存儲遇上了哪些挑戰(zhàn)呢？首先數(shù)據(jù)生成已經(jīng)在被數(shù)據(jù)接入逐漸取代，大數(shù)據(jù)環(huán)境下，IOPS要求的反而是小數(shù)據(jù)的隨機存取。其次，“尋找”到真正所需的數(shù)據(jù)成了最關(guān)鍵的一環(huán)，也對元數(shù)據(jù)在統(tǒng)計、讀取、寫入和刪除上提出了更高的要求。加之近年來涌現(xiàn)的不同文件與數(shù)據(jù)形式，處理起來需要額外的注意，高性能存儲必須具備大型數(shù)據(jù)轉(zhuǎn)移的能力。

新的高性能計算場景

就以目前一些在建的智能城市項目為例，諸多傳感器和執(zhí)行器散落在城市中，激光雷達、攝像頭、微流控傳感器和電機，它們將產(chǎn)生PB級別的原始數(shù)據(jù)，這些數(shù)據(jù)在需要經(jīng)過壓縮、預處理、上傳、深度學習和推理，存儲可以說與邊緣計算和機器學習緊密聯(lián)系在一起。

另一個例子就是我們的自動駕駛，如今的自動駕駛方案都是通過數(shù)據(jù)與高性能計算實現(xiàn)的，像特斯拉這樣的廠商甚至自研自建芯片和超算，用于其自動駕駛技術(shù)的開發(fā)。自動駕駛測試車隊每天都要將PB級的遙測傳感數(shù)據(jù)傳輸給數(shù)據(jù)平臺，隨后經(jīng)過標簽、分類、錯誤檢測和仿真，再放到大型存儲系統(tǒng)中，而這樣的大型存儲平臺不僅大小可能擴展至EB級，還要承受著仿真、再處理與機器學習的繁重負載。

在這些新場景給出的挑戰(zhàn)下，興起了一波新的技術(shù)，比如PCIe 4.0朝PCIe 5.0轉(zhuǎn)變，光模塊從200G朝400G的轉(zhuǎn)變，使用GPU直接存儲等專用協(xié)議等等。這些技術(shù)多數(shù)是對HPC存儲在吞吐量上的提升，而更重要的是對特定工作流效率的優(yōu)化。

HPC系統(tǒng)中存儲的組成

在當下的HPC場景中，無論是本地部署還是云端環(huán)境，都需要一個計算平臺，可能是CPU或是CPU+GPU/加速器的配置，這一節(jié)點可以充分利用3D Xpoint這樣的持久內(nèi)存，不僅可以提供低延遲的內(nèi)存數(shù)據(jù)訪問，在斷電下不丟失數(shù)據(jù)，還可以用上DAOS這樣分布式異步對象存儲的文件系統(tǒng)。

Lustre文件系統(tǒng) / Lustre

接著是存儲平臺，也就是并行文件系統(tǒng)的所在，這個系統(tǒng)可能是基于Lustre、Spectrum或是NVMe-oF的方案。但無論是哪種系統(tǒng)，考慮到需要低成本大容量，通常都會用到NVMe硬盤和HDD硬盤的混合方案，但這就提出了數(shù)據(jù)分布以及數(shù)據(jù)移動上的挑戰(zhàn)。不過現(xiàn)在已經(jīng)有了PCC/LROC這樣的客戶端持久性高速緩存，在存儲或數(shù)據(jù)敏感的環(huán)境中，只需完成計算平臺和存儲平臺相關(guān)的數(shù)據(jù)移動，進一步降低了I/O開銷。

最后是數(shù)據(jù)的管理，這一部分屬于對大量數(shù)據(jù)更加長期的存儲，比如像波音這樣的航空公司，需要對每一架飛機的細致數(shù)據(jù)存儲50年以上，還要具備數(shù)據(jù)追溯的能力。這樣的存儲并不需要擁有高速的性能，但在前端的程序需要時提供即時的交互，而且為了節(jié)能考慮，要做到所謂的“零功耗存儲”。

超算是怎么做的？

隨著不少超算都已經(jīng)在布局百億億級的系統(tǒng)，作為HPC中最頂端的應用，我們自然可以從中窺得一二，看一看當下主流的HPC存儲方案。以計劃于今年打造完成的Frontier超算為例，該超算將成為美國第一臺百億億級別的超算，算力約為1.5 exaFLOPS。

Frontier超級計算機 / AMD

Frontier采取了AMD的全套方案，結(jié)合AMD的EPyc CPU和Radeon Instinct GPU，在AMD的緩存一致性互聯(lián)方案下，CPU上的代碼可以直接訪問GPU內(nèi)存，這也就是我們在上文提到的GPU直接存儲技術(shù)。在存儲系統(tǒng)上，F(xiàn)rontier用到了679PB基于Lustre+ZFS的文件系統(tǒng)方案，用47700塊硬盤實現(xiàn)，最高速率可達5TB/s。高速存儲上，共有5400塊NVMe固態(tài)硬盤組成11PB的存儲空間，提供10TB/s的讀取速度。

Aurora超級計算機 / 英特爾
而Aurora同樣作為今年推出的百億億級超算系統(tǒng)，則選擇了英特爾的方案，單個計算節(jié)點由兩個Xeon Sapphire Rapids、6個Xe Ponte Vecchio GPU和一個通用內(nèi)存架構(gòu)組成。其主要存儲方案也選擇了英特爾的DAOS文件系統(tǒng)，結(jié)合NVMe和傲騰持久內(nèi)存，組成一套大于230PB的系統(tǒng)，并實現(xiàn)25TB/s的速度。

小結(jié)

在HPC存儲上的挑戰(zhàn)除了以上提到的這些外，還有近來興起的存內(nèi)計算激發(fā)的計算能力挑戰(zhàn)，未來5年內(nèi)，無論是存儲結(jié)構(gòu)、文件系統(tǒng)乃至存儲材料都會再度迎來新的變化。這些變化會先一步解決HPC上的難題，再潛移默化地改善日常應用。