節(jié)點非易失性內(nèi)存（NVRAM）是一項改變游戲規(guī)則的技術(shù)，可以消除許多I / O和內(nèi)存瓶頸，并為百億億次存儲提供關(guān)鍵的推動力。

這是歐洲NEXTGenIO項目的科學家和研究人員得出的結(jié)論，該項目是由歐洲委員會的Horizon 2020計劃資助的一項計劃，旨在探索這項新技術(shù)對高性能計算（HPC）的潛在影響。

“當您在計算節(jié)點中放置大量的高性能，字節(jié)可尋址的NVRAM時，一切都會發(fā)生變化，” EPCC高級研究員，愛丁堡大學超級計算中心以及34位軟件架構(gòu)師的艾德里安·杰克遜（Adrian Jackson）說。 NEXTGenIO合作伙伴組織共同開發(fā)的節(jié)點原型平臺，以支持其研究?！坝嬎愎?jié)點既是存儲節(jié)點，又是存儲節(jié)點，您可以擴展I / O帶寬并以不同方式使用I / O。您需要正確的工具來訪問節(jié)點內(nèi)的數(shù)據(jù)，但是您可以根據(jù)應用程序以不同的方式使用數(shù)據(jù)?！?/p>

對于像Tiago Quintino這樣的HPC用戶來說，這是令人興奮的，他在歐洲中型天氣預報中心（ECMWF）處理大量，快速增長的數(shù)據(jù)集。他說：“我們可以做的更多?！?“我們可以在內(nèi)存中擁有更復雜的結(jié)構(gòu)。我們可以在任何地方使用數(shù)據(jù)，而不必在整個工作流程中移動數(shù)據(jù)。隨著我們節(jié)省時間，我們可以運行更復雜的工作流程，進行更多的物理工作，提高模型分辨率。根據(jù)我們的數(shù)據(jù)增長（每兩年增長三倍）來推斷，基于此技術(shù)的I / O系統(tǒng)將使我適應未來的10-15年。它是改變游戲規(guī)則的人。

探索非易失性節(jié)點上的內(nèi)存

除EPCC和ECMWF外，NEXTGenIO的合作伙伴還包括富士通，英特爾，巴塞羅那超級計算中心（BSC），德累斯頓工業(yè)大學，ARM和ARCTUR。他們共同設計的平臺遵循需求驅(qū)動的流程，該流程還規(guī)定了現(xiàn)實的約束條件。它具有一個定制的主板，該主板裝有3 TB的Intel Optane DC永久內(nèi)存（DCPMM），雙第二代Intel Xeon可擴展處理器和192 GB的DRAM。Intel Optane DC內(nèi)存作為駐留在內(nèi)存總線上的標準DIMM托管，并且可以由CPU的集成內(nèi)存控制器控制。節(jié)點還連接到兩個Intel Omni-Path高性能網(wǎng)絡，從而使MPI流量可以通過一個網(wǎng)絡傳播，而存儲通信可以跨另一個網(wǎng)絡傳播。

為該系統(tǒng)開發(fā)的軟件包括一個多節(jié)點，本地和分布式NVRAM文件系統(tǒng)，使舊應用程序可以透明地受益于新的內(nèi)存/存儲層，而無需更改應用程序。分布式文件系統(tǒng)使用應用程序?qū)ο蟠鎯硖峁?shù)據(jù)局部性并減少對并行文件系統(tǒng)（例如Lustre）的依賴。其他系統(tǒng)軟件包括性能分析和調(diào)試工具，以及SLURM計劃程序和工作負載管理器的擴展，用于管理數(shù)據(jù)局部性并將工作的能耗納入工作安置決策中。

富士通在其位于德國奧格斯堡的工廠制造了該系統(tǒng)和主板，該系統(tǒng)于2019年3月下旬在EPCC安裝。在未來三年內(nèi)，NEXTGenIO合作者和精選I / O研究人員將可以使用該系統(tǒng)，這為歐洲提供了主要資源增進對重要的新存儲技術(shù)的理解和使用。

項目成員已開始共享初步結(jié)果，以證明該技術(shù)對各種HPC用例的影響。［1］這是三個例子。

ECMWF的集成預測系統(tǒng)：時間緊迫的工作流中的強大I / O

ECMWF總部位于英國，每天為全球客戶提供五到十五天，每天多次的天氣預報。其綜合預測系統(tǒng)（IFS）將其結(jié)果（每小時約25 TB）寫入ECMWF的分布式字段數(shù)據(jù)庫（FDB）。后續(xù)工作流程涉及數(shù)百個后處理步驟，其中許多步驟是并行進行的，需要快速訪問數(shù)據(jù)輸出。如果中央并行文件系統(tǒng)因其他工作負載而減慢了速度，則預測人員必須限制預測并減慢模型的速度。

使用NEXTGenIO平臺，ECMWF展示了將數(shù)據(jù)輸出到新型內(nèi)存并顯著提高性能的能力。為了將IFS寫入ECMWF的字段數(shù)據(jù)庫，在具有288個Lustre Object的系統(tǒng)上，16個NEXTGenIO節(jié)點提供了60 GiB / s的讀取帶寬和72 GiB / s的寫入帶寬，而持續(xù)讀取吞吐量為22.4 GiB / s，寫入吞吐量為20 GiB / s。存儲服務（OST）節(jié)點，每個節(jié)點具有10個磁盤。它在工作流程中實現(xiàn)了端到端的改進，幅度超過了一個數(shù)量級。ECMWF期望在優(yōu)化FDB代碼時看到進一步的改進。

CASTEP：內(nèi)存需求量大，I / O最少

CASTEP是共享源軟件，使用密度泛函理論從第一原理計算材料特性。它用于多種材料和物質(zhì)，包括DNA以及新奇的外來元素。

許多CASTEP仿真每個MPI進程都需要大量內(nèi)存，超過了典型HPC系統(tǒng)的內(nèi)存容量。這通常迫使用戶減少每個節(jié)點的MPI進程數(shù)量，使CPU不足，并在許多節(jié)點上運行仿真，以使仿真適合DRAM。

EPCC使用CASTEP在NEXTGenIO平臺上運行需要大量內(nèi)存的DNA仿真，從而使僅使用DRAM的單個DNA仿真僅需要在單個節(jié)點上運行就需要20個節(jié)點，盡管速度要慢得多。在四個節(jié)點（表1）上，DCPMM的實現(xiàn)使用的時間減少了五倍，而執(zhí)行速度卻比NEXTGenIO系統(tǒng)上的全DRAM執(zhí)行速度慢了三倍。

實際意義是巨大的，它為HPC站點提供了經(jīng)濟且省電的解決方案，即使對于內(nèi)存需求超出計算需求的工作負載部署全DRAM平臺的替代方案也要慢一些。釋放的節(jié)點可以用于其他作業(yè)，從而優(yōu)化整體吞吐量并增加成本優(yōu)勢。

OpenFOAM：具有大量小文件的繁重I / O

OpenFOAM是一個開源3D計算流體動力學軟件包，實際上是從網(wǎng)格創(chuàng)建到后處理的復雜任務工作流中使用的應用程序的集合。

這里的挑戰(zhàn)不僅是數(shù)據(jù)的總量，而且是每個時間步寫入的大量小文件。為了探討這個問題，EPCC模擬了小型電動飛機周圍的氣流。在1000個時間步中，OpenFOAM被配置為每五個時間步寫入其結(jié)果。在16個節(jié)點上運行448個進程，中期結(jié)果達到806，400個文件和1.2 TB的數(shù)據(jù)。性能分析表明，在傳統(tǒng)的實現(xiàn)中，I / O消耗了50％的執(zhí)行時間，從而嚴重限制了可伸縮性。

EPCC使用系統(tǒng)軟件將節(jié)點本地文件系統(tǒng)有效地安裝在計算節(jié)點的Intel Optane DC內(nèi)存上。使用DCPMM作為存儲，并使系統(tǒng)軟件根據(jù)需要將數(shù)據(jù)移入或移出節(jié)點，然后將臨時結(jié)果寫入本地節(jié)點。這將整體運行時間減少了多達50％，并且優(yōu)勢隨著規(guī)模的增加而增加。這些節(jié)省的運行時間為您提供了進行更多計算和探索更多解決方案的機會。

早期采用者的見解

NEXTGenIO合作者為HPC用戶和技術(shù)創(chuàng)新者提供了以下建議。

換個角度思考。Quintino說：“不要像判斷Lustre這樣的并行文件系統(tǒng)那樣來判斷這項技術(shù)。” “盧斯特（Lustre）就像一輛卡車，它在緩慢移動大量數(shù)據(jù)。給定大量卡車，您可以移動大量數(shù)據(jù)并具有大量吞吐量。這是一級方程式賽車，是I / O系統(tǒng)的巔峰之作。它可以是分層系統(tǒng)中的第一層，也可以是突發(fā)緩沖區(qū)，但是我們應該進一步考慮。它打開了我們從未想過的工作流程。”

保持好奇心。考慮一下哪些用例與您的工作負載和數(shù)據(jù)中心挑戰(zhàn)有關(guān)。“在ECMWF，DCPMM是存儲層次結(jié)構(gòu)的一部分，” Jackson說?！捌渌麘贸绦蚩梢詫⑵溆米魑募鎯?，也可以用作使用內(nèi)存執(zhí)行常規(guī)并行I / O的多節(jié)點文件系統(tǒng)。有些人正在使用它來創(chuàng)建更大的內(nèi)存空間，因此他們可以將問題放在單個節(jié)點上，而不是20或30個節(jié)點上。利用DCPMM需要對應用程序進行認真的思考和設計，但是好處可能很大?！?/p>

愿意做一些工作。Quintino將Intel Optane DC永久內(nèi)存與GPU進行了比較，后者需要進行一些代碼修改才能完全受益。盡管可以直接使用DCPMM，而無需修改代碼，但是許多應用程序?qū)娘@式控制內(nèi)存中受益。英特爾提供工具和庫，以方便使用內(nèi)存的全部功能集。

一種做更多科學的方法

NEXTGenIO平臺將供研究目標與NEXTGenIO項目的研究目標兼容的HPC用戶使用。富士通為某些PRIMERGY和PRIMEQUEST型號提供了新的存儲類別，其技術(shù)團隊在與客戶協(xié)商時正在運用其NEXTGenIO知識。

EPCC資深研究員兼NEXTGenIO項目經(jīng)理MichèleWeiland表示，英特爾Optane DC永久內(nèi)存和NEXTGenIO合作伙伴添加的創(chuàng)新標志著HPC領(lǐng)域的可喜變化。她說：“ ？？DCPMM代表了內(nèi)存，I / O和存儲系統(tǒng)在未來幾年內(nèi)將如何發(fā)展的格局變化?！?“它可能表明我們目前看不到的問題還有解決的辦法。對于在當前的傳統(tǒng)HPC系統(tǒng)中苦苦掙扎，沒有足夠的內(nèi)存或足夠快的存儲空間或受可寫數(shù)據(jù)量限制的人來說，這種方法可能會為他們提供一種改善方法，并做更多的事情科學?！?/p>