支持AI人工智能和ML機(jī)器學(xué)習(xí)部署的數(shù)據(jù)中心依靠基于圖形處理單元（GPU）的服務(wù)器為其計(jì)算密集型架構(gòu)提供支持。到2024年，在多個(gè)行業(yè)中，GPU使用量的增長將使GPU服務(wù)器的復(fù)合年增長率超過31%。這意味著將有更多的系統(tǒng)架構(gòu)師承擔(dān)承擔(dān)相應(yīng)的職責(zé)，以確保GPU系統(tǒng)具有最高的性能和成本效益。

然而，為這些基于GPU的AI / ML工作負(fù)載優(yōu)化存儲(chǔ)并非易事。存儲(chǔ)系統(tǒng)必須高速處理海量數(shù)據(jù)，與此同時(shí)需要注意以下兩個(gè)挑戰(zhàn)：

1）服務(wù)器利用率。GPU服務(wù)器對于訓(xùn)練大型AI / ML數(shù)據(jù)集所需的矩陣乘法和卷積非常高效。但是，GPU服務(wù)器的成本是典型CPU服務(wù)器的3倍。為了保持ROI，IT員工需要讓GPU使用率足夠飽和。但不幸的是，很多部署經(jīng)驗(yàn)表明GPU僅有30%的使用率。

2）GPU存儲(chǔ)瓶頸。ML訓(xùn)練數(shù)據(jù)集通常遠(yuǎn)遠(yuǎn)超過GPU的本地RAM容量，從而產(chǎn)生了一個(gè)I / O瓶頸，分析人員將其稱為GPU存儲(chǔ)瓶頸。AI和ML系統(tǒng)最終要等待訪問存儲(chǔ)資源，這是因?yàn)樗鼈凖嫶蟮臄?shù)據(jù)阻礙了及時(shí)訪問，從而影響了性能。

為了解決這個(gè)問題，NVMe閃存固態(tài)硬盤逐漸取代了標(biāo)準(zhǔn)閃存固態(tài)硬盤，成為Al / ML存儲(chǔ)的首選。NVMe支持大規(guī)模的IO并行性，性能約為同類SATA SSD的6倍，并且延遲降低了10倍，并且具有更高的電源效率。正如GPU推動(dòng)了高性能計(jì)算的發(fā)展一樣，NVMe閃存在降低延遲的同時(shí)，實(shí)現(xiàn)了更高的存儲(chǔ)性能、帶寬和吞吐量。NVMe閃存解決方案可以使AI和ML數(shù)據(jù)集加載到應(yīng)用程序的速度更快，并且可以避免GPU匱乏。

此外，NVMe Over Fabrics可以虛擬化整個(gè)高速網(wǎng)絡(luò)上的Nvme資源，通過NVMeoF技術(shù)可以更好的適用于AI和ML的存儲(chǔ)架構(gòu)。NVMeoF使GPU可以直接訪問NVMe的彈性池，因此可以使用本地閃存性能來訪問所有資源。它使AI數(shù)據(jù)科學(xué)家和HPC研究人員可以向應(yīng)用程序提供更多數(shù)據(jù)，以便他們更快地獲得更好的結(jié)果。

要獲得最佳的GPU存儲(chǔ)性能，就需要根據(jù)業(yè)務(wù)目標(biāo)對基礎(chǔ)架構(gòu)進(jìn)行微調(diào)。這里有四種方法可供考慮。

1.有效擴(kuò)展GPU存儲(chǔ)容量

例如，某存儲(chǔ)公司為不需要運(yùn)行自己的AI堆棧的組織提供了AI即服務(wù)解決方案。因此，這家公司需要最大的ROI和可擴(kuò)展性。特別是對多租戶的需求，這意味著為滿足各種工作負(fù)載和客戶端的性能要求，基礎(chǔ)架構(gòu)必須隨時(shí)準(zhǔn)備就緒。

該基礎(chǔ)架構(gòu)團(tuán)隊(duì)在部署其第一個(gè)GPU服務(wù)器系統(tǒng)的早期就了解到，本地GPU服務(wù)器的存儲(chǔ)容量將太有限，只有4TB的本地存儲(chǔ)，而客戶的工作量則需要10到100 TB的數(shù)據(jù)。該團(tuán)隊(duì)研究了外部存儲(chǔ)選項(xiàng)，并注意到，使用傳統(tǒng)陣列它們將獲得更多的容量，但性能最終會(huì)阻礙AI工作負(fù)載，因?yàn)閼?yīng)用程序需要將數(shù)據(jù)移入和移出GPU系統(tǒng)，從而中斷工作流程并影響系統(tǒng)效率。

最終這家公司通過使用軟件定義存儲(chǔ)在快速的RDMA網(wǎng)絡(luò)上合并NVMe閃存（一種將數(shù)據(jù)集加載速度提高10倍的方法），最終可以實(shí)現(xiàn)更高的GPU容量利用率，消除了GPU瓶頸并提高了ROI，因此現(xiàn)有的GPU變得更加充分利用。（注：參考lnstaDeep）

2.大規(guī)模調(diào)整性能

AI部署的快速增長和ML訓(xùn)練數(shù)據(jù)集的大小增加了計(jì)算基礎(chǔ)架構(gòu)的負(fù)擔(dān)，STFC（The Science and Technology Facilities Council ）則是這種典型的代表。盡管STFC已添加了高端GPU服務(wù)器以提供更高的計(jì)算支持，但STFC缺乏在數(shù)百個(gè)Researchers 中擴(kuò)展資源所需的企業(yè)級存儲(chǔ)功能。

通過在具有RDMA功能的高速網(wǎng)絡(luò)（例如Infiniband或融合以太網(wǎng)（RoCE）v2上的RDMA）上實(shí)現(xiàn)NVMe-over-Fabrics協(xié)議，大型AI / ML用戶組（例如STFC）可以虛擬化NVMe SSD在各種服務(wù)器上未使用的存儲(chǔ)資源池，因此它們的性能就像在本地一樣。通過這樣做，可以在一個(gè)小時(shí)內(nèi)完成機(jī)器學(xué)習(xí)培訓(xùn)任務(wù)，而以前則需要三到四天。即使具有復(fù)雜的模型訓(xùn)練任務(wù)，GPU存儲(chǔ)也不再是瓶頸。

3.在并行文件系統(tǒng)下使用NVMe池化存儲(chǔ)

當(dāng)AI和ML應(yīng)用程序涉及從許多GPU服務(wù)器訪問大量小文件時(shí)，作為存儲(chǔ)基礎(chǔ)架構(gòu)就必須部署并行分布式文件系統(tǒng)。并行文件系統(tǒng)還使存儲(chǔ)更容易實(shí)現(xiàn)大多數(shù)AI / ML使用所需的高吞吐量和低延遲。在并行文件系統(tǒng)下具有快速、靈活的池化NVMe存儲(chǔ)，可以改善對元數(shù)據(jù)的處理，從而實(shí)現(xiàn)更高的讀取性能和更低的延遲，從而提高GPU服務(wù)器的利用率。

例如，一家超大型技術(shù)提供商最近推出了一種AI解決方案，用于預(yù)估保險(xiǎn)公司使用的車輛碰撞場景。為了開發(fā)應(yīng)用程序背后的AI邏輯，應(yīng)用程序工作流涉及培訓(xùn)模型，方法是攝取多達(dá)2000萬個(gè)小文件數(shù)據(jù)集，其中每個(gè)文件大小在150-700 KB之間。數(shù)據(jù)提取通常每8小時(shí)以100萬個(gè)文件的速度或者每個(gè)客戶端每秒最多35，000個(gè)文件進(jìn)行。

通過在并行分布式文件系統(tǒng)下使用池化NVMe存儲(chǔ)方法，該技術(shù)提供商消除了它遇到的存儲(chǔ)瓶頸，并將存儲(chǔ)性能提高了3-4倍。

4.檢查特定于GPU的“高速公路”

新的數(shù)據(jù)中心架構(gòu)正在以統(tǒng)一的方式提高服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)的性能。一種類似的方法于2019年秋季首次亮相，它將來自多個(gè)供應(yīng)商的基礎(chǔ)架構(gòu)元素與GPU優(yōu)化的網(wǎng)絡(luò)和存儲(chǔ)進(jìn)行集成，以在GPU內(nèi)存和存儲(chǔ)之間打開直接的數(shù)據(jù)通道，從而完全繞開CPU。這使數(shù)據(jù)能夠在GPU、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備提供的“開放高速公路”上進(jìn)行傳輸，從而實(shí)現(xiàn)了對NVMe企業(yè)級卓越性能的無障礙訪問。

總結(jié)

AI和ML的創(chuàng)新步伐迅捷，這意味著當(dāng)今的部署依賴及關(guān)鍵技術(shù)在一年前可能是不存在的，在明年也可能被新技術(shù)取代?，F(xiàn)在精通微調(diào)GPU存儲(chǔ)性能的IT團(tuán)隊(duì)已經(jīng)意識(shí)到它們之前的許多新選擇，可以實(shí)現(xiàn)最佳的系統(tǒng)利用率和ROI，從而為其組織帶來競爭優(yōu)勢。

責(zé)任編輯：ct