人工智能在機器學習和深度學習中的“復活”導致相關(guān)研究和產(chǎn)品開發(fā)的爆炸式增長，因為企業(yè)發(fā)現(xiàn)了創(chuàng)新性方法來將這些新算法用于流程自動化和預測性見解。從機器學習和深度學習模型（后者通常涉及模擬大腦的神經(jīng)結(jié)構(gòu)和連通性）的性質(zhì)來看，它們通常需要獲取、準備、移動和處理海量數(shù)據(jù)集。?

特別是，深度學習模型需要大量數(shù)據(jù)集。人工智能（特別是深度學習）的數(shù)據(jù)存儲給企業(yè)帶來獨特的挑戰(zhàn)。下面我們將簡要探討機器學習和深度學習軟件的性質(zhì)，而這將揭示存儲系統(tǒng)對于這些算法的重要性，以確保它們提供及時準確的結(jié)果。
?

為什么AI和深度學習存儲很重要?

很多研究人員已經(jīng)證明，深度學習模型的準確性會隨著數(shù)據(jù)集的增加而提高。這種準確性的提高非常重要，以至于研究人員經(jīng)常會使用復雜的數(shù)據(jù)增強技術(shù)來綜合地生成額外數(shù)據(jù)用于訓練模型。

例如，ImageNet項目的數(shù)據(jù)集包含超過1400萬張具有一百萬個注釋的圖像，這些數(shù)據(jù)集被用于對各種深度學習圖像分類算法進行基準測試。同時，對圖像分類硬件進行基準測試的ResNet-50模型通常會超過100 MB。理想情況下，這些模型保存在內(nèi)存中，它們需要源源不斷的數(shù)據(jù)，而這通常會導致存儲系統(tǒng)成為整體性能的瓶頸。?

無論使用什么模型和應用程序，深度學習都包括兩個步驟：模型訓練和數(shù)據(jù)推理。模型訓練是指，通過利用訓練數(shù)據(jù)集，基于重復（通常是遞歸）計算以計算和優(yōu)化模型參數(shù)的過程。數(shù)據(jù)推斷是指利用已經(jīng)過訓練的模型對新傳入數(shù)據(jù)進行分類和預測。?

對于為AI和深度學習提供存儲的系統(tǒng)而言，每個步驟都會以不同方式帶來壓力。對于模型訓練，壓力源于大數(shù)據(jù)集以及快速I/O—以提供可接受性能，這里的計算涉及分布式集群。而對于推理，壓力來自必須以最小延遲實時處理數(shù)據(jù)。

深度學習的存儲性能需求

深度學習算法的性質(zhì)意味著它們會使用大量矩陣數(shù)學，這使它們非常適合GPU上的執(zhí)行，GPU最初設計用于對像素數(shù)據(jù)進行數(shù)千個同步浮點計算。與計算機圖形不同，神經(jīng)網(wǎng)絡和其他深度學習模型不需要高精度浮點結(jié)果，并且新一代AI優(yōu)化的GPU和CPU（支持低精度8位和16位矩陣計算）使這些模型進一步加速，這種優(yōu)化會使將存儲系統(tǒng)變成更大的性能瓶頸。

深度學習模型和數(shù)據(jù)源的多樣性，以及深度學習服務器通常采用的分布式計算設計，意味著旨在為AI提供存儲的系統(tǒng)必須解決以下問題：

1.各種數(shù)據(jù)格式，包括二進制大型對象（BLOB）數(shù)據(jù)、圖像、視頻、音頻、文本和結(jié)構(gòu)化數(shù)據(jù)，它們具有不同的格式和I / O特性。?

2.橫向擴展系統(tǒng)架構(gòu)，其中工作負載分布在多個系統(tǒng)中，通常有4到16個用于訓練，可能有數(shù)百個或數(shù)千個用于推理。?

3.帶寬和吞吐量，可以快速向計算硬件提供大量數(shù)據(jù)。?

4.OPS，無論數(shù)據(jù)特性如何，IOPS都能維持高吞吐量；這就是說，適用于很多小型傳輸和較少的大量傳輸。?

5.延遲性，以最小延遲提供數(shù)據(jù)，因為與虛擬內(nèi)存分頁一樣，當GPU等待新數(shù)據(jù)時，訓練算法的性能會顯著降低。

深度學習存儲系統(tǒng)設計必須可跨各種數(shù)據(jù)類型和深度學習模型提供均衡的性能。根據(jù)Nvidia工程師的說法，在各種負載條件下驗證存儲系統(tǒng)性能至關(guān)重要。他寫道：

“工作負載的復雜性加上深度學習訓練所需的數(shù)據(jù)量，帶來一個具有挑戰(zhàn)性的性能環(huán)境….考慮到這些環(huán)境的復雜性，重要的是，在投入生產(chǎn)之前應收集基準性能數(shù)據(jù)，驗證核心系統(tǒng)（硬件組件和操作系統(tǒng)）在合成負載下可提供預期的性能。”

深度學習存儲系統(tǒng)的核心功能

上述性能因素已推動AI存儲系統(tǒng)供應商部署五個核心功能，包括：

1.并行的橫向擴展系統(tǒng)設計，可逐步擴展且I / O性能隨容量擴展。這種設計的標志是分布式存儲架構(gòu)或文件系統(tǒng)，這些系統(tǒng)將邏輯組件（例如對象和文件）從物理設備分離。

2.可編程的軟件定義控制平面，這是實現(xiàn)橫向擴展設計以及自動化大多數(shù)管理任務的關(guān)鍵。

3.企業(yè)級可靠性、耐用性、冗余和存儲服務。

4.對于深度學習訓練系統(tǒng)，緊密耦合的計算存儲系統(tǒng)架構(gòu)，具有無阻塞網(wǎng)絡設計可連接服務器和存儲，以及最低鏈路速度為10 Gb至25 Gb以太網(wǎng)或EDR（25 Gbps）InfiniBand。

5.SSD設備越來越多地使用更快的NVMe設備，可提供比SATA更高的吞吐量和IOPS。

DAS系統(tǒng)通常使用NVMe-over-PCIe設備

NAS設計通常使用10 Gb或更快的以太網(wǎng)，使用NVMe over fabric、Infiniband或交換PCIe架構(gòu)。

量身定制的存儲產(chǎn)品

AI現(xiàn)在是一項熱門技術(shù)，供應商們都紛紛快速向市場推出新產(chǎn)品和更新產(chǎn)品，以滿足AI工作負載的需求。鑒于這種市場活力，我們不會試圖提供AI存儲產(chǎn)品的綜合目錄，但以下是一些示例：

Dell EMC Ready Solutions for AI ，具有機架規(guī)模捆綁包，其中封裝有服務器、存儲，邊緣交換機和管理節(jié)點。該存儲使用具有40 GbE網(wǎng)絡鏈路的Isilon H600或F800全閃存擴展NAS。

DDN A3I?使用AI200或AI400 NVMe全閃存陣列（AFA），分別具有360 TB容量和750K和1.5M IOPS，以及4或8個100 GbE或EDR InfiniBand接口，或DDN AI7990混合存儲設備-具有5.4 PB容量、750K IOPS和4個100 GbE或EDR InfiniBand接口。DDN的產(chǎn)品還有捆綁Nvidia DGX-1 GPU加速服務器和Hewlett Packard Enterprise Apollo 6500加速服務器。

IBM Elastic Storage Server AFA具有多種基于SSD的配置，可提供高達1.1 PB的可用容量。IBM還有一個參考系統(tǒng)架構(gòu)，其中整合了Elastic Storage Server與Power Systems服務器和PowerAI Enterprise軟件堆棧。

NetApp OnTap AI參考架構(gòu)將Nvidia DGX-1服務器與NetApp AFA A800系統(tǒng)和兩個Cisco Nexus 3K 100 GbE交換機相結(jié)合。A800可提供1M的IOPS，延遲時間為半毫秒，同時，其橫向擴展設計可在24節(jié)點集群中提供超過11M的IOPS。

Pure Storage AIRI是另一個DGX-1集成系統(tǒng)，它使用Pure的FlashBlade AFA系統(tǒng)，支持文件和對象存儲。參考系統(tǒng)可用于Arista、思科或Mellanox交換機。例如，一個Arista設計使用15個17 TB FlashBlades，具有8個40 GbE鏈路連接到Arista 32端口100 GbE交換機。

深度學習推理系統(tǒng)對存儲子系統(tǒng)的要求較低，并且，通常可通過在x86服務器中使用本地SSD來實現(xiàn)。雖然推理平臺通常是具有本地SSD或NVMe插槽的傳統(tǒng)1U和2U服務器設計，但現(xiàn)在它們越來越多地包括計算加速器，例如Nvidia T4 GPU或FPGA，這些加速器可以將一些深度學習操作編譯到硬件的。

（來源：TechTarget中國）