采用人工智能 （AI） 應用程序的曲棍球棒正在順利進行，包括 CPU、GPU、FPGA 和神經(jīng)網(wǎng)絡(luò)處理器在內(nèi)的定制架構(gòu)正在云中占據(jù)一席之地。人工智能大規(guī)模并行架構(gòu)的弱點之一是對電源故障時數(shù)據(jù)丟失的敏感性，導致這些數(shù)據(jù)中心的成本很高。內(nèi)存類存儲架構(gòu)為 AI 應用程序提供高性能、持久的內(nèi)存，使數(shù)據(jù)中心的正常運行時間、更低的功耗和更高的利潤達到新的水平。

人工智能 （AI） 和深度學習算法的迅速普及正在改變現(xiàn)代數(shù)據(jù)中心的格局。隨著云成為信息的通用資源，包括語音識別、增強現(xiàn)實、醫(yī)學數(shù)據(jù)挖掘和成千上萬的其他應用程序正在捕獲越來越多的數(shù)據(jù)周期。我在這里使用的簡單術(shù)語 AI 意味著許多類型的應用程序的集合，其中一些具有截然不同的技術(shù)要求。

云也是大多數(shù)企業(yè)的主要收入來源，正常運行時間已成為一項主要要求。系統(tǒng)停機造成的損失平均為每分鐘 22，000 美元，每年平均 14.1 小時的停機時間使平均每年損失 1800 萬美元。完全依賴互聯(lián)網(wǎng)的公司很容易看到間接費用的倍數(shù)。

顯然，如果解決方案能夠最大限度地減少停機時間并加快從電源故障中恢復的速度，那么投資回報就會很快。將內(nèi)存類存儲（以下定義的術(shù)語）引入數(shù)據(jù)中心，尤其是 AI 處理器子系統(tǒng)是提高數(shù)據(jù)中心價值的關(guān)鍵性能增強。

常見的人工智能應用

人工智能并不新鮮，盡管大規(guī)模部署人工智能是最近的趨勢。人工智能處理中心沒有單一的架構(gòu)，但是在人工智能的部署中出現(xiàn)了一些共同的趨勢。一般來說，人工智能使用大量相對簡單的處理單元在非常廣泛的數(shù)據(jù)集上并行運行，每個處理單元都在數(shù)據(jù)的一個子集上運行。

為了幫助可視化這是如何工作的，想象一個 JPEG 圖片處理算法，它有一個小型處理單元，為 8x8 像素陣列運行離散余弦變換算法 （DCT）。由于典型的原始圖片遠大于 8x8 像素，因此 AI 引擎可以包括許多并行運行的處理單元，每個處理單元運行相同的 DCT 算法，然后有一個主控制器將整體圖片的 8x8 部分提供給處理單元。主控制器將來自每個處理單元的結(jié)果反饋到結(jié)果的輸出緩存中，例如編碼的 JPEG 文件的數(shù)據(jù)。

這些并行處理元素還可以選擇在它們之間共享數(shù)據(jù)，例如管理相鄰輸入數(shù)據(jù)塊之間的邊緣。該解決方案的一種方法是遞歸神經(jīng)網(wǎng)絡(luò) （RNN），如圖 1 所示。

［圖1 | 遞歸神經(jīng)網(wǎng)絡(luò)處理］

將 AI 的使用與功耗成本聯(lián)系起來，上面的簡單 RNN 應用程序顯示了當黃色輸入數(shù)據(jù)和橙色輸出數(shù)據(jù)存儲在動態(tài)內(nèi)存中時的固有開銷。在數(shù)據(jù)丟失時，必須重新加載輸入數(shù)據(jù)并重新運行 RNN 算法以恢復輸出數(shù)據(jù)。

深度學習是 AI 的另一種變體，它對數(shù)據(jù)吞吐量表現(xiàn)出更高的敏感性。深度學習算法將種子模式加載到 AI 內(nèi)存中，該模式表示對預期可能答案的預先計算估計。深度學習的示例包括語音識別，其中種子數(shù)據(jù)可能代表通用語音模式。但是，一旦輸入數(shù)據(jù)開始流過處理單元，深度學習就可以修改種子模式。對于語音識別，這可能包括針對特定用戶的口音調(diào)整識別引擎。深度卷積網(wǎng)絡(luò)是一種添加識別、上下文和修改種子以提高算法質(zhì)量和準確性的機制。

【圖2 | 深度卷積網(wǎng)絡(luò)處理］

深度學習算法面臨的一個挑戰(zhàn)是避免重新訓練。想象一下每次將語音識別設(shè)備移到不同房間時都必須重新訓練語音識別設(shè)備的客戶的反應。對于深度學習，修改后的種子模型需要定期檢查點，以便在斷電后可以恢復學習到的數(shù)據(jù)。在圖 2 中，綠色圓圈代表這些模型，如果這些數(shù)據(jù)丟失，則必須重新學習對模型的任何更新。粉紅色雙圓圈中的池化層還包含加速處理的信息，必須保存或重建。

常見的 AI 架構(gòu)

如前所述，業(yè)界在人工智能架構(gòu)的硬件實現(xiàn)方面存在趨勢。這些趨勢是：1） 將大量數(shù)據(jù)饋送到廣泛的處理元件陣列中，2） 每個處理器在相對簡單的算法上運行，以 3） 產(chǎn)生輸出數(shù)據(jù)，該輸出數(shù)據(jù)被重新組合成所需的結(jié)果。4）對于深度學習，這些中間結(jié)果可以修改需要定期提取的初始輸入數(shù)據(jù)集。

【圖3 | 示例 AI 處理器］

圖 3 顯示了一個相當?shù)湫偷?AI 設(shè)備，其中 15 個處理元件的陣列通過內(nèi)部存儲器交叉開關(guān)連接到使用高帶寬存儲器的大型數(shù)據(jù)資源（例如，32 GB）。HBM 提供一個 1024 位寬的接口，每個數(shù)據(jù)引腳以 2.4 Gbps 的速度運行，并且通過四個內(nèi)部 HBM 總線，可以以大約 1.2 TB/s 的組合吞吐量為處理元件提供數(shù)據(jù)。

此外，每個 AI 設(shè)備都提供多個高速串行 I/O 接口（例如 1 Tbps），以將架構(gòu)擴展到大量處理器。這些串行總線以某種特定于應用程序的模式互連，通常是超立方體或環(huán)形排列，因此數(shù)據(jù)可以通過陣列分布，以供許多 AI 設(shè)備并行處理。圖 4 是通過陣列路由數(shù)據(jù)的環(huán)形連接方案示例。

【圖4 | 多個AI設(shè)備的環(huán)形連接］

在 1 Tbps 時，這些串行鏈路相當快，但鏈路的數(shù)量仍然有限，并且數(shù)據(jù)必須通過陣列進行幾跳才能到達目的地。即使在相當高的總線效率下，填充每個 AI 設(shè)備的 HBM 內(nèi)容也可能需要幾秒鐘的時間。一種解決方案是增加來自支持硬件的串行輸入饋送數(shù)量，但在 26 GB/s 的完整 DDR4 接口下，需要四個 DDR4 通道來饋送一個輸入管道，因此外部支持硬件很快成為瓶頸。

檢查點在深度學習應用程序中修改模型的內(nèi)容也發(fā)生在這些串行總線上。每個 AI 設(shè)備都需要將其內(nèi)容傳達給支持硬件，以承諾使用非易失性資源，通常是 NVMe 或 SSD 單元。這種檢查點會消耗通信鏈路上寶貴的帶寬，這些時間可以更好地用于數(shù)據(jù)處理。

停電的代價

串行鏈路造成的瓶頸突出了電源故障所面臨的問題。一旦模型丟失，重新填充大量 AI 設(shè)備可能需要很長時間。將應用程序重新加載到執(zhí)行單元中也需要時間，然后重新啟動算法并恢復正在進行的丟失工作也可能需要大量時間。同時，系統(tǒng)無法進行終端用戶數(shù)據(jù)處理。

對于深度學習環(huán)境，數(shù)據(jù)丟失可能是不可接受的，因此必須建立復雜的機制來定期檢查種子數(shù)據(jù)模型的學習修改。

根據(jù)系統(tǒng)架構(gòu)，重新加載的速度將受到非易失性存儲接口的限制。即使使用 10 GB/s NVMe 備份，大型 AI 陣列的恢復也可能需要幾分鐘時間。如果這個瓶頸定義了保存的深度學習模型的粒度，則可以確保永久丟失數(shù)據(jù)的可能性。為了避免這種數(shù)據(jù)丟失，通常會部署不間斷的備份系統(tǒng)，但是這些架構(gòu)的電源要求往往相當高，而且 UPS 相對昂貴。

AI中的內(nèi)存類存儲

Nantero NRAM 是一種非易失性存儲器技術(shù)，可在全 DRAM 速度下運行并具有無限的寫入耐久性，因此稱為 Memory Class Storage。NRAM 使用靜電力來切換碳納米管陣列以存儲 1 和 0。NRAM 與 HBM 接口相結(jié)合，為 AI 架構(gòu)的電源故障敏感性問題提供了很好的解決方案。

NRAM HBM 完全像 DRAM HBM 一樣放入 AI 設(shè)備。它使用相同的信號和時序，使集成異常簡單。與存儲類內(nèi)存相比，存儲類內(nèi)存比 DRAM 慢得多，耐用性非常有限，因此仍需要支持 DRAM 才能實現(xiàn)所需的性能，NRAM 完全取代了 AI 設(shè)備中的所有 DRAM，無需額外支持。由于 NRAM 本質(zhì)上是非易失性的，因此 AI 控制器還可以利用其獨特的功能，例如關(guān)閉刷新并在相同的時鐘頻率下獲得額外 15% 的性能。

【圖5 | HBM NRAM 架構(gòu)］

停電時，系統(tǒng)會向所有 AI 設(shè)備發(fā)送一個信號，警告即將停電。每個 AI 設(shè)備的響應方式是完成進程中的計算并將結(jié)果存儲到非易失性 NRAM 中，然后關(guān)閉。當電源恢復時，執(zhí)行單元代碼從 NRAM 恢復到每個執(zhí)行單元所附的本地內(nèi)存（如 SRAM），恢復臨時結(jié)果，并在微秒而不是分鐘內(nèi)恢復執(zhí)行。

由于數(shù)據(jù)永遠不會丟失，并且不需要外部串行鏈路，也不需要 NVMe 或 SSD 等外部備份機制，因此將 NRAM HBM 并入 AI 架構(gòu)無需昂貴的電池備份系統(tǒng)。

結(jié)論

總之，使用 NRAM HBM 重新構(gòu)想了人工智能和深度學習應用的計算基礎(chǔ)設(shè)施。通過始終提供固有的數(shù)據(jù)持久性，AI 服務(wù)器無需承受與重新加載模型和其他數(shù)據(jù)相關(guān)的長時間延遲。修改后的模型數(shù)據(jù)的檢查點是自動的，并且不會消耗處理元件和支持計算系統(tǒng)之間的互連上的帶寬。

將 NRAM HBM 整合到 AI 架構(gòu)中，消除了電池備份系統(tǒng)的成本、復雜性和可靠性問題，并降低了數(shù)據(jù)中心的功耗，同時提高了性能。備份和恢復過程主要變成 NOP……只需重新啟動即可！

審核編輯：郭婷