很多年前，我們曾開過一個玩笑，認(rèn)為未來的計算引擎看起來更像是 GPU 卡，而不是我們當(dāng)時所知道的服務(wù)器那樣。該信念的核心原則之一是，考慮到有多少 HPC 和 AI 應(yīng)用程序受內(nèi)存帶寬（而不是計算容量甚至內(nèi)存容量）的約束，某種形式的極其接近、非常高帶寬的內(nèi)存將適用于所有方式計算芯片：包括但不限于GPU、CPU、FPGA、矢量引擎等等。 事實證明，這在很大程度上是正確的，至少在另一種存儲被發(fā)明之前是這樣。

　　如果 FPGA——更準(zhǔn)確地說，我們稱之為 FPGA 的混合計算和網(wǎng)絡(luò)復(fù)合體，即使它們不僅僅是可編程邏輯塊——要競爭計算工作，它就必須擁有某種形式的高帶寬主存儲器與它緊密結(jié)合。這就是賽靈思談?wù)撈涓叨?Versal HBM 器件的原因，該器件自 2018 年以來，一直在賽靈思路線圖中有所暗示，并將在大約 9 個月后上市。

　　Virtex UltraScale+ 高級產(chǎn)品線經(jīng)理 Mike Thompson Xilinx 告訴The Next Platform. 這比預(yù)期晚了大約 6 個月——很難說許多供應(yīng)商路線圖上 X 軸的變幻莫測，因為它們離 Y 軸更遠，但請自行估計：

　　Xilinx 與其他幾家設(shè)備制造商一起開辟了高帶寬主存儲器的道路，這不是作為一項科學(xué)實驗，而是因為網(wǎng)絡(luò)、航空航天和國防、電信和金融服務(wù)行業(yè)中的許多延遲敏感的工作負(fù)載根本無法通過使用標(biāo)準(zhǔn) DRAM 或什至嵌入在 FPGA 邏輯塊中的非?？斓?SRAM完成。 高帶寬內(nèi)存最初有兩種用于數(shù)據(jù)中心計算引擎的形式，但市場已經(jīng)圍繞其中一種發(fā)力。 來自英特爾和美光科技的稱為混合內(nèi)存立方體 （HMC） 的 MCDRAM 變體部署在英特爾“Knights Landing”至強融核設(shè)備上，這些設(shè)備本身可以用作計算引擎，也可以用作普通 CPU 的加速器。Xeon Phi 可以通過 16 GB 的 HMC 內(nèi)存向芯片上高度矢量化的 Atom 內(nèi)核提供略高于 400 GB/秒的內(nèi)存帶寬，這在當(dāng)時非常重要。

　　這種 HMC 變體還用于富士通的 Sparc64-IXfx 處理器，該處理器針對超級計算機，具有 32 GB 的容量，并在其四個內(nèi)存庫中提供 480 GB/秒的帶寬。 但是隨著富士通為世界上最強大的機器“Fugaku”設(shè)計基于 A64FX Arm 的處理器后，富士通轉(zhuǎn)而使用更常見的堆疊并行 DRAM 的第二代高帶寬內(nèi)存 （HBM2） 變體，這是最初由 AMD 和內(nèi)存制造商三星和 SK 海力士創(chuàng)建，并首次用于“Fiji”一代 Radeon 顯卡。大約同期，英特爾推出帶有 MCDRAM 的 Xeon Phi 芯片的同時。

　　富士通在芯片上放置了四個通道，可提供 32 GB 的容量和非?？捎^的 1 TB/秒的帶寬——比 CPU 插槽提供的帶寬高出一個數(shù)量級左右。 鑒于需要比集成 SRAM 提供更高帶寬和更大容量，賽靈思在其上一代 Virtex UltraScale+ FPGA 上放置了 16 GB HBM2 內(nèi)存，提供 460 GB/秒的帶寬。正如您所看到的，這大約是當(dāng)時的 flops-heavy CPU 計算引擎提供的性能的一半，您將再次看到這種模式。

　　速度與工作負(fù)載的需求和客戶需要的價格點相平衡。那些購買強大 FPGA 的人同樣需要高速 SerDes 進行信號傳輸，因此他們必須權(quán)衡網(wǎng)絡(luò)和內(nèi)存，以保持在對用例有意義的熱范圍內(nèi)。 Nvidia 已將 HBM容量和帶寬發(fā)揮到極致，因為它在其 GPU 加速器上提供了三代 HBM2 內(nèi)存，當(dāng)前的“Ampere”設(shè)備具有最大 80 GB 的容量，產(chǎn)生了令人印象深刻的 2 TB/秒的帶寬。而這種對速度和容量的需求是由貪婪的人工智能工作負(fù)載驅(qū)動的，這些工作負(fù)載有爆炸式的數(shù)據(jù)集需要“咀嚼”。

　　在混合 CPU-GPU 系統(tǒng)上運行的 HPC 代碼可以使用比許多 AI 代碼更小的內(nèi)存占用，這是幸運的，但如果內(nèi)存可用，情況就不會如此。所有應(yīng)用程序和數(shù)據(jù)集最終都會擴展到消耗所有容量和帶寬。 當(dāng)涉及到 HBM 內(nèi)存時，一些設(shè)備適合這兩種極端情況的中間。NEC四年前推出的“Aurora”矢量加速器擁有 48 GB 的 HBM2 內(nèi)存和 1.2 TB/秒的帶寬，擊敗了當(dāng)時 Nvidia 的“Volta”一代 GPU 加速器。但今年推出的更新版 Ampere 只是在 HBM2 容量和帶寬方面擊敗了其他一切。英特爾剛剛宣布，其未來的“Sapphire Rapids” 至強處理器SP，現(xiàn)在預(yù)計，明年將有一個變體，支持HBM2內(nèi)存，當(dāng)然，英特爾的 HPC GPU 加速器也將擁有 HBM2 內(nèi)存堆棧。我們不知道英特爾的 CPU 和 GPU 在 HBM2 頻譜上的最終位置，但如果英特爾真的認(rèn)真對待競爭，它可能介于 CPU 的極端和 GPU 的極端之間。

　　Xilinx 即將推出的 Versal HBM 器件也采取了中間路線，其原因與 Virtex UltraScale+ 器件在 2016 年 11 月發(fā)布時所做的相同。但賽靈思還加入了其他 HBM 創(chuàng)新，在每單位容量和帶寬上比其他創(chuàng)新更進一步減少延遲。 Versal HBM 設(shè)備基于我們在 2020 年 3 月詳細(xì)介紹的 Versal Premium 而設(shè)計。Versal Premium 復(fù)合體有四個超級邏輯區(qū)域，或賽靈思所稱的 SLR，其中一個 SLR 被替換為兩組 8 堆棧的 HBM2e 存儲器。每個堆棧最多有 16 GB，總共 32 GB，跨 SKU 的內(nèi)存有 8 GB、16 GB 和 32 GB，具有不同的計算量和互連量。

　　緊鄰交換的 HBM 存儲器的 SLR 嵌入了一個 HBM 控制器和一個 HBM 開關(guān)——兩者都是由賽靈思設(shè)計的——Thompson 說這些開關(guān)相對較小。這個 HBM 開關(guān)是一個關(guān)鍵的區(qū)別。 “HBM 面臨的一個挑戰(zhàn)是您可以從任何內(nèi)存端口訪問每個內(nèi)存位置，我們在該設(shè)備上有 32 個內(nèi)存端口，”Thompson 解釋說。“市場上的其他產(chǎn)品也沒有內(nèi)置開關(guān)，這意味著他們必須花費大量的軟邏輯來創(chuàng)建自己的開關(guān)，這會占用這些設(shè)備中的大部分邏輯，并且介于 4瓦和 5 瓦的功率。對于使用 HBM 的其他設(shè)備，沒有交換機會導(dǎo)致大量開銷和額外延遲，因為內(nèi)存映射最終會比應(yīng)有的更煩人。” 還有一部分 FPGA 邏輯與 SerDes 和許多其他加速器一起被硬編碼在晶體管中以提高效率。Versal HBM 框圖如下所示：

　　與 Versal Premium 設(shè)備一樣，Versal HBM 設(shè)備具有一些基于 Arm 內(nèi)核的標(biāo)量處理引擎、一些實現(xiàn) FPGA 功能及其內(nèi)部和各種存儲器的可編程邏輯，以及為機器學(xué)習(xí)、成像進行混合精度數(shù)學(xué)運算的 DSP 引擎和信號處理應(yīng)用。與之相連的是 HBM 內(nèi)存和大量硬編碼 I/O 控制器和 SerDes，它們使數(shù)據(jù)以閃電般的速度進出這些芯片。

　　FPGA 客戶需要在此類設(shè)備上使用 HBM 存儲器的原因之一是，它具有如此多的不同 I/O，加起來如此之多的總帶寬。PCI-Express 5.0 控制器支持 DMA、CCIX 和 CXL 協(xié)議以實現(xiàn)內(nèi)存延遲，總帶寬為 1.5 Tb/秒；芯片到芯片 Interlaken 互連具有集成的前向糾錯 （FEC） 加速器，可提供 600 Gb/秒的總帶寬。加密引擎也像 PCI-Express 和 Interlaken 控制器一樣采用硬編碼，支持 128 位和 256 位的 AES-GCM 以及 MACsec 和 IPsec 協(xié)議，并提供 1.2 Tb/秒的聚合帶寬，并且可以進行加密400 Gb/秒以匹配 400 Gb/秒以太網(wǎng)端口的線路速率。

　　硬編碼以太網(wǎng)控制器可以驅(qū)動 400 Gb/秒端口（帶有 58 Gb/秒 PAM4 信號）和 800 Gb/秒端口（帶有 112 Gb/秒 PAM4 信號）以及任何低至 10 Gb/秒的以太網(wǎng)步驟使用傳統(tǒng)的 32 Gb/秒 NRZ 信令； 總而言之，該芯片的以太網(wǎng)總帶寬為 2.4 Tb/秒。

　　這個 Versal HBM 設(shè)備是 I/O 上的帶寬野獸，對于某些應(yīng)用程序，這意味著它需要成為內(nèi)存帶寬野獸來平衡它。Versal HBM 設(shè)備比它將取代的 Virtex UltraScale+ HBM 設(shè)備更像野獸，并在 HBM 內(nèi)存容量和帶寬之外的許多不同指標(biāo)上證明了這一點。這是通過架構(gòu)變化和從 16 納米工藝到 7 納米的轉(zhuǎn)變（感謝晶圓廠合作伙伴臺灣半導(dǎo)體制造公司）實現(xiàn)的。

　　Thompson 表示，Versal HBM 設(shè)備具有相當(dāng)于 14 個 FPGA 的邏輯，而 HBM 具有相當(dāng)于 32 個 DDR5-6400 DRAM 模塊的帶寬。 Xilinx 估計，與四個相同容量的 DDR5-6400 模塊相比，該器件具有 8 倍的內(nèi)存帶寬和 63% 的功耗：

　　那么，Versal HBM 器件與之前的 Xilinx 器件和 Intel Agilex 器件以及 Intel 和 AMD CPU 相比如何？好吧，在以 350 億美元收購 Xilinx 的過程中，您可以忘記將 AMD Epyc CPU 與AMD 進行任何比較。

　　Thompson 也沒有與英特爾 ACAP 等效設(shè)備進行任何比較。但他確實帶來了一些圖表，將兩路英特爾“冰湖”至強 SP 系統(tǒng)與 Virtex HBM 和 Versal HBM 設(shè)備進行對比，如下所示：

　　在上圖左側(cè)的臨床記錄推薦引擎測試中，僅使用 CPU 的系統(tǒng)需要幾秒到幾分鐘才能運行，但舊的 Virtex HBM 設(shè)備能夠容納兩倍大的數(shù)據(jù)庫，因為它的速度是它可以將數(shù)據(jù)流式傳輸?shù)皆O(shè)備中，并且在提出治療建議方面的速度提高了 100 倍。

　　Versal HBM 設(shè)備擁有兩倍大的數(shù)據(jù)庫，并且以兩倍的速度導(dǎo)出建議。右側(cè)的實時欺詐檢測基準(zhǔn)也具有相同的相對性能。 Thompson 說，這是考慮如何使用 Versal HBM 設(shè)備的另一種方式。

　　假設(shè)您想構(gòu)建一個內(nèi)置機器學(xué)習(xí)智能的下一代 800 Gb/秒防火墻。如果您想使用只能驅(qū)動 400 Gb/秒端口的 Marvell Octeon 網(wǎng)絡(luò)處理器 SoC，您將需要其中的兩個，而且他們沒有機器學(xué)習(xí)。因此，您將需要兩個 Virtex UltraScale+ FPGA 來將該功能添加到 Octeons 對中。還需要十幾個 DDR4 DRAM 模塊才能提供 250 GB/秒的內(nèi)存吞吐量。像這樣：

　　據(jù)推測，Versal HBM 系統(tǒng)不僅在設(shè)備更少、吞吐量更大和功耗更低方面表現(xiàn)更好，而且購買成本也更低。我們不知道，因為 Xilinx 沒有給出定價。如果沒有，它肯定必須提供更好的性價比和更好的每瓦特性能，否則玩這個游戲根本沒有意義。

　　編輯：黃飛