近日，英偉達投資了一家號稱專注于人工智能數(shù)據(jù)中心網(wǎng)絡(luò)芯片的初創(chuàng)公司Enfabrica，消息一出瞬間刷屏朋友圈。 據(jù)悉，此次Enfabrica的B 輪融資由 Atreides Management 牽頭，Sutter Hill Ventures、英偉達、IAG Capital Partners、Liberty Global Ventures、Valor Equity Partners、Infinitum Partners 和 Alumni Ventures 參與，B輪融資共獲得1.25億美元資金，讓 Enfabrica 的融資總額達到 1.48 億美元。 就這樣一個成立于 2020 年的初創(chuàng)公司，怎么就入了英偉達的法眼呢？ 01

英偉達為什么要投資Enfabrica？

別看Enfabrica 成立時間不長，但它背后的初始成員可謂臥虎藏龍，都是來自博通、谷歌、思科、AWS、英特爾等公司的大佬。

Enfabrica豪華創(chuàng)始團隊

聯(lián)合創(chuàng)始人兼CEO Rochan Sankar曾是博通的產(chǎn)品營銷和管理總監(jiān)，推動了五代“Trident”和“Tomahawk”數(shù)據(jù)中心交換機ASIC；

首席開發(fā)官 Shrijeet Mukherjee 曾在思科、Cumulus Networks、谷歌等公司就職；

芯片設(shè)計總監(jiān)Mike Jorda曾在博通負責數(shù)據(jù)中心芯片設(shè)計21年；

系統(tǒng)測試總監(jiān)Michael Goldflam 曾在博通負責交換軟件15年；

軟件工程VP Carlo Contavalli 曾在谷歌負責軟件工程12年；

首席架構(gòu)師Thomas Norrie 曾在谷歌硬件負責12年；

芯片架構(gòu)師Gavin Starks曾是智能終端公司Netronome Systems的首席技術(shù)官。

Enfabrica的創(chuàng)始顧問Christos Kozyrakis是斯坦福大學電氣工程和科學教授，也是 MAST 的負責人，曾在谷歌和英特爾等組織從事研究；另一位重量級顧問Albert Greenberg目前在 Uber擔任平臺工程副總裁，在微軟負責Azure Networking十多年，在此之前，他是AT&T貝爾實驗室的網(wǎng)絡(luò)專家。擁有大規(guī)模數(shù)據(jù)分析專業(yè)知識的康奈爾大學副教授Rachit Agarwal也是Enfabrica的顧問。

Enfabrica ACF解決方案

Enfabrica致力于開發(fā)數(shù)據(jù)中心網(wǎng)絡(luò)芯片和軟件以支持 AI 計算工作負載，并于2023 年 3 月發(fā)布了首款名為 Accelerated Compute Fabric （ACF） 設(shè)備的芯片。據(jù)稱該芯片可為分布式人工智能、擴展現(xiàn)實、高性能計算和應用程序提供強大的可擴展性和性能，并節(jié)約成本。

Enfabrica表示，新資金將用于推進其突破性 ACF Switch （ACF-S） 設(shè)備和解決方案的生產(chǎn)，這些設(shè)備和解決方案補充了 GPU、CPU 和加速器，以解決數(shù)據(jù)中心AI和高性能計算集群中的關(guān)鍵網(wǎng)絡(luò)、I/O（輸入/輸出）和內(nèi)存擴展問題。

英偉達投資動機

英偉達的GPU芯片面臨著一個問題：它們有時會閑置，因為連接它們的網(wǎng)絡(luò)無法足夠快地向它們提供數(shù)據(jù)。Enfabrica芯片創(chuàng)建了一個看起來像中心輻射的網(wǎng)絡(luò)，允許進行數(shù)據(jù)處理的Nvidia GPU從多個不同的地方提取數(shù)據(jù)，而不會碰到“減速帶”。

英偉達參與的理由正是這一點，這讓客戶能夠更有效地利用 GPU 計算資源，GPU 空閑等待數(shù)據(jù)的時間更短。據(jù)稱，在相同的性能點上，使用 ACF 能夠讓大型語言模型 （LLM） 推理的性能提高約 50%，深度學習推薦模型 （DLRM） 推理的性能提高75%。

“當前人工智能熱潮的根本挑戰(zhàn)是基礎(chǔ)設(shè)施的擴展”，Enfabrica 首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Rochan Sankar 表示。

“無可否認，人工智能為眾多行業(yè)帶來了變革性價值。但對于尋求控制其分布式人工智能基礎(chǔ)設(shè)施和服務的客戶來說，迫切需要將爆炸性的需求與擴展人工智能計算的總體成本、效率和易用性聯(lián)系起來。大部分擴展問題在于 I/O 子系統(tǒng)、內(nèi)存移動和附加到 GPU 計算的網(wǎng)絡(luò)，而這些正是 Enfabrica 的 ACF 解決方案的亮點?！?/p>

02

Enfabrica ACF Switch （ACF-S）有什么魔力？

Enfabrica 的首款芯片ACF-S是該公司自 2020 年以來全新開發(fā)，采用完全基于標準的硬件和軟件接口，包括多端口 800 千兆位以太網(wǎng)網(wǎng)絡(luò)和高基數(shù) PCIe Gen5 和CXL 2.0+ 接口。ACF-S 設(shè)備可在參與 AI 或加速計算工作負載的 GPU、CPU、加速器 ASIC、內(nèi)存、閃存和網(wǎng)絡(luò)元件的任意組合之間提供可擴展、可組合、高帶寬的數(shù)據(jù)移動。

在不改變設(shè)備驅(qū)動程序上的物理接口、協(xié)議或軟件層的情況下，ACF-S 可在單個硅芯片中的異構(gòu)計算和內(nèi)存資源之間提供多太比特的交換和橋接，同時顯著減少設(shè)備數(shù)量、I/O 延遲跳數(shù)，以及AI 集群中由架頂式網(wǎng)絡(luò)交換機、RDMA-over-Ethernet NIC、Infiniband HCA、PCIe/CXL 交換機和 CPU 附加DRAM消耗的設(shè)備功率。

通過整合獨特的 CXL 內(nèi)存橋接功能，Enfabrica 的 ACF-S 是第一個可以為任何加速器提供無頭內(nèi)存擴展的數(shù)據(jù)中心芯片產(chǎn)品，使單個 GPU 機架能夠直接、低延遲、無競爭地訪問本地 CXL。內(nèi)存容量是 GPU 原生高帶寬內(nèi)存 （HBM） 的50倍以上。

突破 I/O 和網(wǎng)絡(luò)瓶頸

隨著人工智能工作負載變得愈發(fā)強大，GPU 網(wǎng)絡(luò)痛點以及內(nèi)存和存儲擴展的挑戰(zhàn)也愈發(fā)緊迫。

Rochan Sankar 表示：“生成式 AI 正在迅速改變數(shù)據(jù)中心計算流量的性質(zhì)和數(shù)量。人工智能訓練總量和用戶服務規(guī)模將繼續(xù)呈指數(shù)級增長。當前的服務器 I/O 和網(wǎng)絡(luò)解決方案存在嚴重的瓶頸，導致它們要么無法滿足需求規(guī)模，要么嚴重未充分利用昂貴的計算資源，這反過來又施加了成本和功效的壓力。”

Enfabrica 表示，其 ACF-S 芯片效率更高，可通過本機 800 Gb以太網(wǎng)網(wǎng)絡(luò)直接橋接和互連 GPU、CPU和內(nèi)存資源，消除對專用網(wǎng)絡(luò)互連和傳統(tǒng)架頂通信硬件的需求，充當通用數(shù)據(jù)移動器，克服現(xiàn)有數(shù)據(jù)中心的 I/O 限制。

第一代 ACF-S 芯片代號為“Millennium”，現(xiàn)已提供樣品，Millennium 芯片的概念如下：

ACF-S 芯片剛發(fā)布時給自己的定位是人工智能訓練系統(tǒng)的核心。Enfabrica表示，它可以創(chuàng)建一個比英偉達和Meta創(chuàng)建的系統(tǒng)更好的可組合GPU服務器，并可以在ACF-S設(shè)備網(wǎng)絡(luò)中進一步擴展這種可組合性，來創(chuàng)建一個更大的虛擬計算和內(nèi)存池，同時節(jié)約 40%左右的成本。

而現(xiàn)在Enfabrica又將ACF-S 設(shè)備定位為 AI 集群的網(wǎng)絡(luò)和內(nèi)存訪問的中間層，如下所示：

ACF-S 設(shè)備可以應用于任何 PCI-Express 加速器，無論是否為英偉達、甚至是否為 GPU。它還有助于解決限制人工智能工作負載的內(nèi)存容量問題。

盡管這并不能真正解決 GPU 主機上內(nèi)存的帶寬問題，但它確實意味著外殼內(nèi)的 GPU 池可以共享節(jié)點內(nèi)的內(nèi)存，并且 ACF-S 設(shè)備的層次結(jié)構(gòu)可以為此創(chuàng)建一個結(jié)構(gòu)內(nèi)存池。請注意，所有這些都是在 CXL 3.0 協(xié)議實際投入使用之前完成的，以便在大型 GPU 節(jié)點集群中更廣泛地共享。

或者如果你只是想使用 Grace-Hopper 超級芯片，可以這樣做：

在leaf/spine網(wǎng)絡(luò)中，800 Gb/秒以太網(wǎng)交換機作為spine，ACF-S 設(shè)備作為leaf，三跳網(wǎng)絡(luò)中最多可支持 1，000 個 Grace-Hopper 設(shè)備，這就是一臺相當厲害的人工智能超級計算機了。Nvidia DXG GH100 集群最多擁有 256 個 Grace-Hopper 超級芯片。在spine網(wǎng)絡(luò)中添加另一跳可以進一步擴展它，但這也會增加網(wǎng)絡(luò)延遲。

“像這樣的平臺的想法是，我們可以構(gòu)建一個數(shù)據(jù)中心規(guī)模的人工智能網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以適當?shù)胤謱雍头纸赓Y源，這樣不僅可以優(yōu)化性能，還可以優(yōu)化可組合性，”Sankar 表示，“現(xiàn)在，所有的東西都被裝進了這些極其巨大、極其昂貴的設(shè)備中。但我們創(chuàng)建了一個黑匣子，可以實現(xiàn)數(shù)據(jù)中心范圍內(nèi)的可組合性。因此，可以改變 GPU 的數(shù)量、改變 CPU 的數(shù)量，就像我們需要為人工智能推理和人工智能訓練所做的那樣。根據(jù) GPU 的選擇，你可能會有不同的內(nèi)存與計算觸發(fā)器的比率。我們的系統(tǒng)支持對最靠近 GPU 的內(nèi)存進行分層，一直到我們所說的用于接收和移動數(shù)據(jù)的場內(nèi)存。它提供上下文存儲、預處理、標記、檢查點，所有這些功能需要大量的快速存儲。目前，GPU 的運行方式類似于 L1 緩存，所有內(nèi)容都位于 HBM 內(nèi)存中。相比之下，我們提供了以極其靈活和高性能的方式移動和存儲數(shù)據(jù)的能力?！?/p>

再或者，你需要為LLM創(chuàng)建一個成本較低的推理引擎，你可以：

Enfabrica 認為通過將 CXL DRAM 掛在網(wǎng)絡(luò)不同部分的 ACF-S 設(shè)備上，可以用一半數(shù)量的 CPU 和 GPU 來驅(qū)動推理。

ACF-S 取代 DPU？

ACF-S的網(wǎng)絡(luò)節(jié)點：

我們可以看到 ACF-S 取代了 NIC，但我們不確定它能在多大程度上取代真正的、成熟的 DPU。但長遠來看，ACF-S 應該奔著這個目標去做，這可以讓企業(yè)不必為每臺服務器再額外購買 DPU。

ACF-S 系統(tǒng)可配置為 GPU 網(wǎng)絡(luò)節(jié)點，托管最多 10 個 PCI-Express 5.0 x16 設(shè)備和最多 4 個 800 Gb/秒或 8 個 400 Gb/秒。它具有足夠的能力在服務器底座中托管多達 8 個 GPU 加速器或多達 20 個 CPU。

作為內(nèi)存池節(jié)點，ACF-S 系統(tǒng)最多可擁有4個 2 TB CXL 附加卡，總共 8 TB DDR5 內(nèi)存，4個連接到服務器的 PCI-Express 5.0 x16 端口以及相同的4個 800 Gb/秒或8個 400 Gb/秒以太網(wǎng)端口連接到網(wǎng)絡(luò)。

下圖是 GPU/CPU 節(jié)點配置的例子，展示了兩個 ACF-S ASIC、八個 GPU 以及一對主機 CPU 卡：

每個機架的 I/O 組件減少了 75%，I/O 組件功率減少了 50%。

綜上看來，英偉達成為 Enfabrica B 輪融資的投資者之一也就不足為奇了。

目前英偉達正在投資各種初創(chuàng)公司，就像英特爾在過去二十年所做的那樣，這是為了與你的合作伙伴以及你的潛在競爭對手保持更親密的關(guān)系。

但也有分析師表示，Enfabrica完全具備作為英偉達競爭對手的潛力，未來英偉達可能會考慮收購這家初創(chuàng)公司。