在Meta，我們相信開放的硬件會推動創(chuàng)新。在當(dāng)今世界，越來越多的數(shù)據(jù)中心基礎(chǔ)設(shè)施致力于支持新興的AI技術(shù)，開放硬件在協(xié)助分解方面發(fā)揮著重要作用。通過將傳統(tǒng)數(shù)據(jù)中心技術(shù)分解為其核心組件，我們可以構(gòu)建更加靈活、可擴展和高效的新系統(tǒng)。

自2011年幫助創(chuàng)建OCP以來，我們分享了數(shù)據(jù)中心和組件設(shè)計，并開源了網(wǎng)絡(luò)編排軟件，以激發(fā)自己的數(shù)據(jù)中心和整個行業(yè)的新想法。這些想法使Meta的數(shù)據(jù)中心成為世界上最具可持續(xù)性和效率的數(shù)據(jù)中心之一?，F(xiàn)在，通過OCP，我們正在為數(shù)據(jù)中心和更廣泛的行業(yè)帶來新的開放的先進網(wǎng)絡(luò)技術(shù)，用于先進的AI應(yīng)用。

我們宣布了數(shù)據(jù)中心的兩個新的里程碑：下一代AI網(wǎng)絡(luò)結(jié)構(gòu)，以及與多家供應(yīng)商密切合作開發(fā)的新網(wǎng)絡(luò)硬件組合。

DSF：已分解并開放的結(jié)構(gòu)

網(wǎng)絡(luò)性能和可用性在從AI訓(xùn)練集群中提取最佳性能方面起著重要作用。正是出于這個原因，我們一直在為AI集群推動后端網(wǎng)絡(luò)結(jié)構(gòu)的分解。在過去的一年里，我們?yōu)橄乱淮鶤I集群開發(fā)了一個分解的計劃結(jié)構(gòu)（DSF），以幫助我們開發(fā)開放的、與供應(yīng)商無關(guān)的系統(tǒng)，這些系統(tǒng)具有來自整個行業(yè)供應(yīng)商的可互換的構(gòu)建塊。基于DSF允許我們構(gòu)建大型、無阻塞的結(jié)構(gòu)，以支持高帶寬AI集群。

DSF將我們的分解網(wǎng)絡(luò)系統(tǒng)擴展到基于VoQ的交換系統(tǒng)，該系統(tǒng)由開放的OCP-SAI標(biāo)準(zhǔn)和FBOSS（Meta自己的網(wǎng)絡(luò)操作系統(tǒng)，用于控制網(wǎng)絡(luò)交換機）提供支持?；赩oQ的調(diào)度確保了網(wǎng)絡(luò)中的主動擁塞避免，而不是被動的擁塞信號和反應(yīng)。

DSF結(jié)構(gòu)支持一個開放和標(biāo)準(zhǔn)的基于以太網(wǎng)的RoCE接口，跨越多個xPU和NIC，包括Meta的MTIA以及來自幾個供應(yīng)商的端點和加速器。

下一代AI結(jié)構(gòu)的DSF平臺

Arista 7700R4系列

DSF平臺，Arista 7700R4系列，由專用的葉片和spine系統(tǒng)組成，它們組合在一起形成一個大型的分布式交換機。作為一個分布式系統(tǒng)，DSF旨在支持大規(guī)模的AI集群。

7700R4C-38PE: DSF葉片開關(guān)

DSF分布式葉式交換機（基于Broadcom Jericho3-AI）

18 * 800GE (36 * 400GE) fp800主機端口

20 *800Gbps (40 *400Gbps)光纖接口

14.4Tbps的無線速度性能和16GB的緩沖區(qū)

7720R4-128PE: DSFspine開關(guān)

DSF分布式主干交換機（基于Broadcom Ramon3）

加速計算優(yōu)化流水線

128*800Gbps (256*400Gbps)光纖接口

102.4Tbps的無線速度性能

下一代400G/800G光纖的51T交換機

Meta將部署兩款下一代400G光纖交換機，Minipack3（最新版本的Minipack，Meta自己的光纖網(wǎng)絡(luò)交換機）和Cisco 8501，這兩款交換機都可以向后兼容之前的200G和400G交換機，并支持升級到400G和800G。

Minipack3采用Broadcom最新的Tomahawk5 ASIC，而Cisco 8501則基于Cisco的Silicon One G200 ASIC。這些高性能交換機的傳輸速率高達51.2 Tbps，具有64x OSFP端口，并且該設(shè)計在不需要計時器的情況下進行了優(yōu)化，以實現(xiàn)最大的功率效率。與之前的型號相比，它們也顯著降低了每比特的功率。

Meta將在FBOSS上同時運行Minipack3和Cisco 8501。

光學(xué)：2x400G FR4光學(xué)器件，用于400G/800G光互連

Meta的數(shù)據(jù)中心結(jié)構(gòu)已經(jīng)從200 Gbps/400 Gbps發(fā)展到400 Gbps/800 Gbps，我們已經(jīng)在數(shù)據(jù)中心部署了2x400G光學(xué)器件。

DSF中FBOSS和SAI的演化

我們繼續(xù)采用OCP-SAI將新的網(wǎng)絡(luò)結(jié)構(gòu)、交換硬件平臺和光收發(fā)器搭載到FBOSS。我們與供應(yīng)商和OCP合作，共同發(fā)展SAI。它現(xiàn)在支持新的特性和概念，如DSF和其他增強的路由方案。

來自世界各地的開發(fā)人員和工程師可以使用這個開放硬件，并貢獻自己的軟件，反過來，他們可以自己使用并與更廣泛的行業(yè)共享。

FBNIC：由Meta設(shè)計的多主機基礎(chǔ)網(wǎng)卡

我們正在繼續(xù)設(shè)計更多的ASIC，包括用于FBNIC的ASIC。FBNIC是一個真正的多主機基礎(chǔ)網(wǎng)卡，包含了為服務(wù)器艦隊和MTIA解決方案設(shè)計的第一個元網(wǎng)絡(luò)ASIC。它最多可以支持四個主機，每個主機具有完全的數(shù)據(jù)路徑隔離。FBNIC驅(qū)動程序從v6.11內(nèi)核開始可用，NIC模塊由Marvell設(shè)計，并已貢獻給OCP。

FBNIC的主要特點包括：

網(wǎng)絡(luò)接口高達4*100/4*50/4*25 GE，SerDes支持高達56G PAM4每通道。

最多4個獨立的PCIe Gen5片

HW卸載包括LSO，Checksum

用于PTP的線路速率時間戳（從PHY一直到每個主機）

頭數(shù)據(jù)分割，以協(xié)助零拷貝

兼容OCP網(wǎng)卡3.0，版本1.2.0，設(shè)計規(guī)范

未來是開放的

推進AI意味著構(gòu)建超越規(guī)模的數(shù)據(jù)中心基礎(chǔ)設(shè)施。它還必須考慮到靈活性，高效和可持續(xù)地執(zhí)行。在Meta，我們設(shè)想AI硬件系統(tǒng)的未來不僅是可擴展的，而且是開放和協(xié)作的。

我們鼓勵任何想要幫助推進AI網(wǎng)絡(luò)硬件未來的人與OCP和Meta合作，以幫助共享AI基礎(chǔ)設(shè)施的未來。