在GTC 2024期間，英偉達宣布了最新的Blackwell B200張量核心GPU，旨在為萬億參數(shù)的AI大型語言模型提供支持。Blackwell B200需要先進的800Gbps網(wǎng)絡，完全符合在AI工作負載的AI網(wǎng)絡報告中概述的預測。隨著人工智能工作負載的流量預計每兩年增長10倍，這些人工智能工作負載預計將超過傳統(tǒng)前端網(wǎng)絡至少兩個速度升級周期。

雖然在OFC上討論了許多關于跨數(shù)據(jù)中心應用的主題和創(chuàng)新解決方案，以及在同一領域內(nèi)擴展加速器數(shù)量的計算互連，但本篇文章將主要關注數(shù)據(jù)中心內(nèi)的應用。具體來說，它將專注于擴展連接大型人工智能集群中各種加速節(jié)點所需的網(wǎng)絡，并使用1000個加速器。這個網(wǎng)絡在業(yè)界通常被稱為“人工智能后端網(wǎng)絡”(還提到；由一些供應商提供；作為東西向流量的網(wǎng)絡)。以下是展會上探討的一些主題和解決方案:

1)線性驅(qū)動可插拔光學vs線性接收光學vs共封裝光學

可插拔光學器件預計將在系統(tǒng)級的功耗中占越來越大的比例。隨著云服務提供商構(gòu)建以高速光學擴散為特征的下一代人工智能網(wǎng)絡，這個問題將進一步放大。

在OFC 2023上，線性驅(qū)動可插拔光學(LPOs)的引入通過去除DSP來實現(xiàn)顯著的成本和功耗節(jié)約，引發(fā)了一系列的測試活動?？爝M到OFC 2024，我們見證了近20場演示?；顒悠陂g的對話顯示了全行業(yè)對集成到最新51.2Tbps網(wǎng)絡交換芯片中的高質(zhì)量100G SerDes的熱情，許多人渴望利用這一進步，能夠從光可插拔模塊中去除DSP。

然而，盡管令人興奮，但超大規(guī)模企業(yè)的猶豫表明，LPOs可能還沒有做好大規(guī)模采用的準備。采訪強調(diào)，超大規(guī)模企業(yè)不愿承擔LPOs的資格認證和潛在失敗的責任。相反，他們更傾向于讓轉(zhuǎn)換供應商來承擔這些責任。

在此期間，預計51.2Tbps網(wǎng)絡芯片的早期部署將繼續(xù)利用可插拔光學，至少到明年年中。然而，如果LPOs 能夠展示大規(guī)模的安全部署，同時為超大規(guī)模企業(yè)提供顯著的功耗節(jié)省——使他們能夠在每個機架上部署更多的加速器——那么采用LPOs 的誘惑可能是不可抗拒的。最終，決定取決于LPOs 能否兌現(xiàn)這些承諾。

此外，半定時線性光學(HALO)，也被稱為線性接收光學(LROs)在展會上進行了討論。LRO僅在發(fā)送端集成DSP芯片(而不是在LPOs的情況下完全移除它)。雖然LPOs在100G-PAM4 SerDes下可能是可行的，但在200G-PAM4 SerDes下可能變得具有挑戰(zhàn)性，這時可能需要LROs。

與此同時，協(xié)同封裝光學(CPOs)仍處于開發(fā)階段，Broadcom等大型行業(yè)參與者正在展示該技術(shù)的持續(xù)發(fā)展和進步。雖然我們相信目前的LPO和LRO解決方案肯定會像CPOs一樣有更快的上市時間，但后者最終可能在未來的某個時候成為能夠?qū)崿F(xiàn)更高速度的唯一解決方案。

在結(jié)束本節(jié)之前，請不要忘記，在可能的情況下，銅將是比上面討論的所有光連接選項更好的選擇。簡而言之，盡可能使用銅，必要時使用光學。有趣的是，液體冷卻可以促進機架內(nèi)加速器的致密化，從而增加銅的使用，以連接同一機架內(nèi)的各種加速器節(jié)點。最近在GTC上發(fā)布的NVIDIA GB200 NVL72完美地說明了這一趨勢。

2)光電路開關

OFC 2024帶來了一些有趣的光學電路開關(OCS)相關公告。OCS可以帶來許多好處，包括高帶寬和低網(wǎng)絡延遲，以及顯著的資本支出節(jié)省。這是因為OCS開關可以顯著減少網(wǎng)絡中所需的電氣開關數(shù)量，從而消除了與電氣開關相關的昂貴的光-電-光轉(zhuǎn)換。此外，與電氣開關不同，OCS開關與速度無關，當服務器采用下一代光收發(fā)器時，不需要升級。

然而，OCS是一項新技術(shù)，到目前為止，只有經(jīng)過多年開發(fā)的谷歌能夠在其數(shù)據(jù)中心網(wǎng)絡中大規(guī)模部署OCS。此外，OCS交換機可能需要改變光纖的安裝底座。因此，我們?nèi)栽谟^察，除了谷歌之外，是否有其他云服務提供商計劃效仿，在網(wǎng)絡中采用OCS交換機。

3) 3.2 Tbps的路徑

在OFC 2023上，推出了許多基于200G / lambda的1.6Tbps光學元件和收發(fā)器。在OFC 2024上，我們見證了這種1.6 Tbps光學器件的進一步技術(shù)演示。雖然我們預計到2025/2026年才能實現(xiàn)1.6Tbps的批量出貨量，但業(yè)界已經(jīng)開始努力探索實現(xiàn)3.2 Tbps的各種途徑和選擇。

考慮到從100G-PAM4電子通道速度過渡到200G-PAM4所遇到的復雜性，最初的3.2 Tbps解決方案可能在OSFP-XD外形因素中使用16條200G-PAM4通道，而不是8條400G-PAMx通道。值得注意的是，OSFP-XD最初是在兩年前的OFC 2022上進行探索和演示的，由于人工智能集群部署的緊迫性，它可能會重新投入使用。與1.6Tbps相比，OSFP-XD外形尺寸的3.2Tbps解決方案提供了更高的面板密度和成本節(jié)約。最終，業(yè)界有望找到一種基于8通道400G-PAMx SerDes實現(xiàn)3.2 Tbps的方法，盡管可能需要一些時間才能實現(xiàn)這一目標。

總之，OFC 2024展示了許多潛在的解決方案，旨在解決共同的挑戰(zhàn):成本、功率和速度。我們預計不同的超大規(guī)模廠商將做出不同的選擇，從而導致市場多樣化。然而，關鍵的考慮因素之一是上市時間。值得注意的是，AI后端網(wǎng)絡的更新周期通常在18到24個月左右，與用于連接通用服務器的傳統(tǒng)前端網(wǎng)絡的5到6年相比，這要短得多。

原文轉(zhuǎn)自：Reflecting on GTC and OFC 2024: No One-Size-Fits-All but Time to Market is Key! - Dell'Oro Group

審核編輯 黃宇