NVIDIA 將率先為 AI 工廠引入采用光電一體封裝 (CPO) 的優(yōu)化以太網(wǎng)網(wǎng)絡(luò)，通過 NVIDIA Spectrum-X 以太網(wǎng)硅光技術(shù)，為 NVIDIA Rubin 平臺實現(xiàn)橫向擴展 (scale-out)和跨區(qū)域擴展 (scale-across) ，成為萬億參數(shù) AI 基礎(chǔ)設(shè)施的旗艦交換機。

本文探討了 Spectrum-X 以太網(wǎng)硅光技術(shù)在協(xié)議和硬件方面的關(guān)鍵優(yōu)化和創(chuàng)新，這些優(yōu)化和創(chuàng)新為十億瓦級 (Gigascale) AI 工廠實現(xiàn)節(jié)能、高效、可靠且彈性的 CPO 網(wǎng)絡(luò)。

專門面向AI的以太網(wǎng)如何在NVIDIA Rubin平臺上實現(xiàn)可擴展的訓練和推理

超低抖動以太網(wǎng)網(wǎng)絡(luò)在擴展 AI 工廠方面發(fā)揮著至關(guān)重要的作用，因為它可確保在整個基礎(chǔ)設(shè)施中進行一致且可靠的數(shù)據(jù)傳輸。通過最大限度地減少抖動，無論批量大小，AI 系統(tǒng)始終可以實現(xiàn)高效的 token 吞吐量，這對于處理各種要求苛刻的工作負載至關(guān)重要。同時支持在單個 AI 工廠內(nèi)無縫實現(xiàn)多租戶，使多個用戶和應(yīng)用能夠同時運行，而不會降低性能。

它還提高了基于混合專家模型 (MoE) 架構(gòu)的調(diào)度效率，實現(xiàn)更快的專家選擇并提高整體模型性能，如圖 1 所示。因此，AI 工廠能夠以更快的速度、更高的可靠性和可擴展性運行。

圖 1. 與通用以太網(wǎng)相比，NVIDIA Spectrum-X 以太網(wǎng)提供更低通信抖動和更高的 NVIDIA 集合通信庫 (NCCL) 性能

Spectrum-X以太網(wǎng)硅光技術(shù)為AI工廠光互連實現(xiàn)技術(shù)創(chuàng)新

Spectrum-X 以太網(wǎng)硅光交換機通過光電一體封裝 (CPO) 的硅光引擎進一步提高 AI 工廠的性能。

與可插拔互連方案相比，新封裝和低損耗光電通道將 1.6 Tb/s 端口功耗降低到五分之一。

與通用以太網(wǎng)方案相比，CPO 方案光電鏈路可將鏈路無閃斷的 AI 正常運行時間延長 5 倍，賦能 AI 工作負載無中斷運行。

網(wǎng)絡(luò)可靠性提高 10 倍，為任務(wù)關(guān)鍵型應(yīng)用提供出色的魯棒性。

借助這些創(chuàng)新，企業(yè)組織可以擴展其 AI 基礎(chǔ)設(shè)施并提高每瓦性能，支持更大的工作負載，同時保持更佳能效、可靠性和網(wǎng)絡(luò)穩(wěn)定性。

Spectrum-X 以太網(wǎng) Photonics 是全球首款完全集成 512 個 200G 通道的光電一體封裝硅光交換機系統(tǒng)。其采用的表面法線 I/O (surface-normal input/output) 可拆式光纖連接器技術(shù)先進，提高了 AI 工廠高性能以太網(wǎng)交換機的組裝和可擴展性。通過在最后階段使用精密機械操作的全自動光纖連接流程，制造商可以更大限度地提高產(chǎn)量和吞吐量，簡化大規(guī)模部署。

表面法線 I/O 架構(gòu)能夠在不增加交換機封裝物理尺寸的情況下擴展光端口。這對于高基數(shù)交換機尤其有利，因為交換機需要在緊湊的空間內(nèi)進行大量連接，以支持龐大的 AI 工作負載。

兼容回流焊接 (solder-reflow) 光引擎也是一項突破，可與現(xiàn)代測試和組裝工具無縫集成。這種兼容性可在貼到交換芯片之前對光學組件進行全面篩查，確保僅使用已知良好的引擎，從而實現(xiàn) 100% 良率保障。該流程受益于拾放 (pick-and-place) 自動化和全面的預(yù)組裝測試，共同為這些先進的交換機系統(tǒng)提供了高效的制造途徑。

在四芯片交換機架構(gòu)中集成 shuffle 機制是另一項關(guān)鍵創(chuàng)新，可在單個集群內(nèi)實現(xiàn) GPU 的扁平化和高效擴展。這種拓撲消除了傳統(tǒng)方案中額外交換層引起的延遲，隨著集群的增長保持極佳性能。SN6800 交換機可通過 512 個 800 Gb/s 端口或 2048 個 200 Gb/s 端口提供 409.6 Tb/s 的總帶寬，利用其集成的光纖 shuffle 和光電一體封裝的硅光技術(shù)建立空間高效和節(jié)能高效的以太網(wǎng)解決方案。這些綜合創(chuàng)新為 AI 工廠創(chuàng)建了強大、可擴展的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，助力新一代 AI 應(yīng)用。

AI工廠網(wǎng)絡(luò)創(chuàng)新的下一步發(fā)展方向

這種全面的協(xié)同設(shè)計方法 (包括芯片、系統(tǒng)、軟件和 AI 模型) 有助于開發(fā)可擴展、高性能的 AI 工廠。Spectrum-X 以太網(wǎng)硅光交換機可為 AI 工廠提供超低抖動網(wǎng)絡(luò)，從而提高速度、可靠性和可擴展性，為新一代應(yīng)用建立強大的基礎(chǔ)設(shè)施。有關(guān)更多信息，請參閱NVIDIA 硅光技術(shù)頁面。

關(guān)于作者

Ashkan Seyedi 是產(chǎn)品營銷總監(jiān)，致力于為 AI 和高性能計算開發(fā)高帶寬、高效的光互連產(chǎn)品。他曾就職于英特爾和慧與。Ashkan 在哥倫比亞大學擁有電氣和計算機工程雙學士學位，并在南加州大學獲得博士學位，從事光子晶體設(shè)備、高速納米線光探測器、高效白光 LED 和太陽能電池的研究。

查看 Ashkan Seyedi 所有文章