8月25日，在青島舉行的全國高性能計算學術(shù)年會大會（CCF HPC China 2023）上，2023華為高性能計算解決方案分論壇同步舉辦。來自北京大學計算中心工程師付振新分享了“北京大學高性能計算平臺超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案實踐”。

為滿足校內(nèi)的教學科研計算需求，北京大學從2018年起陸續(xù)建設(shè)了“未名一號”、“未名生科一號”、“未名教學二號”等高性能計算集群，有力地提升了校內(nèi)的算力供應(yīng)能力。隨著承載的用戶、計算任務(wù)和數(shù)據(jù)量不斷增加，原有平臺的網(wǎng)絡(luò)基礎(chǔ)設(shè)施性能逐漸不敷使用，因此北京大學在2023年進行了高性能計算平臺的系統(tǒng)及網(wǎng)絡(luò)改造項目。經(jīng)過全方位的綜合評估，北京大學最終選擇了華為超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案，實現(xiàn)高性能計算平臺的大提速，真正釋放算力基礎(chǔ)設(shè)施的全部潛力。

進入二十一世紀以來，人類的科學探索逐漸深入高度復(fù)雜、高度不確定性的新環(huán)境，大量龐大而復(fù)雜的科學問題需要借助超級計算機來進行模擬、仿真、預(yù)測。從傳統(tǒng)的化學化工、生物制藥、高能物理、金融工程、社會治理，到新興的大數(shù)據(jù)、人工智能、網(wǎng)絡(luò)信息安全等等，都因強大算力的加持而取得了超出以往的全新進展和成果。

北京大學早在2018年就建成了高性能計算校級公共平臺，先后建成投用了“未名一號”、“未名教學二號”、“未名生科一號”等5套集群。不過隨著平臺使用人數(shù)、計算任務(wù)的增加，網(wǎng)絡(luò)基礎(chǔ)設(shè)施的流量吞吐量和復(fù)雜性都大大增加，年均節(jié)點占用率都在80%以上，“未名生科一號”的節(jié)點占用率甚至長期處于95%以上，作業(yè)時間和排隊時間變得越來越漫長。針對這一問題，幾家供應(yīng)商分別提出了基于IB、RoCEv1、RoCEv2等技術(shù)打造的網(wǎng)絡(luò)方案。在北京大學組織的基準測試和通用地球系統(tǒng)模式CESM、分子動力學軟件VASP等應(yīng)用場景測試中，華為提供的基于RoCEv2的超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案表現(xiàn)出了優(yōu)異性能，能夠有效縮短作業(yè)運行時間和排隊時間，于是成功入選北京大學高性能計算平臺的改造項目。

為適應(yīng)用戶對計算效率、時延、擴展性等方面的苛刻要求，高性能計算需要在不同節(jié)點之間實時高速傳遞海量數(shù)據(jù)，這對服務(wù)器互連方案的要求非常高。目前業(yè)界主流的計算互聯(lián)協(xié)議有RoCE和IB兩種，其中IB具有高吞吐、低時延、高可靠性等特點，技術(shù)先進，不過主要掌握在英特爾、IBM、英偉達等企業(yè)手中，技術(shù)和產(chǎn)品生態(tài)都比較封閉，成本高昂。RoCE則是一種基于以太網(wǎng)絡(luò)的RDMA網(wǎng)絡(luò)協(xié)議，生態(tài)相對開放，而且著力于實現(xiàn)網(wǎng)絡(luò)的無損傳輸，深受各國高性能計算和AI等產(chǎn)業(yè)歡迎，被認為是未來全球數(shù)字化的重要路徑。

華為基于RoCE的超融合以太技術(shù)，具有完善的流量控制、擁塞控制、流量調(diào)度和應(yīng)用加速功能，獨家實現(xiàn)了以太網(wǎng)0丟包。此外，華為還開發(fā)了在網(wǎng)計算（INC）技術(shù)有效提高集合通信效率、降低總的任務(wù)完成時間，在時延方面比IB略勝一籌。

在北京大學組織的測試中，共有TCP/IP、IB、RoCEv2三種方案，分別用基準測試工具Linpack和地球系統(tǒng)模式CESM、分子動力學軟件VASP等應(yīng)用進行實驗。結(jié)果表明，承載VASP應(yīng)用時，華為100GE RoCEv2略優(yōu)于IB；承載Linpack和CESM時，華為方案與IB性能表現(xiàn)基本一致。此前權(quán)威評測機構(gòu)Tolly也曾做過測試，在擁塞條件下的帶寬和時延等基礎(chǔ)性能測試、MPI計算性能基準測試以及HPC應(yīng)用測試中，華為方案的性能都優(yōu)于其它廠商的IB組網(wǎng)方案。這些實測結(jié)果都表明，華為超融合以太網(wǎng)絡(luò)解決方案可完全可以代替IB方案。

近年來，華為超融合以太網(wǎng)絡(luò)解決方案已經(jīng)在國內(nèi)外多個高性能計算平臺項目中落地應(yīng)用。比如在2022年，華為超融合以太網(wǎng)絡(luò)解決方案還在武漢超算中心、阿聯(lián)酋高級國家研究和教育網(wǎng)絡(luò)Ankabut項目中投入了應(yīng)用，因其卓越性能而得到了客戶的高度評價。

在北京大學高性能計算平臺的前期項目中，“未名二號”集群就采用了華為100GE RoCE無損以太網(wǎng)絡(luò)方案。“未名二號”由240臺CPU計算節(jié)點和30臺GPU計算節(jié)點組成，后續(xù)可擴容至340臺CPU計算節(jié)點。與IB方案相比，北京大學高性能計算平臺管理人員發(fā)現(xiàn)華為RoCE方案無需用戶改變使用習慣，以太網(wǎng)帶寬增加更快，性能也超出預(yù)期。

隨著HPC和AI應(yīng)用的快速發(fā)展，對網(wǎng)絡(luò)帶寬吞吐的需求將不斷增長，從100GE、200GE、400GE到800GE等更高速率不斷演進的以太網(wǎng)絡(luò)無疑是最佳的承載技術(shù)。與此同時，RoCE無損以太網(wǎng)絡(luò)在時延、吞吐量、可靠性、編解碼和調(diào)制技術(shù)等方面也在不斷進步，使得無損以太網(wǎng)絡(luò)的總體性能不斷提高，未來有望在自動駕駛、智能制造、生物科技、金融等更多行業(yè)和領(lǐng)域投入應(yīng)用。