高性能計(jì)算網(wǎng)絡(luò)平臺(tái)解決方案能夠解決物探高性能計(jì)算中，基于GPU的程序必須調(diào)用 IB棧，而傳統(tǒng)TCP/IP 堆棧應(yīng)用無法支撐高性能計(jì)算網(wǎng)絡(luò)通信的問題。 ? ROCE v2架構(gòu)解決方案逐漸被客戶接受， 生態(tài)和應(yīng)用不斷成熟，同時(shí)網(wǎng)絡(luò)傳輸效率和可靠性也得到加強(qiáng)，通過ROCE v2 技術(shù)的運(yùn)營(yíng)降低了主機(jī)CPU消耗。 ?

? HPC是指利用聚集起來的計(jì)算能力來處理標(biāo)準(zhǔn)工作站無法完成的數(shù)據(jù)密集型計(jì)算任務(wù)，例如勘探業(yè)務(wù)中所需要的仿真、建模和渲染等。我們?cè)谔幚砀鞣N計(jì)算問題時(shí)常常遇到這樣的情況：由于需要大量的運(yùn)算，一臺(tái)通用的計(jì)算機(jī)無法在合理的時(shí)間內(nèi)完成工作，或者由于所需的數(shù)據(jù)量過大而可用的資源有限，導(dǎo)致根本無法執(zhí)行計(jì)算。

? HPC方法通過使用專門或高端的硬件，或是將多個(gè)單元的計(jì)算能力進(jìn)行整合，能夠有效地克服這些限制。將數(shù)據(jù)和運(yùn)算相應(yīng)地分布到多個(gè)單元中，這就需要引入并行概念。?

? 不同類型的建模問題具有不同的可并行程度。以參數(shù)化掃描為例，這種問題求解多個(gè)具有獨(dú)立的幾何、邊界條件或材料屬性的相似的模型，幾乎可以完全并行計(jì)算。具體的實(shí)現(xiàn)方法是為將每一個(gè)模型設(shè)置分配給一個(gè)計(jì)算單元。這類問題非常適合并行計(jì)算，因此通常稱為“易并行問題”并行問題對(duì)集群中的網(wǎng)絡(luò)速度和延遲非常敏感。（在其他情況下，由于網(wǎng)絡(luò)速度不夠快，無法有效處理通信，很可能導(dǎo)致速度減慢。）因此，可以將通用硬件連接起來，加快這類問題的計(jì)算速度。?

? 傳統(tǒng)網(wǎng)絡(luò)中 TCP/IP 堆棧隨著網(wǎng)絡(luò)接入帶寬的增長(zhǎng)，對(duì) CPU 的消耗越來越高，HPC 網(wǎng)絡(luò)通常采用 RDMA 技術(shù)對(duì)網(wǎng)絡(luò)減少TCP/IP 堆棧對(duì)計(jì)算節(jié)點(diǎn) CPU 的消耗，降低網(wǎng)絡(luò)傳輸延時(shí)。

? RDMA 允許在兩臺(tái)服務(wù)器的內(nèi)存之間直接轉(zhuǎn)移數(shù)據(jù)，而無需任何一臺(tái)服務(wù)器的 CPU 參與（也稱為零拷貝網(wǎng)絡(luò)），因此可實(shí)現(xiàn)更高效的通信。這種處理在支持 RDMA 的網(wǎng)絡(luò)接口卡（NIC）上進(jìn)行，并且會(huì)避開TCP/IP 堆棧，因而加快數(shù)據(jù)轉(zhuǎn)移。如此，就可以直接將數(shù)據(jù)傳送到目標(biāo)服務(wù)器上的遠(yuǎn)程內(nèi)存中，降低用于其他處理的服務(wù)器的 CPUI/O 工作負(fù)載。?

? 傳統(tǒng)的IB交換體系架構(gòu)利用了 RDMA 技術(shù)技術(shù)，通過業(yè)界最小的轉(zhuǎn)發(fā)延時(shí)，為 HPC 提供高性能低延時(shí)的網(wǎng)絡(luò)平臺(tái)，但 Infinband交換機(jī)有自己的獨(dú)立架構(gòu)體系和協(xié)議（IB 協(xié)議和規(guī)范）： ?

1. 必須和支持 IB 協(xié)議的設(shè)備進(jìn)行互聯(lián)。

2.Infinband 體系相對(duì)封閉，難以替換。

3. Infinband 體系和傳統(tǒng)網(wǎng)絡(luò)對(duì)接需要單獨(dú)的網(wǎng)關(guān)。

對(duì)于在整體 HPC 計(jì)算平臺(tái)中，存在這大量對(duì)延時(shí)并非絕對(duì)敏感的應(yīng)用，而以昂貴的 IB 交換端口來承載數(shù)目眾多的這些應(yīng)用無形中增加了企業(yè)的計(jì)算成本、維護(hù)成本、管理成本，制約了 HPC 整體系統(tǒng)的擴(kuò)展。從業(yè)界以太網(wǎng)絡(luò)基于10G/25G/40G/100G 帶寬增長(zhǎng)的趨勢(shì)的發(fā)展趨勢(shì)來看，隨著計(jì)算規(guī)模的不斷擴(kuò)增，原有很多基于 IB 建立的網(wǎng)絡(luò)無論從帶寬介質(zhì)形態(tài)，端口密度等都需要擴(kuò)容，對(duì)于非延時(shí)絕對(duì)要求的 HPC 應(yīng)用接入，都傾向于采用以太網(wǎng)替換原有 IB 交換機(jī)以降低成本。? ? RoCE 規(guī)范在以太網(wǎng)上實(shí)現(xiàn)了 RDMA 功能，ROCE 需要無損網(wǎng)絡(luò)，RoCE的主要優(yōu)勢(shì)在于它的延遲較低，因此可提高網(wǎng)絡(luò)利用率；同時(shí)它可避開TCP/IP 并采用硬件卸載，因此 CPU 利用率也較低。 ?

? 新 RoCEv2 標(biāo)準(zhǔn)可實(shí)現(xiàn) RDMA 路由在第三層以太網(wǎng)網(wǎng)絡(luò)中的傳輸。RoCEv2 規(guī)范將用以太網(wǎng)鏈路層上的 IP 報(bào)頭和 UDP 報(bào)頭替代 InfiniBand 網(wǎng)絡(luò)層。這樣，就可以在基于 IP 的傳統(tǒng)路由器之間路由 RoCE。? ?

RoCE v1協(xié)議：基于以太網(wǎng)承載 RDMA，只能部署于二層網(wǎng)絡(luò)，它的報(bào)文結(jié)構(gòu)是在原有的 IB架構(gòu)的報(bào)文上增加二層以太網(wǎng)的報(bào)文頭，通過 Ethertype 0x8915 標(biāo)識(shí) RoCE 報(bào)文。?

RoCE v2協(xié)議：基于 UDP/IP 協(xié)議承載 RDMA，可部署于三層網(wǎng)絡(luò)，它的報(bào)文結(jié)構(gòu)是在原有的 IB 架構(gòu)的報(bào)文上增加UDP頭、IP 頭和二層以太網(wǎng)報(bào)文頭，通過 UDP 目的端口號(hào) 4791 標(biāo) 識(shí) RoCE 報(bào)文。RoCE v2 支持基于源端口號(hào) hash，采用 ECMP 實(shí)現(xiàn)負(fù)載分擔(dān)，提高了網(wǎng)絡(luò)的利用率。

利用這項(xiàng)創(chuàng)新，業(yè)界就能夠滿足企業(yè)內(nèi)日益增長(zhǎng)的高性能和橫向擴(kuò)展架構(gòu)需求。RoCEv2 可幫助其實(shí)現(xiàn)融合路徑的持續(xù)性并提供高度密集的數(shù)據(jù)中心，同時(shí)為基于 IB 的應(yīng)用移植，提供了快速遷移的方式，減少了開發(fā)工作量，提高了用戶部署應(yīng)用和遷移應(yīng)用的效率。 ?

? 國(guó)內(nèi)華為、浪潮、華三等主流網(wǎng)絡(luò)廠商都支持RoCE網(wǎng)絡(luò)方案。以浪潮為例，典型方案采用CN12000 接入核心，形成三張網(wǎng)：計(jì)算網(wǎng)、管理網(wǎng)、存儲(chǔ)網(wǎng)，在計(jì)算網(wǎng)實(shí)現(xiàn)高密度，高轉(zhuǎn)發(fā)，配合主機(jī)實(shí)現(xiàn) RDMA 關(guān)鍵技術(shù)的運(yùn)用，實(shí)現(xiàn)基于 IB 協(xié)議開發(fā)的高性能應(yīng)用平滑遷移到更低成本的以太交換網(wǎng)絡(luò)中來。 ? 網(wǎng)絡(luò)高性能產(chǎn)品的支持，極大簡(jiǎn)化了高性能網(wǎng)絡(luò)架構(gòu)，并降低了多級(jí)架構(gòu)層次造成的延時(shí)，為關(guān)鍵計(jì)算節(jié)點(diǎn)接入帶寬的平滑升級(jí)提供有力支撐。采用 RoCEv2 標(biāo)準(zhǔn)作為核心，通過對(duì)計(jì)算節(jié)點(diǎn) RoCEv2、DCE/DCB 的支持，消除了程序移植帶來的復(fù)雜性和額外的工作量，降低了計(jì)算節(jié)點(diǎn) TCP/IP 堆棧對(duì)主機(jī) CPU 的消耗。?

? 核心網(wǎng)絡(luò)通過PFC/RoCE等技術(shù)的支撐，使得高性能計(jì)算網(wǎng)絡(luò)具備更高的開放性，在沒有降低計(jì)算效率的前提下，降低了整個(gè)高性能集群平臺(tái)建設(shè)的成本。 ?

編輯：黃飛

?