設(shè)計IP需要考慮如下因素：
1）基于 IBTA 1.5 協(xié)議規(guī)范，支持 RoCE v2 標準協(xié)議傳輸，同時支持 ARP協(xié)議和 ICMP 協(xié)議。
2）基于 Xilinx CMAC 集成塊進行開發(fā)并獨立設(shè)計 UDP/IP 協(xié)議棧。一方面，CMAC 集成塊具有多種版本，并且適用平臺多，因此本數(shù)據(jù)傳輸系統(tǒng)能夠部署在支持 CMAC 集成塊的 FPGA 開發(fā)板上。另一方面，獨立設(shè)計 UDP/IP 協(xié)議棧能夠讓本設(shè)計具有更高的數(shù)據(jù)傳輸性能并進一步降低資源占用。
3）采用純邏輯電路開發(fā)。設(shè)計基于純邏輯電路，可以脫離 MCU 控制獨立運行，兼容 SoC 環(huán)境與純邏輯環(huán)境。
4）使用標準 AXI 總線接口，設(shè)計使用標準化的 AXI4 及 AXI-Stream 總線接口進行數(shù)據(jù)傳輸，同時使用標準化的 AXI-Lite 總線接口提供系統(tǒng)控制功能，在保證傳輸性能的同時，使得本設(shè)計更容易集成到應(yīng)用、生產(chǎn)環(huán)境中。
5）多隊列并行管理及控制。支持系統(tǒng)運行過程中進行創(chuàng)建隊列、刪除隊列、隊列更改等操作。
6）DMA 傳輸。通過配置 DMA 寄存器實現(xiàn)直接的數(shù)據(jù)傳輸請求，同時使用突發(fā)傳輸來提高數(shù)據(jù)傳輸性能。

IP框架
這里重點討論PC與FPGA之間采用RDMA RoCE v2 高速數(shù)據(jù)傳輸，F(xiàn)PGA與FPGA后面介紹。該IP系統(tǒng)的整體架構(gòu)如圖 1 所示。它通過 QSFP28 接口連接上位機進行數(shù)據(jù)傳輸；通過AXI-Lite 接口進行系統(tǒng)控制；AXI4 接口進行數(shù)據(jù)傳輸。在系統(tǒng)內(nèi)部，根據(jù)功能劃分為系統(tǒng)控制模塊、融合以太網(wǎng)協(xié)議棧、以太網(wǎng)協(xié)議棧和 CMAC 集成塊。以下為各功能模塊的定義。

圖1 RDMA over RoCE V2 IP框圖

該IP控制模塊是實現(xiàn)系統(tǒng)功能控制的核心模塊。RoCE v2 高速數(shù)據(jù)傳輸系統(tǒng)內(nèi)部集成了多種功能，包括 RDMA 建鏈、RDMA 隊列管理、DMA 傳輸和系統(tǒng)監(jiān)控等。
這些功能均由系統(tǒng)控制模塊進行管理。為了對這些功能進行高效的管理，系統(tǒng)控制模塊設(shè)計了對應(yīng)的功能控制單元及相應(yīng)的寄存器，并將這些寄存器抽象為 AXI-Lite 從機端接口，使得本數(shù)據(jù)傳輸系統(tǒng)可以簡易地集成進用戶環(huán)境。同時通過 AXI-Lite 接口，用戶可以高效的與本數(shù)據(jù)傳輸系統(tǒng)進行交互，實現(xiàn)對系統(tǒng)功能的控制，而不必了解本IP的底層工作邏輯。
融合以太網(wǎng)協(xié)議棧是實現(xiàn) RoCE v2 命令提交和完成機制的核心模塊，完成網(wǎng)絡(luò)層級中網(wǎng)絡(luò)層及應(yīng)用層功能。該模塊負責將來自系統(tǒng)控制模塊的功能請求轉(zhuǎn)換為RoCE v2 指令，如建鏈、斷鏈、數(shù)據(jù)傳輸，并執(zhí)行指令提交及完成機制。此外，該模塊還實現(xiàn)了 RDMA 隊列管理功能，包括隊列存儲、隊列創(chuàng)建及刪除、隊列仲裁等功能。同時，本模塊也負責控制 DMA 數(shù)據(jù)讀寫，將數(shù)據(jù)讀寫請求轉(zhuǎn)換為 AXI4 總線事務(wù)，通過 AXI4 總線接口讀寫數(shù)據(jù)，并負責 RoCE v2 網(wǎng)絡(luò)包的封裝、解析、不變循環(huán)冗余校驗(ICRC)生成等功能。
以太網(wǎng)協(xié)議棧模塊負責解析及組裝網(wǎng)絡(luò)包，完成網(wǎng)絡(luò)層級中傳輸層、網(wǎng)絡(luò)層及網(wǎng)絡(luò)接口層功能。首先，該模塊接收來自融合以太網(wǎng)協(xié)議棧的網(wǎng)絡(luò)包，并為其逐層添加UDP、IP 及 ETH 頭部，使其成為完整的網(wǎng)絡(luò)包后發(fā)送至 CMAC 集成塊。其次，該模塊解析來自遠程主機的 ARP 或 ICMP 網(wǎng)絡(luò)包，用以實現(xiàn)網(wǎng)絡(luò)嗅探功能。最后，該模塊負責接收 CMAC 集成塊傳輸過來的網(wǎng)絡(luò)包，并對其進行解包和解析，而后根據(jù)包的功能分發(fā)到相應(yīng)模塊或子模塊。最后，該模塊還實現(xiàn)了網(wǎng)絡(luò)擁塞處理及流量控制機
制，如 ECN 協(xié)議或 PFC 協(xié)議。

B站已給出相關(guān)性能的視頻，如想進一步了解，請搜索B站用戶：專注與守望
鏈接：https://space.bilibili.com/585132944/dynamic?spm_id_from=333.1365.list.card_title.click


審核編輯 黃宇