在第三屆 NVIDIA DPU 黑客松競(jìng)賽中，我們見(jiàn)證了開(kāi)發(fā)者與 NVIDIA 網(wǎng)絡(luò)技術(shù)的深度碰撞。在 23 支參賽隊(duì)伍中，有 5 支隊(duì)伍脫穎而出，展現(xiàn)了在 AI 網(wǎng)絡(luò)、存儲(chǔ)和安全等領(lǐng)域的創(chuàng)新突破。

黃昕陽(yáng)、劉博文、任正行、張?jiān)栖帯⑾柚藿M成的 Axio 團(tuán)隊(duì)在本屆黑客松中展現(xiàn)出卓越的技術(shù)實(shí)力，其創(chuàng)新項(xiàng)目“面向DPU 加速的業(yè)務(wù)的高性能數(shù)據(jù)面開(kāi)發(fā)框架”，榮獲第三名。該項(xiàng)目通過(guò)系統(tǒng)化的設(shè)計(jì)原則和編程接口，有效突破了傳統(tǒng)數(shù)據(jù)面開(kāi)發(fā)方法的性能瓶頸，顯著提升了 DPU 程序的開(kāi)發(fā)效率。

DPU 數(shù)據(jù)面開(kāi)發(fā)框架的創(chuàng)新設(shè)計(jì)與實(shí)現(xiàn)

在現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)中，DPU 的硬件架構(gòu)為高性能數(shù)據(jù)處理提供了新的可能性，然而傳統(tǒng)的開(kāi)發(fā)方法難以充分發(fā)揮其潛力。基于以往 DPU 的開(kāi)發(fā)經(jīng)驗(yàn)，Axio 團(tuán)隊(duì)發(fā)現(xiàn) DPU 數(shù)據(jù)面和 CPU 或 GPU 數(shù)據(jù)面的設(shè)計(jì)原則存在顯著差異，采用傳統(tǒng)的數(shù)據(jù)面設(shè)計(jì)方法開(kāi)發(fā) DPU 加速的應(yīng)用程序會(huì)導(dǎo)致性能下降。基于這一問(wèn)題，Axio 團(tuán)隊(duì)提出了一套全新的 DPU 數(shù)據(jù)面開(kāi)發(fā)框架。該框架系統(tǒng)化了 DPU 硬件架構(gòu)的設(shè)計(jì)原則，開(kāi)發(fā)出相應(yīng)的編程接口和運(yùn)行時(shí)框架，從而顯著提升了 DPU 加速的應(yīng)用程序的性能。

從需求分析到技術(shù)實(shí)現(xiàn)的全過(guò)程中，Axio 團(tuán)隊(duì)展現(xiàn)了扎實(shí)的專業(yè)知識(shí)和高效的協(xié)作能力。

攻克底層難題，實(shí)現(xiàn)性能提升

在開(kāi)發(fā)過(guò)程中，團(tuán)隊(duì)面臨的核心挑戰(zhàn)來(lái)自于底層編程庫(kù)的“無(wú)人區(qū)”。由于框架開(kāi)發(fā)涉及最底層的編程庫(kù)（如 librdma 和 flexio），網(wǎng)絡(luò)上幾乎找不到可參考的案例，團(tuán)隊(duì)遇到的每一個(gè) bug 都像一道需要原創(chuàng)解法的高數(shù)題。

“每次遇到問(wèn)題，我們都需要花費(fèi)大量時(shí)間排查。”黃昕陽(yáng)解釋道。依托 DOCA 社區(qū)的幫助，團(tuán)隊(duì)仔細(xì)閱讀底層代碼庫(kù)的文檔，逐步驗(yàn)證每一個(gè) API 調(diào)用的正確性。此外，團(tuán)隊(duì)還編寫了一些示例來(lái)驗(yàn)證 DPU 的配置的合理性。最終，成功解決了這些問(wèn)題，構(gòu)建出高性能的數(shù)據(jù)面框架，為后續(xù)開(kāi)發(fā)防火墻、虛擬交換機(jī)等功能奠定了基礎(chǔ)。

對(duì)未來(lái)數(shù)據(jù)中心網(wǎng)絡(luò)的展望

本次項(xiàng)目的創(chuàng)新之處在于其系統(tǒng)化的設(shè)計(jì)原則和高性能的編程接口。Axio 團(tuán)隊(duì)的框架不僅解決了 DPU 開(kāi)發(fā)中的性能瓶頸，還為未來(lái)數(shù)據(jù)中心網(wǎng)絡(luò)的高效運(yùn)行提供了新的可能性。展望未來(lái)，團(tuán)隊(duì)計(jì)劃結(jié)合 NVIDIA DOCA 軟件框架和 NVIDIA BlueField-3 DPU 強(qiáng)大的硬件特性，繼續(xù)深入探索 DPU 在 AI 和云場(chǎng)景中的更多應(yīng)用，例如加速終端內(nèi)部的數(shù)據(jù)搬運(yùn)和協(xié)議棧處理，實(shí)現(xiàn)終端負(fù)載均衡。

談及未來(lái) DPU 領(lǐng)域的發(fā)展前景，黃昕陽(yáng)指出：“在 AI 時(shí)代，DPU 憑借其獨(dú)特的生態(tài)位展現(xiàn)出巨大潛力——不僅能作為加速器優(yōu)化 GPU 間通信，還可以充當(dāng)控制器實(shí)現(xiàn)以 AI 為中心的智能組網(wǎng)，這讓我對(duì) DPU 的未來(lái)充滿信心。”

DOCA 開(kāi)發(fā)者快問(wèn)快答

Q

您是從哪里了解到 NVIDIA DPU 黑客松競(jìng)賽的？參賽的目標(biāo)是什么？

A

我們通過(guò)NVIDIA 官方微信公眾號(hào)了解到本次競(jìng)賽。參賽的核心目標(biāo)是與其他同行交流，聽(tīng)取大家對(duì)我們項(xiàng)目的建議，同時(shí)提升我們?cè)?DPU 開(kāi)發(fā)領(lǐng)域的技術(shù)能力。

Q

賽前舉辦的 DPU 線上技術(shù)訓(xùn)練營(yíng)對(duì)您的備賽起到哪些幫助？

A

訓(xùn)練營(yíng)讓我們對(duì) DPU 開(kāi)發(fā)庫(kù)有了更全面的了解，也提供了與 NVIDIA 專家直接溝通的機(jī)會(huì)，幫助我們少走了許多彎路。

Q

參與 NVIDIA DPU 黑客松競(jìng)賽有哪些收獲？

A

最大的收獲是與同行交流，解決了一些項(xiàng)目遺留的問(wèn)題。例如，在實(shí)現(xiàn) DPA 處理 RDMA 流時(shí)，我們通過(guò)交流發(fā)現(xiàn)并糾正了 DPU 配置中的錯(cuò)誤，順利完成了后續(xù)開(kāi)發(fā)。

Q

您是從什么渠道了解到 NVIDIA DOCA 的？什么契機(jī)使您成為 DOCA 開(kāi)發(fā)者？

A

作為網(wǎng)絡(luò)研究領(lǐng)域的博士生，我們一直關(guān)注最新的網(wǎng)絡(luò)設(shè)備。DPU 是網(wǎng)絡(luò)研究的重要工具，而 DOCA 簡(jiǎn)化了 DPU 開(kāi)發(fā)流程，因此成為 DOCA 開(kāi)發(fā)者也是一種必然。最早在 2022 年接觸 DOCA 時(shí)，我主要研究 BlueField-2 DPU 的 RDMA 可編程化應(yīng)用。隨著 BlueField-3 DPU 的發(fā)布，我便轉(zhuǎn)向探索 DPU 在數(shù)據(jù)加速和 AI 負(fù)載均衡的應(yīng)用，這促使我們參加黑客松以尋求更多技術(shù)交流。

Q

最初從事 DOCA 開(kāi)發(fā)時(shí)，有具體明確的目標(biāo)嗎？

A

最初的目標(biāo)是探索 DPU 在高速網(wǎng)絡(luò)中的生態(tài)位，研究其能否加速 CPU/GPU 網(wǎng)絡(luò) I/O。后來(lái)逐漸轉(zhuǎn)向 DPU OS 的優(yōu)化和特定應(yīng)用的數(shù)據(jù)面框架開(kāi)發(fā)。這些都是服務(wù)于網(wǎng)絡(luò)系統(tǒng)的研究。

Q

過(guò)往有其他成功的 DOCA 開(kāi)發(fā)經(jīng)歷嗎？

A

最近我們用 DPU 和 DOCA 實(shí)現(xiàn)了對(duì) CPU I/O 通信中的 L3 緩存資源的優(yōu)化，也作為成果發(fā)表在 ACM SIGCOMM 中。這個(gè)項(xiàng)目重點(diǎn)使用 DPU 中的 DPA 和 Arm 核心作為網(wǎng)絡(luò) I/O 通信的控制器，在網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)入 L3 緩存前預(yù)先調(diào)速，防止 L3 緩存出現(xiàn)溢出；并且利用 DPU 片上 DRAM 資源去預(yù)防網(wǎng)絡(luò) burst 等場(chǎng)景。

我認(rèn)為 DPU 和 DOCA 是實(shí)現(xiàn)學(xué)術(shù)想法的一個(gè)的理想工具，其一是 DPU 具備強(qiáng)大的性能支撐，可提供高達(dá) 400Gbps 的網(wǎng)絡(luò)帶寬；其二是 DOCA 框架大幅降低了開(kāi)發(fā)門檻，特別是 DPA 核的引入使得功能開(kāi)發(fā)更加完備，相比傳統(tǒng) FPGA 開(kāi)發(fā)方式顯著提升了效率。

Q

成為 DOCA 開(kāi)發(fā)者對(duì)未來(lái)職業(yè)發(fā)展有何幫助？

A

成為 DOCA 開(kāi)發(fā)者也可以參與到現(xiàn)在最熱門的 AI 數(shù)據(jù)中心的網(wǎng)絡(luò)研究中，這大大提升未來(lái)就業(yè)的競(jìng)爭(zhēng)力。

Q

NVIDIA DOCA 中國(guó)開(kāi)發(fā)者社區(qū)對(duì)你們有何幫助？

A

社區(qū)提供了豐富的技術(shù)資源和友好的交流環(huán)境，幫助我們解決了許多開(kāi)發(fā)中的難題，也讓我們能夠與其他開(kāi)發(fā)者分享經(jīng)驗(yàn)。

開(kāi)發(fā)者寄語(yǔ)

“高性能網(wǎng)絡(luò)是現(xiàn)代數(shù)據(jù)中心的基石，也是最具挑戰(zhàn)性的領(lǐng)域之一。我們希望更多志同道合的朋友加入進(jìn)來(lái)，成為 DOCA 開(kāi)發(fā)者，共同為下一代 AI 和云數(shù)據(jù)中心的網(wǎng)絡(luò)技術(shù)貢獻(xiàn)力量?！?/p>

——Axio 團(tuán)隊(duì)隊(duì)長(zhǎng) 黃昕陽(yáng)