在第三屆 NVIDIA DPU 黑客松競賽中，我們見證了開發(fā)者與 NVIDIA 網(wǎng)絡(luò)技術(shù)的深度碰撞。在 23 支參賽隊(duì)伍中，有 5 支隊(duì)伍脫穎而出，展現(xiàn)了在 AI 網(wǎng)絡(luò)、存儲和安全等領(lǐng)域的創(chuàng)新突破。

黃昕陽、劉博文、任正行、張?jiān)栖?、劉翔洲組成的 Axio 團(tuán)隊(duì)在本屆黑客松中展現(xiàn)出卓越的技術(shù)實(shí)力，其創(chuàng)新項(xiàng)目“面向DPU 加速的業(yè)務(wù)的高性能數(shù)據(jù)面開發(fā)框架”，榮獲第三名。該項(xiàng)目通過系統(tǒng)化的設(shè)計(jì)原則和編程接口，有效突破了傳統(tǒng)數(shù)據(jù)面開發(fā)方法的性能瓶頸，顯著提升了 DPU 程序的開發(fā)效率。

DPU 數(shù)據(jù)面開發(fā)框架的創(chuàng)新設(shè)計(jì)與實(shí)現(xiàn)

在現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)中，DPU 的硬件架構(gòu)為高性能數(shù)據(jù)處理提供了新的可能性，然而傳統(tǒng)的開發(fā)方法難以充分發(fā)揮其潛力?；谝酝?DPU 的開發(fā)經(jīng)驗(yàn)，Axio 團(tuán)隊(duì)發(fā)現(xiàn) DPU 數(shù)據(jù)面和 CPU 或 GPU 數(shù)據(jù)面的設(shè)計(jì)原則存在顯著差異，采用傳統(tǒng)的數(shù)據(jù)面設(shè)計(jì)方法開發(fā) DPU 加速的應(yīng)用程序會導(dǎo)致性能下降?；谶@一問題，Axio 團(tuán)隊(duì)提出了一套全新的 DPU 數(shù)據(jù)面開發(fā)框架。該框架系統(tǒng)化了 DPU 硬件架構(gòu)的設(shè)計(jì)原則，開發(fā)出相應(yīng)的編程接口和運(yùn)行時(shí)框架，從而顯著提升了 DPU 加速的應(yīng)用程序的性能。

從需求分析到技術(shù)實(shí)現(xiàn)的全過程中，Axio 團(tuán)隊(duì)展現(xiàn)了扎實(shí)的專業(yè)知識和高效的協(xié)作能力。

攻克底層難題，實(shí)現(xiàn)性能提升

在開發(fā)過程中，團(tuán)隊(duì)面臨的核心挑戰(zhàn)來自于底層編程庫的“無人區(qū)”。由于框架開發(fā)涉及最底層的編程庫（如 librdma 和 flexio），網(wǎng)絡(luò)上幾乎找不到可參考的案例，團(tuán)隊(duì)遇到的每一個(gè) bug 都像一道需要原創(chuàng)解法的高數(shù)題。

“每次遇到問題，我們都需要花費(fèi)大量時(shí)間排查?！秉S昕陽解釋道。依托 DOCA 社區(qū)的幫助，團(tuán)隊(duì)仔細(xì)閱讀底層代碼庫的文檔，逐步驗(yàn)證每一個(gè) API 調(diào)用的正確性。此外，團(tuán)隊(duì)還編寫了一些示例來驗(yàn)證 DPU 的配置的合理性。最終，成功解決了這些問題，構(gòu)建出高性能的數(shù)據(jù)面框架，為后續(xù)開發(fā)防火墻、虛擬交換機(jī)等功能奠定了基礎(chǔ)。

對未來數(shù)據(jù)中心網(wǎng)絡(luò)的展望

本次項(xiàng)目的創(chuàng)新之處在于其系統(tǒng)化的設(shè)計(jì)原則和高性能的編程接口。Axio 團(tuán)隊(duì)的框架不僅解決了 DPU 開發(fā)中的性能瓶頸，還為未來數(shù)據(jù)中心網(wǎng)絡(luò)的高效運(yùn)行提供了新的可能性。展望未來，團(tuán)隊(duì)計(jì)劃結(jié)合 NVIDIA DOCA 軟件框架和 NVIDIA BlueField-3 DPU 強(qiáng)大的硬件特性，繼續(xù)深入探索 DPU 在 AI 和云場景中的更多應(yīng)用，例如加速終端內(nèi)部的數(shù)據(jù)搬運(yùn)和協(xié)議棧處理，實(shí)現(xiàn)終端負(fù)載均衡。

談及未來 DPU 領(lǐng)域的發(fā)展前景，黃昕陽指出：“在 AI 時(shí)代，DPU 憑借其獨(dú)特的生態(tài)位展現(xiàn)出巨大潛力——不僅能作為加速器優(yōu)化 GPU 間通信，還可以充當(dāng)控制器實(shí)現(xiàn)以 AI 為中心的智能組網(wǎng)，這讓我對 DPU 的未來充滿信心。”

DOCA 開發(fā)者快問快答

Q

您是從哪里了解到 NVIDIA DPU 黑客松競賽的？參賽的目標(biāo)是什么？

A

我們通過NVIDIA 官方微信公眾號了解到本次競賽。參賽的核心目標(biāo)是與其他同行交流，聽取大家對我們項(xiàng)目的建議，同時(shí)提升我們在 DPU 開發(fā)領(lǐng)域的技術(shù)能力。

Q

賽前舉辦的 DPU 線上技術(shù)訓(xùn)練營對您的備賽起到哪些幫助？

A

訓(xùn)練營讓我們對 DPU 開發(fā)庫有了更全面的了解，也提供了與 NVIDIA 專家直接溝通的機(jī)會，幫助我們少走了許多彎路。

Q

參與 NVIDIA DPU 黑客松競賽有哪些收獲？

A

最大的收獲是與同行交流，解決了一些項(xiàng)目遺留的問題。例如，在實(shí)現(xiàn) DPA 處理 RDMA 流時(shí)，我們通過交流發(fā)現(xiàn)并糾正了 DPU 配置中的錯(cuò)誤，順利完成了后續(xù)開發(fā)。

Q

您是從什么渠道了解到 NVIDIA DOCA 的？什么契機(jī)使您成為 DOCA 開發(fā)者？

A

作為網(wǎng)絡(luò)研究領(lǐng)域的博士生，我們一直關(guān)注最新的網(wǎng)絡(luò)設(shè)備。DPU 是網(wǎng)絡(luò)研究的重要工具，而 DOCA 簡化了 DPU 開發(fā)流程，因此成為 DOCA 開發(fā)者也是一種必然。最早在 2022 年接觸 DOCA 時(shí)，我主要研究 BlueField-2 DPU 的 RDMA 可編程化應(yīng)用。隨著 BlueField-3 DPU 的發(fā)布，我便轉(zhuǎn)向探索 DPU 在數(shù)據(jù)加速和 AI 負(fù)載均衡的應(yīng)用，這促使我們參加黑客松以尋求更多技術(shù)交流。

Q

最初從事 DOCA 開發(fā)時(shí)，有具體明確的目標(biāo)嗎？

A

最初的目標(biāo)是探索 DPU 在高速網(wǎng)絡(luò)中的生態(tài)位，研究其能否加速 CPU/GPU 網(wǎng)絡(luò) I/O。后來逐漸轉(zhuǎn)向 DPU OS 的優(yōu)化和特定應(yīng)用的數(shù)據(jù)面框架開發(fā)。這些都是服務(wù)于網(wǎng)絡(luò)系統(tǒng)的研究。

Q

過往有其他成功的 DOCA 開發(fā)經(jīng)歷嗎？

A

最近我們用 DPU 和 DOCA 實(shí)現(xiàn)了對 CPU I/O 通信中的 L3 緩存資源的優(yōu)化，也作為成果發(fā)表在 ACM SIGCOMM 中。這個(gè)項(xiàng)目重點(diǎn)使用 DPU 中的 DPA 和 Arm 核心作為網(wǎng)絡(luò) I/O 通信的控制器，在網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)入 L3 緩存前預(yù)先調(diào)速，防止 L3 緩存出現(xiàn)溢出；并且利用 DPU 片上 DRAM 資源去預(yù)防網(wǎng)絡(luò) burst 等場景。

我認(rèn)為 DPU 和 DOCA 是實(shí)現(xiàn)學(xué)術(shù)想法的一個(gè)的理想工具，其一是 DPU 具備強(qiáng)大的性能支撐，可提供高達(dá) 400Gbps 的網(wǎng)絡(luò)帶寬；其二是 DOCA 框架大幅降低了開發(fā)門檻，特別是 DPA 核的引入使得功能開發(fā)更加完備，相比傳統(tǒng) FPGA 開發(fā)方式顯著提升了效率。

Q

成為 DOCA 開發(fā)者對未來職業(yè)發(fā)展有何幫助？

A

成為 DOCA 開發(fā)者也可以參與到現(xiàn)在最熱門的 AI 數(shù)據(jù)中心的網(wǎng)絡(luò)研究中，這大大提升未來就業(yè)的競爭力。

Q

NVIDIA DOCA 中國開發(fā)者社區(qū)對你們有何幫助？

A

社區(qū)提供了豐富的技術(shù)資源和友好的交流環(huán)境，幫助我們解決了許多開發(fā)中的難題，也讓我們能夠與其他開發(fā)者分享經(jīng)驗(yàn)。

開發(fā)者寄語

“高性能網(wǎng)絡(luò)是現(xiàn)代數(shù)據(jù)中心的基石，也是最具挑戰(zhàn)性的領(lǐng)域之一。我們希望更多志同道合的朋友加入進(jìn)來，成為 DOCA 開發(fā)者，共同為下一代 AI 和云數(shù)據(jù)中心的網(wǎng)絡(luò)技術(shù)貢獻(xiàn)力量?！?/p>

——Axio 團(tuán)隊(duì)隊(duì)長 黃昕陽