NVIDIA ConnectX 智能網卡及開源 UCX 框架幫助網易高性能 RDMA 網絡通訊功能實現(xiàn)更優(yōu)表現(xiàn),助力網易通過 Curve 開源項目為 Apache BRPC 自主實現(xiàn)高性能的 RDMA 網絡通訊。
網易亟需打造一款高吞吐和低延遲的分布式存儲系統(tǒng)
如何為用戶提供性能優(yōu)異、易于部署的分布式存儲系統(tǒng),特別是如何在遠程訪問存儲時提高吞吐和降低延遲是網易面臨的主要挑戰(zhàn)。雖然在自研的 Curve 開源項目下已經支持了 Apache BRPC ,并具備了一定的遠程方位存儲的網絡通訊能力,但是并未實現(xiàn)對 RDMA 網絡通訊的支持,并借助 RDMA 網絡通訊能力來實現(xiàn)高吞吐和低延遲,從而提升整體開源云原生分布式存儲系統(tǒng)的性能。
NVIDIA ConnectX 智能網卡
為網易 Curve 開源項目提供解決方案
網易的 Curve 開源項目下支持 Apache BRPC ,并自研實現(xiàn)了 RDMA 網絡通訊功能,而其采用的 NVIDIA ConnectX 智能網卡及開源 UCX 框架的底層軟硬件基礎設施,幫助其更好地為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 Curve 是云原生計算基金會(CNCF)沙箱(Sandbox)項目,它是網易主導自研和開源的高性能、易運維、云原生的分布式存儲系統(tǒng),由塊存儲 CurveBS 和文件系統(tǒng) CurveFS 兩部分組成,可應用于主流的云原生基礎設施平臺:
對接 OpenStack 平臺為云主機提供高性能塊存儲服務;
對接 Kubernetes 為其提供 RWO 、RWX 等類型的持久化存儲卷;
對接 PolarFS 作為云原生數(shù)據庫的高性能存儲底座,完美支持云原生數(shù)據庫的存算分離架構。
Curve 亦可作為云存儲中間件,使用與 S3 兼容的對象存儲作為數(shù)據存儲引擎,為公有云用戶提供高性價比的共享文件存儲系統(tǒng)。 網易致力于通過 Curve 開源項目自主研發(fā)云原生的分布式存儲系統(tǒng),為不同應用場景下的存儲需求,提供大容量、高性能、易運維、低成本的開源彈性存儲解決方案。而其最新為 BRPC 自研的 RDMA 網絡通訊功能,將會極大的簡化 RDMA 網絡通訊的實現(xiàn)和提升遠程存儲訪問的性能,為 Curve 開源項目提供高性能、低延遲的本地和遠程存儲訪問體驗,同時提供良好的上層 API 兼容性和透明性,使 Curve 成為更為完善的云原生分布式存儲系統(tǒng),從而驅動其在開源的分布式存儲領域得到廣泛的應用。
NVIDIA ConnectX 智能網卡
助力 RDMA 網絡通訊功能發(fā)揮優(yōu)異性能
該 RDMA 網絡通訊功能完美的運行在采用 NVIDIA ConnectX 智能網卡及開源 UCX 框架(NVIDIA 是開源項目 UCX 的核心成員和主要貢獻者)的底層軟硬件基礎設施上,將會發(fā)揮出更優(yōu)異的性能表現(xiàn),滿足用戶對分布式存儲系統(tǒng)高性能、低延遲的需求,并大幅降低主機 CPU 開銷,為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 具體來說,網易在 NVIDIA Connect X 智能網卡的驅動下實現(xiàn) UCX 框架中的 UCP(Unified Communication for Protocols):
極大簡化了 RDMA 網絡通訊在分布式存儲應用場景下的實現(xiàn),且支持的 RDMA 接口具有良好的 API 兼容性
基于高性能的 NVIDIA ConnectX 智能網卡,將實現(xiàn)更為出色的 RDMA 網絡通訊性能,IO 時延得到極大改善
即時將 RDMA 網絡通訊能力體現(xiàn)在 Curve 后續(xù)的開源軟件版本中,驅動云原生分布式存儲系統(tǒng)的廣泛應用
如今,Curve 開源項目的 RDMA 網絡通訊功能已經實現(xiàn),將會在后續(xù)的 Curve 版本中發(fā)布。想要深入了解網易是如何為 BRPC 實現(xiàn) RDMA 網絡通訊功能,請點擊“閱讀全文”。
審核編輯:湯梓紅
-
NVIDIA
+關注
關注
14文章
5496瀏覽量
109119 -
分布式存儲
+關注
關注
4文章
182瀏覽量
20112 -
智能網卡
+關注
關注
1文章
53瀏覽量
12699
原文標題:NVIDIA ConnectX 智能網卡驅動 RDMA 通訊技術在分布式存儲的應用
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
在NVIDIA DGX Spark平臺上對NVIDIA ConnectX-7 200G網卡配置教程
【節(jié)能學院】Acrel-1000DP分布式光伏監(jiān)控系統(tǒng)在奉賢平高食品 4.4MW 分布式光伏中應用
分布式光伏發(fā)電監(jiān)測系統(tǒng)技術方案
一鍵部署無損網絡:EasyRoCE助力分布式存儲效能革命
Ceph分布式存儲系統(tǒng)解析
雙電機分布式驅動汽車高速穩(wěn)定性機電耦合控制
RDMA簡介2之A技術優(yōu)勢分析
曙光存儲領跑中國分布式存儲市場
兆芯+圖云創(chuàng)智—可信分布式存儲系統(tǒng)解決方案
抗干擾CAN總線通信技術在分布式電力系統(tǒng)中的應用
一文詳解以太網RDMA技術

NVIDIA ConnectX智能網卡驅動RDMA通訊技術在分布式存儲的應用
評論