5月28日，奇點(diǎn)云2024 StartDT Day數(shù)智科技大會(huì)暨產(chǎn)品發(fā)布會(huì)召開，同期發(fā)布了2024年版《OLAP數(shù)據(jù)庫引擎選型白皮書》，為業(yè)界伙伴提供最新的選型參考。作為奇點(diǎn)云生態(tài)合作伙伴，中科馭數(shù)分享的國(guó)產(chǎn)DPU對(duì)Apache Spark的加速效果測(cè)試成果，成為本次白皮書的亮點(diǎn)章節(jié)之一。

近年來，大數(shù)據(jù)行業(yè)的蓬勃發(fā)展除了由軟件層的持續(xù)迭代創(chuàng)新推動(dòng)，也有賴于計(jì)算機(jī)硬件環(huán)境的持續(xù)優(yōu)化。業(yè)內(nèi)越來越多觀點(diǎn)認(rèn)為，DPU則可以在數(shù)據(jù)流上就近計(jì)算，實(shí)現(xiàn)數(shù)據(jù)處理的低時(shí)延和高吞吐，更具靈活性與效率，CPU+DPU的異構(gòu)計(jì)算解決方案將是應(yīng)對(duì)大數(shù)據(jù)性能瓶頸的新趨勢(shì)，DPU也越來越得到數(shù)據(jù)中心運(yùn)營(yíng)商和大數(shù)據(jù)軟件廠商的關(guān)注。

在這一背景下，奇點(diǎn)云與中科馭數(shù)攜手合作，針對(duì)“Spark+Hive”這一典型大數(shù)據(jù)計(jì)算場(chǎng)景，開展了DPU與CPU環(huán)境下的性能對(duì)比測(cè)評(píng)。在評(píng)測(cè)方案中，引入了中科馭數(shù)基于DPU的Spark加速解決方案中最底層的DPU硬件、HADOS平臺(tái)層，以及專門針對(duì)Spark的DPU加速層，可以無縫集成至現(xiàn)有Spark生態(tài)系統(tǒng)。

經(jīng)對(duì)比測(cè)試，DPU技術(shù)的應(yīng)用顯著提高了數(shù)據(jù)處理效率、以及資源利用率。在數(shù)據(jù)計(jì)算和處理場(chǎng)景中，DPU環(huán)境相較于傳統(tǒng)CPU環(huán)境下的查詢性能提升可達(dá)50%-60%。同時(shí)，DPU環(huán)境下整體較CPU環(huán)境的峰值性能資源有優(yōu)化，整機(jī)CPU峰值降低24%，內(nèi)存消耗減少50%，且系統(tǒng)運(yùn)行更加穩(wěn)定。

目前，適配國(guó)產(chǎn)環(huán)境已成為金融、政企等多個(gè)領(lǐng)域企業(yè)對(duì)系統(tǒng)選型、改造的硬性要求。身處浪潮之中的DPU，其廣泛應(yīng)用與價(jià)值釋放，同樣也離不開與眾多軟硬件提供商的緊密合作及行業(yè)生態(tài)的共同構(gòu)建。中科馭數(shù)也希望通過與奇點(diǎn)云等廠商開展技術(shù)測(cè)評(píng)合作，來加深與產(chǎn)業(yè)鏈各方的協(xié)作，實(shí)踐DPU價(jià)值落地，共同推動(dòng)DPU技術(shù)與解決方案在各行各業(yè)的深度融合，從而更有效地賦能終端用戶，提供更加高效、定制化的產(chǎn)品和服務(wù)。