資料介紹
針對Spark數(shù)據(jù)集不可變,以及Java虛擬機(JVM)依賴環(huán)境引起的代碼執(zhí)行、內(nèi)存管理、數(shù)據(jù)序列化/反序列化等開銷過多的不足,采用C/C++語言,設(shè)計并實現(xiàn)了一種輕量級的大數(shù)據(jù)運算系統(tǒng)-Helius。Helius支持Spark的基本操作,同時允許數(shù)據(jù)集整體修改;同時,Helius利用C/C++優(yōu)化內(nèi)存管理和網(wǎng)絡(luò)傳輸,并采用stateless worker機制簡化分布式計算平臺的容錯恢復(fù)過程。實驗結(jié)果顯示:5次迭代中,Helius運行PageRank算法的時間僅為Spark的25. 12% - 53. 14%,運行TPCH Q6的時間僅為Spark的57. 37%;在PageRank迭代1次的基礎(chǔ)上,運行在Helius系統(tǒng)下時,master節(jié)點IP接收和發(fā)送數(shù)據(jù)量約為運行于Spark系統(tǒng)的40%和15%,而且200 s的運行過程中,Helius占用的總內(nèi)存約為Spark的25%。實驗結(jié)果與分析表明,與Spark相比,Helius具有節(jié)約內(nèi)存、不需要序列化和反序列化、減少網(wǎng)絡(luò)交互以及容錯簡單等優(yōu)點。
- 輕量級的SDN數(shù)據(jù)包轉(zhuǎn)發(fā)驗證方案 10次下載
- 基于Feistel結(jié)構(gòu)的超輕量級分組密碼算法 4次下載
- 基于輕量級虛擬化的LDDoS仿真攻防方法 6次下載
- 輕量級分布式機器學(xué)習(xí)系統(tǒng)及算法 16次下載
- 基于YOLO改進(jìn)的輕量級交通標(biāo)識檢測模型 12次下載
- 一種逐層分組卷積并構(gòu)建輕量級網(wǎng)絡(luò)結(jié)構(gòu)SKASNet 10次下載
- 一種輕量級時間卷積網(wǎng)絡(luò)設(shè)計方案 6次下載
- 基于位重排變換的超輕量級RFID雙向認(rèn)證協(xié)議 2次下載
- Protothreads極輕量級系統(tǒng)的詳細(xì)資料簡介
- 輕量級協(xié)議棧LWIP如何進(jìn)行分析與改進(jìn) 5次下載
- 一種超輕量級群組射頻識別標(biāo)簽所有權(quán)轉(zhuǎn)移協(xié)議 1次下載
- 一種輕量級的大數(shù)據(jù)分析系統(tǒng) 10次下載
- 輕量級RFID安全協(xié)議 22次下載
- 一種嵌入式Linux輕量級GUI系統(tǒng)設(shè)計
- 一種嵌入式Linux輕量級GUI系統(tǒng)設(shè)計
- 基于Openharmony輕量級操作系統(tǒng)的分布式數(shù)據(jù)管理開發(fā)案例 1012次閱讀
- Linux輕量級工具集合Busybox的特點和使用 1448次閱讀
- 一個輕量級的權(quán)限認(rèn)證框架:Sa-Token 2203次閱讀
- 分享一個適合單片機的輕量級日志庫 1593次閱讀
- 一個純Python編寫的輕量級數(shù)據(jù)庫 856次閱讀
- 針對單片機開發(fā)的輕量級OTA組件 1427次閱讀
- TinyDB輕量級數(shù)據(jù)庫有哪些特點呢 1503次閱讀
- 一款適合初學(xué)者超輕量級C語言網(wǎng)絡(luò)庫—Dyad 2015次閱讀
- 輕量級Kubernetes-K3S工具介紹 2527次閱讀
- 一種基于智慧運營平臺,將大數(shù)據(jù)技術(shù)和數(shù)據(jù)挖掘技術(shù)相結(jié)合 7481次閱讀
- 一種網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法 4484次閱讀
- 全球首款輕量級機械臂已經(jīng)出現(xiàn)了! 7535次閱讀
- 谷歌開源TFGAN輕量級的工具庫 目的是讓訓(xùn)練和評估GAN變得更加簡單 4963次閱讀
- 谷歌開發(fā)一個輕量級的庫——TFGAN 它可以讓生成對抗網(wǎng)絡(luò)更易于實驗 5541次閱讀
- 一種AES密碼算法的實現(xiàn) 3174次閱讀
下載排行
本周
- 1涂鴉各WiFi模塊原理圖加PCB封裝
- 11.75 MB | 76次下載 | 1 積分
- 2錦銳科技CA51F2 SDK開發(fā)包
- 24.06 MB | 29次下載 | 1 積分
- 3錦銳CA51F005 SDK開發(fā)包
- 19.47 MB | 3次下載 | 1 積分
- 4蘋果iphone 11電路原理圖
- 4.98 MB | 3次下載 | 2 積分
- 5基礎(chǔ)模擬電子電路
- 3.80 MB | 3次下載 | 1 積分
- 6RA-Eco-RA6M4-100PIN-V1.0開發(fā)板資料
- 34.89 MB | 1次下載 | 免費
- 7STM32F3系列、STM32F4系列、STM32L4系列和STM32L4+系列Cortex-M4編程手冊
- 3.32 MB | 1次下載 | 免費
- 8聯(lián)想A820t手機維修圖紙包括主板原理圖 尾板原理圖 點位圖
- 0.62 MB | 次下載 | 5 積分
本月
- 1AI智能眼鏡產(chǎn)業(yè)鏈分析
- 4.43 MB | 383次下載 | 免費
- 2蘇泊爾電磁爐線路的電路原理圖資料合集
- 2.02 MB | 296次下載 | 5 積分
- 3貼片三極管上的印字與真實名稱的對照表詳細(xì)說明
- 0.50 MB | 94次下載 | 1 積分
- 4長虹液晶電視R-HS310B-5HF01的電源板電路原理圖
- 0.46 MB | 91次下載 | 5 積分
- 5涂鴉各WiFi模塊原理圖加PCB封裝
- 11.75 MB | 76次下載 | 1 積分
- 6錦銳科技CA51F2 SDK開發(fā)包
- 24.06 MB | 29次下載 | 1 積分
- 7AO4803A雙P通道增強型場效應(yīng)晶體管的數(shù)據(jù)手冊
- 0.11 MB | 28次下載 | 2 積分
- 8長虹液晶彩電LS29機芯的技術(shù)資料說明
- 3.42 MB | 16次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935127次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191388次下載 | 10 積分
- 5十天學(xué)會AVR單片機與C語言視頻教程 下載
- 158M | 183342次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81588次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費下載
- 0.02 MB | 73815次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論