關聯(lián)性驅(qū)動的大數(shù)據(jù)處理任務調(diào)度方案
目前大數(shù)據(jù)處理過程較少關注任務所處理數(shù)據(jù)間的依賴關系，在任務執(zhí)行過程中可能產(chǎn)生大量數(shù)據(jù)遷移，影響數(shù)據(jù)處理效率．為減少數(shù)據(jù)遷移，提升任務執(zhí)行性能，從數(shù)據(jù)關聯(lián)性及數(shù)據(jù)本地性兩個角度出發(fā)，提出了一種數(shù)據(jù)關聯(lián)性驅(qū)動的大數(shù)據(jù)處理任務優(yōu)化調(diào)度方案：D3S2（data_dependency_driven scheduling scheme）.D3S2由兩部分組成：（1）數(shù)據(jù)關聯(lián)性感知的數(shù)據(jù)優(yōu)化放置機制（dependency-aware placement mechanism，簡稱DAPM），根據(jù)日志信息挖掘數(shù)據(jù)關聯(lián)性，進而將強關聯(lián)的數(shù)據(jù)聚合并放置于相同機架上，減少了跨機架的數(shù)據(jù)遷移；（2）數(shù)據(jù)遷移代價感知的任務優(yōu)化調(diào)度機制（transfer-aware scheduling mechanism，簡稱TASM），完成數(shù)據(jù)放置后，以數(shù)據(jù)本地性為約束，對任務進行統(tǒng)一調(diào)度，最小化任務執(zhí)行過程中的數(shù)據(jù)遷移代價.DAPM和TASM互相提供決策依據(jù)，以任務執(zhí)行代價最小化為目標不斷迭代調(diào)整調(diào)度方案，直至最優(yōu)任務調(diào)度方案．在Hadoop平臺上進行的實驗結(jié)果表明：較之原生Hadoop，在不增加作業(yè)完成時間的基礎上，D3S2減少了作業(yè)執(zhí)行過程中的數(shù)據(jù)遷移量。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
關聯(lián)性驅(qū)動的大數(shù)據(jù)處理任務調(diào)度方案下載
相關電子資料下載
- 數(shù)據(jù)分析工具有哪幾種模式 83
- 中交興路入選2024北京“數(shù)據(jù)要素×”典型案例集 886
- 中國鐵塔與?？低曔_成戰(zhàn)略合作 217
- spark運行的基本流程 91
- 季豐電子與孤波科技攜手合作為車規(guī)量產(chǎn)提供大數(shù)據(jù)支持 740
- 智慧園區(qū)綜合安防系統(tǒng)解決方案 83
- 大數(shù)據(jù)采集系統(tǒng)分為幾類 269
- 如何在數(shù)字化時代實現(xiàn)精益生產(chǎn)的創(chuàng)新發(fā)展？ 117
- 智慧水文監(jiān)測系統(tǒng) 87
- 大數(shù)據(jù)分析平臺網(wǎng)站 96