資料介紹
隨著大數(shù)據(jù)應用的普及,高效可擴展的數(shù)據(jù)流操作在實時分析處理中扮演著越來越重要的角色.分布式并行處理架構(gòu)是應對大流量、低延時數(shù)據(jù)流處理任務(wù)的一種有效解決方案.然而在 Key-based 分組并行處理中,由于數(shù)據(jù)的傾斜分布及數(shù)據(jù)流本身的實時、動態(tài)和數(shù)據(jù)規(guī)模不可預知等特性,使得數(shù)據(jù)流分布并行處理系統(tǒng)存在持續(xù)且動態(tài)負載不均衡現(xiàn)象,這會造成系統(tǒng)時效性降低、硬件資源浪費等問題.現(xiàn)有的研究工作處理均衡負載有兩種方案:(1) 基于 key 粒度的遷移,使得并行處理節(jié)點負載達到均衡;(2) 基于元組粒度級別的拆分,采用隨機分發(fā)使系統(tǒng)均衡.前者將系統(tǒng)調(diào)整至給定的均衡容忍范圍內(nèi),類似于一維裝箱的 NP 問題;后者對 key 的拆分勢必帶來新的為維護 Key-based 操作的正確性而增加的額外代價,如內(nèi)存及網(wǎng)絡(luò)通信成本.綜合兩種方法,提出對 key 按需拆分、盡量合并的方法,通過輕量級均衡調(diào)整算法以及保證 Key-based 操作特性的拆分方法,使系統(tǒng)既能達到后者的均衡,又能減少細粒度均衡所帶來的額外代價。

下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- 空間文本數(shù)據(jù)流上連續(xù)查詢評估技術(shù)應用 7次下載
- 基于分布式編碼的同步隨機梯度下降算法 2次下載
- 基于分布式數(shù)據(jù)Cache的實時動態(tài)遷移機制 20次下載
- 基于預分區(qū)策略的分布式數(shù)據(jù)存儲方法 18次下載
- 分布式智能電網(wǎng)控制系統(tǒng)的設(shè)計與實現(xiàn) 2次下載
- 一種面向高性能計算的分布式對象存儲系統(tǒng) 0次下載
- 大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析 0次下載
- 數(shù)據(jù)流編程模型優(yōu)化 3次下載
- 分布式AP選擇策略在室內(nèi)定位中的應用_葛柳飛 1次下載
- 含多種分布式電源的微電網(wǎng)控制策略 19次下載
- 分布式電驅(qū)動車輛回饋制動控制策略研究 0次下載
- 基于逆變型分布式電源控制策略的微電網(wǎng)電能質(zhì)量控制方法 17次下載
- 基于分布式數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)分配模型研究
- 一種健壯的計算安全的分布式密鑰分發(fā)方案
- 網(wǎng)絡(luò)管理系統(tǒng)分布式協(xié)作的業(yè)務(wù)流程分發(fā)機制
- Java手寫分布式鎖的實現(xiàn) 612次閱讀
- tldb提供分布式鎖使用方法 923次閱讀
- 數(shù)據(jù)庫如何實現(xiàn)分布式鎖 5124次閱讀
- 深入理解redis分布式鎖 988次閱讀
- 分布式存儲架構(gòu)面臨的挑戰(zhàn) 1513次閱讀
- 如何使用分布式存儲系統(tǒng)促進AI模型訓練 608次閱讀
- 鴻蒙分布式相機“踩坑”分享 1910次閱讀
- 干貨:解決分布式緩存與數(shù)據(jù)庫的雙存儲雙寫 2616次閱讀
- 分布式光纖傳感器原理_分布式光纖傳感器的應用 8835次閱讀
- 分布式控制系統(tǒng)的介紹 5529次閱讀
- Redis 分布式鎖的正確實現(xiàn)方式 3615次閱讀
- 分布式存儲運維系統(tǒng)構(gòu)架簡析 2671次閱讀
- 淺談分布式塊存儲的元數(shù)據(jù)服務(wù)設(shè)計 4951次閱讀
- 深度解讀分布式存儲技術(shù)之分布式剪枝系統(tǒng) 1861次閱讀
- 基于GPRS和IE的分布式收費終端功能升級策略 1314次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1490次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費
- 6基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 7基于單片機和 SG3525的程控開關(guān)電源設(shè)計
- 0.23 MB | 3次下載 | 免費
- 8基于單片機的紅外風扇遙控
- 0.23 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關(guān)電源設(shè)計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論