資料介紹
傳統(tǒng)數(shù)據(jù)去重備份系統(tǒng)在大數(shù)據(jù)應(yīng)用場(chǎng)景下存在備份存儲(chǔ)空間過大和數(shù)據(jù)吞吐量不足等缺點(diǎn)。為此,基于數(shù)據(jù)路由設(shè)計(jì)一種分布式備份數(shù)據(jù)去重系統(tǒng)。該系統(tǒng)以數(shù)據(jù)片為去重粒度,具有數(shù)據(jù)路由和數(shù)據(jù)預(yù)取2個(gè)功能。數(shù)據(jù)路由使用布隆過濾器對(duì)需要處理的數(shù)據(jù)片進(jìn)行路由查詢,數(shù)據(jù)預(yù)取則使用平均取樣和基于Jaccard距離的近鄰取樣方案。通過數(shù)據(jù)路由分配數(shù)據(jù)片到相應(yīng)處理節(jié)點(diǎn)進(jìn)行處理,平均取樣得到的數(shù)據(jù)片哈希碼為數(shù)據(jù)路由提供路由信息,近鄰取樣得到的數(shù)據(jù)片哈希碼用于系統(tǒng)首次數(shù)據(jù)去重。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)在保證數(shù)據(jù)去重率的同時(shí),相對(duì)全節(jié)點(diǎn)查詢和定點(diǎn)路由的數(shù)據(jù)片路由方式數(shù)據(jù)吞吐量提升明顯。

掃碼添加小助手
加入工程師交流群
- 分布式電源對(duì)配電系統(tǒng)的影響分析
- 虛擬化模型驅(qū)動(dòng)的分布式數(shù)據(jù)湖架構(gòu)設(shè)計(jì) 5次下載
- 基于分布式數(shù)據(jù)Cache的實(shí)時(shí)動(dòng)態(tài)遷移機(jī)制 20次下載
- 一種可行的分布式存儲(chǔ)系統(tǒng)安全構(gòu)造方法 21次下載
- 區(qū)塊鏈中的分布式數(shù)據(jù)庫(kù)管理系統(tǒng)相關(guān)研究 8次下載
- 基于分布式文件系統(tǒng)元數(shù)據(jù)操作優(yōu)化 0次下載
- 基于OpenStack的分布式虛擬路由流量統(tǒng)計(jì)設(shè)計(jì)研究 0次下載
- 大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析 0次下載
- 實(shí)例分析分布式數(shù)據(jù)存儲(chǔ)協(xié)議對(duì)比 0次下載
- 基于分布式數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)分配模型研究
- 基于數(shù)據(jù)的分布式網(wǎng)絡(luò)視覺監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
- 基于USB的大型建筑分布式數(shù)據(jù)采集系統(tǒng)
- 基于分布式數(shù)據(jù)庫(kù)技術(shù)的森林防火指揮系統(tǒng)的研究
- 分布式VOIP偵聽系統(tǒng)的設(shè)計(jì)
- 分布式數(shù)據(jù)庫(kù)系統(tǒng)及其應(yīng)用 PDF 0次下載
- 【節(jié)能學(xué)院】Acrel-1000DP分布式光伏監(jiān)控系統(tǒng)在奉賢平高食品 4.4MW 分布式光伏中應(yīng)用 3.4k次閱讀
- Ceph分布式存儲(chǔ)系統(tǒng)解析 828次閱讀
- Java手寫分布式鎖的實(shí)現(xiàn) 1.3k次閱讀
- tldb提供分布式鎖使用方法 1.7k次閱讀
- 深入理解redis分布式鎖 1.7k次閱讀
- 如何通過分布式數(shù)據(jù)管理實(shí)現(xiàn)多臺(tái)設(shè)備間的數(shù)據(jù)同步更新 4.5k次閱讀
- 利用NI VeriStand 2010實(shí)現(xiàn)分布式同步系統(tǒng)的設(shè)計(jì) 4.1k次閱讀
- 保護(hù)備份數(shù)據(jù)免受勒索病毒攻擊的方法 3.7k次閱讀
- 干貨:解決分布式緩存與數(shù)據(jù)庫(kù)的雙存儲(chǔ)雙寫 3.1k次閱讀
- 詳談分布式系統(tǒng)的定義及屬性 4.6k次閱讀
- 關(guān)于騰訊的開源分布式存儲(chǔ)系統(tǒng)DCache 2.3k次閱讀
- 淺談分布式塊存儲(chǔ)的元數(shù)據(jù)服務(wù)設(shè)計(jì) 5.4k次閱讀
- 冷備份的優(yōu)缺點(diǎn)_數(shù)據(jù)庫(kù)冷備份教程詳解 3.3k次閱讀
- 深度解讀分布式存儲(chǔ)技術(shù)之分布式剪枝系統(tǒng) 2.2k次閱讀
- 利用FPGA實(shí)現(xiàn)無線分布式采集系統(tǒng)設(shè)計(jì) 1.4k次閱讀
下載排行
本周
- 1MDD品牌三極管MMBT3906數(shù)據(jù)手冊(cè)
- 2.33 MB | 次下載 | 免費(fèi)
- 2MDD品牌三極管S9012數(shù)據(jù)手冊(cè)
- 2.62 MB | 次下載 | 免費(fèi)
- 3聯(lián)想flex2-14D/15D說明書
- 4.92 MB | 次下載 | 免費(fèi)
- 4收音環(huán)繞擴(kuò)音機(jī) AVR-1507手冊(cè)
- 2.50 MB | 次下載 | 免費(fèi)
- 524Pin Type-C連接器設(shè)計(jì)報(bào)告
- 1.06 MB | 次下載 | 免費(fèi)
- 6新一代網(wǎng)絡(luò)可視化(NPB 2.0)
- 3.40 MB | 次下載 | 免費(fèi)
- 7MS1000TA 超聲波測(cè)量模擬前端芯片技術(shù)手冊(cè)
- 0.60 MB | 次下載 | 免費(fèi)
- 8MS1022高精度時(shí)間測(cè)量(TDC)電路數(shù)據(jù)手冊(cè)
- 1.81 MB | 次下載 | 免費(fèi)
本月
- 1愛華AIWA HS-J202維修手冊(cè)
- 3.34 MB | 37次下載 | 免費(fèi)
- 2PC5502負(fù)載均流控制電路數(shù)據(jù)手冊(cè)
- 1.63 MB | 23次下載 | 免費(fèi)
- 3NB-IoT芯片廠商的資料說明
- 0.31 MB | 22次下載 | 1 積分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供電電路圖資料
- 0.63 MB | 6次下載 | 1 積分
- 5UWB653Pro USB口測(cè)距通信定位模塊規(guī)格書
- 838.47 KB | 5次下載 | 免費(fèi)
- 6技嘉H110主板IT8628E_BX IO電路圖資料
- 2.61 MB | 4次下載 | 1 積分
- 7蘇泊爾DCL6907(即CHK-S007)單芯片電磁爐原理圖資料
- 0.04 MB | 4次下載 | 1 積分
- 8100W準(zhǔn)諧振反激式恒流電源電路圖資料
- 0.09 MB | 2次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191439次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183353次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81602次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73822次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App





創(chuàng)作
發(fā)文章
發(fā)帖
提問
發(fā)資料
發(fā)視頻
上傳資料賺積分
評(píng)論