資料介紹
針對(duì)運(yùn)維大數(shù)據(jù)維度高、形式多樣化和變化迅速等特性,為提高數(shù)據(jù)融合效率以及平臺(tái)的數(shù)據(jù)統(tǒng)計(jì)和決策分析性能,降低抽取一轉(zhuǎn)換一加載( ETL)執(zhí)行時(shí)間開(kāi)銷和數(shù)據(jù)中心負(fù)擔(dān),面向智慧管養(yǎng)需求提出一種多層次任務(wù)調(diào)度( MTS) ETL框架(MTS-ETL)。首先,將數(shù)據(jù)倉(cāng)庫(kù)分為數(shù)據(jù)臨時(shí)區(qū)、數(shù)據(jù)倉(cāng)儲(chǔ)區(qū)、數(shù)據(jù)分類區(qū)和數(shù)據(jù)分析區(qū),并根據(jù)所分區(qū)域?qū)⑼暾腅TL過(guò)程劃分為4個(gè)層次的ETL任務(wù)調(diào)度環(huán)節(jié),同時(shí)設(shè)計(jì)了多頻率ETL運(yùn)行調(diào)度以及順序和非順序兩種ETL工作模式;接著,基于MTS-ETL框架的非順序工作模式進(jìn)行數(shù)據(jù)融合的概念建模、邏輯建模和物理建模;最后,利用Pentaho Data Integration設(shè)計(jì)ETL轉(zhuǎn)換模塊和工作模塊以實(shí)現(xiàn)數(shù)據(jù)融合方法。在交通流量數(shù)據(jù)融合實(shí)驗(yàn)中,該方法融合136754條數(shù)據(jù)的時(shí)間僅為28.4 s;在千量級(jí)的數(shù)據(jù)融合實(shí)驗(yàn)中比傳統(tǒng)ETL方法的總平均執(zhí)行時(shí)間降低了6. 51%;報(bào)表分析結(jié)果表明其在融合400萬(wàn)條數(shù)據(jù)時(shí)依然能保證ETL過(guò)程的可靠性。所提方法能夠有效融合運(yùn)維大數(shù)據(jù),提高平臺(tái)統(tǒng)計(jì)分析性能,并維持ETL執(zhí)行時(shí)間開(kāi)銷在較低水平。
- 基于多傳感器數(shù)據(jù)融合的GPS欺騙檢測(cè)方法 22次下載
- 多無(wú)人機(jī)局部地圖數(shù)據(jù)共享融合的SLAM方法 8次下載
- 大數(shù)據(jù)分解-融合研究綜述 8次下載
- 基于神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)腳本攻擊智能檢測(cè) 2次下載
- 工業(yè)大數(shù)據(jù)的特征、方法與價(jià)值創(chuàng)造 9次下載
- 大數(shù)據(jù)海量數(shù)據(jù)處理方法總結(jié) 13次下載
- 結(jié)合多尺度邊緣保持分解與PCNN的圖像融合方法 16次下載
- 基于5G和大數(shù)據(jù)的智慧城市綜合分析 11次下載
- 大數(shù)據(jù)信息融合實(shí)驗(yàn)說(shuō)明免費(fèi)下載 0次下載
- 如何解決多源數(shù)據(jù)融合分析過(guò)程靈活性差和處理效率低的問(wèn)題方法說(shuō)明 3次下載
- 如何實(shí)現(xiàn)高速公路大數(shù)據(jù)的短時(shí)流量預(yù)測(cè)方法 10次下載
- 如何使用面向高速公路的大數(shù)據(jù)進(jìn)行短時(shí)流量預(yù)測(cè)方法資料說(shuō)明 5次下載
- 基于電力大數(shù)據(jù)的參數(shù)融合 8次下載
- 面向大數(shù)據(jù)的并行分類混合算法研究 0次下載
- 大數(shù)據(jù)打破行業(yè)邊界、推動(dòng)物聯(lián)網(wǎng)產(chǎn)業(yè)融合 29次下載
- 大數(shù)據(jù)技術(shù)是干嘛的 大數(shù)據(jù)核心技術(shù)有哪些 3700次閱讀
- 融合互通,浪潮分布式融合存儲(chǔ)AS13000加速海量數(shù)據(jù)處理 727次閱讀
- 大數(shù)據(jù)殺熟的原理、性質(zhì)和治理方法 1w次閱讀
- 智慧城市管理中常用的大數(shù)據(jù)技術(shù)和應(yīng)用 3.5w次閱讀
- 什么才是真正的大數(shù)據(jù) 關(guān)于大數(shù)據(jù)的幾個(gè)特性 2923次閱讀
- 大數(shù)據(jù)技術(shù)如何進(jìn)行融合發(fā)展 9408次閱讀
- 視覺(jué)大數(shù)據(jù)領(lǐng)域的最好分析方法之一:深度學(xué)習(xí) 4945次閱讀
- 大數(shù)據(jù)是什么_大數(shù)據(jù)技術(shù)和應(yīng)用的現(xiàn)狀與前景 2.4w次閱讀
- 區(qū)塊鏈在工業(yè)大數(shù)據(jù)智慧云鏈中的解決方案 2264次閱讀
- AR對(duì)于大數(shù)據(jù)有什么意義?電力大數(shù)據(jù)有什么作用?詳細(xì)案例說(shuō)明 8062次閱讀
- 大數(shù)據(jù)時(shí)代智能配電網(wǎng)該如何融合大數(shù)據(jù) 1w次閱讀
- 物聯(lián)網(wǎng)是大數(shù)據(jù)的重要來(lái)源,大數(shù)據(jù)助力物聯(lián)網(wǎng) 1.1w次閱讀
- 國(guó)內(nèi)有哪些大數(shù)據(jù)公司_最新中國(guó)大數(shù)據(jù)公司排名 5.3w次閱讀
- 最新大數(shù)據(jù)概念股龍頭_大數(shù)據(jù)概念龍頭股有哪些 4.4w次閱讀
- 面向互聯(lián)網(wǎng)+的主網(wǎng)運(yùn)檢智能管控體系的設(shè)計(jì)和結(jié)構(gòu)以及應(yīng)用實(shí)例 5680次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1490次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識(shí)別和講解說(shuō)明
- 4.28 MB | 18次下載 | 4 積分
- 5開(kāi)關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費(fèi)
- 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
- 7基于單片機(jī)和 SG3525的程控開(kāi)關(guān)電源設(shè)計(jì)
- 0.23 MB | 3次下載 | 免費(fèi)
- 8基于單片機(jī)的紅外風(fēng)扇遙控
- 0.23 MB | 3次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開(kāi)關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評(píng)論