資料介紹
Mapreduce是一種適用于大數(shù)據(jù)處理的重要并行計(jì)算框架,通過(guò)在大量集群節(jié)點(diǎn)上并行執(zhí)行多個(gè)任務(wù),極大地提高了數(shù)據(jù)的處理性能。然而,由于中間數(shù)據(jù)需要等到 Mapper任務(wù)完成之后才能被發(fā)送給 Reducer任務(wù),由此導(dǎo)致的大量傳輸延遲成為 Mapreduce框架性能的重要瓶頸。為此,文中提出了一種面向 Mapreduce的中間數(shù)據(jù)傳輸流水線優(yōu)化機(jī)制,將有效計(jì)算與中間數(shù)據(jù)傳輸解耦,以流水線的方式重疊執(zhí)行各個(gè)階段,有效隱藏?cái)?shù)據(jù)傳輸開(kāi)銷(xiāo)。文中還給岀了中間數(shù)據(jù)傳輸流水線執(zhí)行機(jī)制和實(shí)現(xiàn)策略,包括流水線劃分、數(shù)據(jù)細(xì)分、數(shù)據(jù)歸并和數(shù)據(jù)傳輸粒度等。在公開(kāi)數(shù)據(jù)集上對(duì)所提中間數(shù)據(jù)傳輸流水線優(yōu)化機(jī)制進(jìn)行了評(píng)價(jià),當(dāng) Shuffle數(shù)據(jù)量較大時(shí),該優(yōu)化機(jī)制比默認(rèn)框架的整體性能提高了60.2%。
- 嵌入式_流水線
- 使用FPGA設(shè)計(jì)流水線的資料和程序詳細(xì)概述 3次下載
- 關(guān)于ARM流水線的資料和分析 5次下載
- 一種基于混合社區(qū)的移動(dòng)機(jī)會(huì)網(wǎng)絡(luò)數(shù)據(jù)傳輸機(jī)制 0次下載
- DSP設(shè)計(jì)中的流水線數(shù)據(jù)相關(guān)問(wèn)題解析 0次下載
- 一種系統(tǒng)化流水線控制方法_章其富 0次下載
- 一種基于流水線DA算法的數(shù)字下變頻器_周云 2次下載
- 一種針對(duì)可重構(gòu)處理器流水線簡(jiǎn)化編程的設(shè)計(jì)范式 0次下載
- 一種改進(jìn)運(yùn)放共享結(jié)構(gòu)的11位流水線ADC設(shè)計(jì) 3次下載
- 一種基于40nmCMOS工藝12位60MHz流水線模數(shù)轉(zhuǎn)換器 3次下載
- 電鍍流水線的PLC控制 36次下載
- 基于流水線結(jié)構(gòu)的多級(jí)數(shù)字混沌編碼方案 32次下載
- 一種流水線存儲(chǔ)的數(shù)據(jù)采集系統(tǒng) 36次下載
- 基于消息中間件的農(nóng)電數(shù)據(jù)傳輸系統(tǒng)
- 一種流水線結(jié)構(gòu)AD轉(zhuǎn)換器的速度分析方法
- 網(wǎng)絡(luò)數(shù)據(jù)傳輸速率的單位是什么 1599次閱讀
- 以太網(wǎng)接口的數(shù)據(jù)傳輸原理詳解 1779次閱讀
- 新版本Jenkins推薦使用聲明式流水線 708次閱讀
- Google GPipe為代表的流水線并行范式 1061次閱讀
- 一個(gè)典型的流水線設(shè)計(jì) 1430次閱讀
- 報(bào)文解析規(guī)則定義 流水線劃分提取方案 1023次閱讀
- CPU流水線優(yōu)缺點(diǎn) 4482次閱讀
- 一文詳細(xì)了解流水線設(shè)計(jì) 5032次閱讀
- FPGA中流水線的原因和方式 6190次閱讀
- IEEE802.15.4協(xié)議的數(shù)據(jù)傳輸模型解析 4104次閱讀
- 流水線設(shè)計(jì)的思想介紹與設(shè)計(jì)實(shí)例 8101次閱讀
- 差分數(shù)據(jù)傳輸有什么優(yōu)勢(shì)? 1w次閱讀
- 新專(zhuān)利介紹--一種基于超聲波測(cè)量和GPRS數(shù)據(jù)傳輸的水表系統(tǒng) 1150次閱讀
- 淺談GPU的渲染流水線實(shí)現(xiàn) 3842次閱讀
- 一文讀懂處理器流水線 2.2w次閱讀
下載排行
本周
- 1FS313B USB 的 PD和QC 快充協(xié)議電壓誘騙控制器規(guī)格書(shū)
- 2.61 MB | 3次下載 | 免費(fèi)
- 2FS312B USB的PD和OC快充協(xié)議電壓誘騙控制器規(guī)格書(shū)
- 1.35 MB | 1次下載 | 免費(fèi)
- 3SIP協(xié)議和私有協(xié)議廣播區(qū)別
- 1.28 MB | 1次下載 | 免費(fèi)
- 4ES2B SMA快恢復(fù)二極管規(guī)格書(shū)
- 0.75 MB | 次下載 | 免費(fèi)
- 5SM18512PS明微LED驅(qū)動(dòng)芯片規(guī)格書(shū)
- 0.49 MB | 次下載 | 免費(fèi)
- 6SM16803PB 景觀裝飾驅(qū)動(dòng) IC規(guī)格書(shū)
- 0.94 MB | 次下載 | 免費(fèi)
- 7HJ56-380V5A 麻電機(jī)5代、高頻5代電流源 說(shuō)明書(shū)
- 645.02 KB | 次下載 | 免費(fèi)
- 8AR273系列全極霍爾開(kāi)關(guān)技術(shù)手冊(cè)
- 6.57 MB | 次下載 | 免費(fèi)
本月
- 1PFC電路與BOOST電路設(shè)計(jì)實(shí)例分享
- 1.83 MB | 18次下載 | 4 積分
- 2電源測(cè)試報(bào)告-基于 國(guó)民技術(shù) N32L406 和杰華特 JW3376+3330 的 BMS 方案
- 6.47 MB | 17次下載 | 免費(fèi)
- 3世平基于靈動(dòng)微 SPIN560C 的低壓無(wú)刷電機(jī)應(yīng)用方案
- 10.93 MB | 11次下載 | 免費(fèi)
- 4HAL9303線性霍爾效應(yīng)傳感器技術(shù)手冊(cè)
- 0.70 MB | 9次下載 | 免費(fèi)
- 5電流檢測(cè)芯片F(xiàn)P135應(yīng)用說(shuō)明
- 1.24 MB | 8次下載 | 免費(fèi)
- 6900MHz全雙工無(wú)線發(fā)射器參考設(shè)計(jì)原理圖資料
- 0.40 MB | 5次下載 | 免費(fèi)
- 7DH1766系列·三路可編程直流電源技術(shù)手冊(cè)
- 1.93 MB | 4次下載 | 免費(fèi)
- 8FS313B USB 的 PD和QC 快充協(xié)議電壓誘騙控制器規(guī)格書(shū)
- 2.61 MB | 3次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935134次下載 | 10 積分
- 2開(kāi)源硬件-PMP21529.1-4 開(kāi)關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191424次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183352次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81601次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73818次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App






創(chuàng)作
發(fā)文章
發(fā)帖
提問(wèn)
發(fā)資料
發(fā)視頻
上傳資料賺積分
評(píng)論