如何使用MapReduce進(jìn)行大數(shù)據(jù)的主動(dòng)學(xué)習(xí)
資料介紹
針對傳統(tǒng)的主動(dòng)學(xué)習(xí)算法只能處理中小型數(shù)據(jù)集的問題,提出一種基于MapReduce的大數(shù)據(jù)主動(dòng)學(xué)習(xí)算法。首先,在有類別標(biāo)簽的初始訓(xùn)練集上,用極限學(xué)習(xí)機(jī)( ELM)算法訓(xùn)練一個(gè)分類器,并將其輸出用軟最大化函數(shù)變換為一個(gè)后驗(yàn)概率分布。然后,將無類別標(biāo)簽的大數(shù)據(jù)集劃分為Z個(gè)子集,并部署到Z個(gè)云計(jì)算節(jié)點(diǎn)上。在每一個(gè)節(jié)點(diǎn),用訓(xùn)練出的分類器并行地計(jì)算各個(gè)子集中樣例的信息熵,并選擇信息熵大的前q個(gè)樣例進(jìn)行類別標(biāo)注,將標(biāo)注類別的Z×q個(gè)樣例添加到有類別標(biāo)簽的訓(xùn)練集中。重復(fù)以上步驟直到滿足預(yù)定義的停止條件。在Artificial、Skin、Statlog和Poker 4個(gè)數(shù)據(jù)集上與基于ELM的主動(dòng)學(xué)習(xí)算法進(jìn)行了比較,結(jié)果顯示,所提算法在4個(gè)數(shù)據(jù)集上均能完成主動(dòng)樣例選擇,而基于ELM的主動(dòng)學(xué)習(xí)算法只在規(guī)模最小的數(shù)據(jù)集上能完成主動(dòng)樣例選擇。實(shí)驗(yàn)結(jié)果表明,所提算法優(yōu)于基于極限學(xué)習(xí)機(jī)的主動(dòng)學(xué)習(xí)算法。
大數(shù)據(jù)具有以下幾個(gè)特征:海量( Volume)、多模態(tài)(Variety)、變化速度快(Velocity)、蘊(yùn)含價(jià)值高(Value)和可靠性高( Veracity)。在大數(shù)據(jù)環(huán)境下,傳統(tǒng)的機(jī)器學(xué)習(xí)面臨著巨大的挑戰(zhàn),其中也包括主動(dòng)學(xué)習(xí)。主動(dòng)學(xué)習(xí)算法大致可以分為兩大類:基于池的主動(dòng)學(xué)習(xí)算法和基于流的主動(dòng)學(xué)習(xí)算法。
- 大數(shù)據(jù)環(huán)境下的移動(dòng)學(xué)習(xí)發(fā)展趨勢 21次下載
- 基于MapReduce的時(shí)間序列索引及數(shù)據(jù)查詢 7次下載
- 車聯(lián)網(wǎng)場景下汽車大數(shù)據(jù)應(yīng)用模式綜述 13次下載
- 一種改進(jìn)的主動(dòng)標(biāo)記分布學(xué)習(xí)算法 7次下載
- 一種改進(jìn)的主動(dòng)標(biāo)記分布學(xué)習(xí)算法 7次下載
- 一種面向MapReduce的中間數(shù)據(jù)傳輸流水線優(yōu)化機(jī)制 4次下載
- 基于MapReduce和加權(quán)網(wǎng)絡(luò)信息熵的DBWGIE-MR算法 11次下載
- SDR 主動(dòng)學(xué)習(xí)模塊
- 基于MapReduce/Spark的大規(guī)模壓縮模糊K-近鄰算法 5次下載
- 大數(shù)據(jù)時(shí)代有什么樣的利與弊 11次下載
- 大數(shù)據(jù)環(huán)境下的移動(dòng)學(xué)習(xí)發(fā)展是怎么樣的 0次下載
- 水文大數(shù)據(jù)標(biāo)準(zhǔn)化方法和水文大數(shù)據(jù)共享平臺(tái)關(guān)鍵技術(shù)的設(shè)計(jì)和資料概述 12次下載
- 如何使用Q學(xué)習(xí)算法進(jìn)行X光主動(dòng)視覺的安檢方法資料說明概述 2次下載
- 面向并行迭代的MapReduce模型 1次下載
- 基于PRank算法的主動(dòng)排序學(xué)習(xí)算法
- 學(xué)習(xí)大數(shù)據(jù)前必須知道的知識(shí) 2712次閱讀
- 零基礎(chǔ)可以學(xué)習(xí)大數(shù)據(jù)開發(fā)嗎?學(xué)什么內(nèi)容? 3372次閱讀
- 大數(shù)據(jù)技術(shù)發(fā)展史簡介 淺談大數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí) 7241次閱讀
- 大數(shù)據(jù)技術(shù)如何進(jìn)行融合發(fā)展 9408次閱讀
- 視覺大數(shù)據(jù)領(lǐng)域的最好分析方法之一:深度學(xué)習(xí) 4945次閱讀
- 大數(shù)據(jù)是什么_大數(shù)據(jù)技術(shù)和應(yīng)用的現(xiàn)狀與前景 2.4w次閱讀
- java工程師有必要轉(zhuǎn)做大數(shù)據(jù)嗎大數(shù)據(jù)學(xué)習(xí)路線你了解嗎 7635次閱讀
- 大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟的中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展白皮書 5591次閱讀
- 大數(shù)據(jù)分析到底需要多少種工具_(dá)大數(shù)據(jù)分析總結(jié) 1.1w次閱讀
- mapreduce二次排序_ mapreduce二次排序原理 6297次閱讀
- mapreduce的應(yīng)用開發(fā)步驟 4806次閱讀
- 詳解MapReduce的模式、算法和用例 2443次閱讀
- mapreduce編程實(shí)例 1.1w次閱讀
- 什么是mapreduce_mapreduce工作原理_mapreduce_mapreduce邏輯模型圖 2.5w次閱讀
- 機(jī)器學(xué)習(xí)究竟如何促進(jìn)大數(shù)據(jù)管理的革命以及解決問題而采取的行動(dòng) 3318次閱讀
下載排行
本周
- 1EMC電路設(shè)計(jì)工程師必備的EMC基礎(chǔ)
- 0.42 MB | 4次下載 | 2 積分
- 2AU3116 2×60W模擬輸入雙通道Class-D 音頻功率放大器數(shù)據(jù)手冊
- 1.19 MB | 1次下載 | 免費(fèi)
- 3低壓降肖特基整流管SR340L數(shù)據(jù)手冊
- 0.78 MB | 1次下載 | 免費(fèi)
- 4ZX8002E 觸摸調(diào)光LED集成IC數(shù)據(jù)手冊
- 2.27 MB | 次下載 | 免費(fèi)
- 5SOD-323塑料封裝ESD保護(hù)二極管SD05T系列規(guī)格書
- 1.07 MB | 次下載 | 免費(fèi)
- 6SOT-23塑料封裝ESD保護(hù)二極管SMxx Series系列規(guī)格書
- 0.93 MB | 次下載 | 免費(fèi)
- 7高效率整流二極管HER151 THRU HER158數(shù)據(jù)手冊
- 0.54 MB | 次下載 | 免費(fèi)
- 8低壓降肖特基整流管SL22 THRU SL210數(shù)據(jù)手冊
- 1.03 MB | 次下載 | 免費(fèi)
本月
- 1三相逆變主電路的原理圖和PCB資料合集免費(fèi)下載
- 27.35 MB | 111次下載 | 1 積分
- 2運(yùn)算放大器基本電路中文資料
- 1.30 MB | 16次下載 | 免費(fèi)
- 3蘋果iphone 11電路原理圖
- 4.98 MB | 11次下載 | 5 積分
- 4TL494工業(yè)用開關(guān)電源原理圖資料
- 0.22 MB | 10次下載 | 1 積分
- 5常用電子元器件介紹
- 3.21 MB | 8次下載 | 免費(fèi)
- 6QW2893應(yīng)急燈專用檢測芯片
- 590.40 KB | 4次下載 | 免費(fèi)
- 7相關(guān)協(xié)議信號總結(jié)
- 0.94 MB | 4次下載 | 免費(fèi)
- 8EMC電路設(shè)計(jì)工程師必備的EMC基礎(chǔ)
- 0.42 MB | 4次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935130次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191390次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183344次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81591次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73815次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65989次下載 | 10 積分
評論