資料介紹
基于數(shù)據(jù)并行化的異步隨機(jī)梯度下降(ASGD)算法由于需要在分布式計(jì)算節(jié)點(diǎn)之間頻繁交換梯度數(shù)據(jù),從而影響算法執(zhí)行效率。提出基于分布式編碼的同步隨機(jī)梯度下降(SSGD)算法,利用計(jì)算任務(wù)的冗余分發(fā)策略對(duì)每個(gè)節(jié)點(diǎn)的中間結(jié)果傳輸時(shí)間進(jìn)行量化以減少單一批次訓(xùn)練時(shí)間,并通過(guò)數(shù)據(jù)傳輸編碼策略的分組數(shù)據(jù)交換模式降低節(jié)點(diǎn)間的數(shù)據(jù)通信總量。實(shí)驗(yàn)結(jié)果表明,當(dāng)配置合適的超參數(shù)時(shí),與SSGD和ASGD算法相比,該算法在深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練中平均減少了5397%、26.89%和39,11%、26.37%的訓(xùn)練時(shí)間,從而證明其能有效降低分布式集群的通信負(fù)載并保證神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精確度。
- PyTorch教程12.5之小批量隨機(jī)梯度下降
- PyTorch教程12.4之隨機(jī)梯度下降
- MapReduce框架下分布式編碼計(jì)算容錯(cuò)算法 2次下載
- 輕量級(jí)分布式機(jī)器學(xué)習(xí)系統(tǒng)及算法 16次下載
- 一種更安全的分布式一致性算法選舉機(jī)制 9次下載
- 結(jié)合網(wǎng)絡(luò)推演和失效檢測(cè)算法的航電分布式顯控 13次下載
- 一種分布式網(wǎng)絡(luò)掃描架構(gòu)和任務(wù)調(diào)度算法 19次下載
- 快速在線分布式對(duì)偶平均優(yōu)化算法 5次下載
- 隨機(jī)并行梯度下降圖像匹配方法性能研究及優(yōu)化_李松洋 0次下載
- 隨機(jī)梯度估值在盲均衡算法中的影響
- WMSN的分布式視頻編碼技術(shù)研究 24次下載
- 多徑信道下的異步分布式線性卷積空時(shí)編碼
- 分布式認(rèn)知無(wú)線網(wǎng)絡(luò)中的頻譜接入凸規(guī)劃算法
- 基于DSP的分布式并行遺傳算法
- 基于混沌置亂預(yù)處理的分布式視頻編碼
- 【技術(shù)分享】EtherCAT 分布式時(shí)鐘簡(jiǎn)介 746次閱讀
- 鴻蒙分布式相機(jī)“踩坑”分享 1910次閱讀
- 如何緩解DDoS(分布式拒絕服務(wù))導(dǎo)致的性能下降 1499次閱讀
- 如何通過(guò)分布式數(shù)據(jù)管理實(shí)現(xiàn)多臺(tái)設(shè)備間的數(shù)據(jù)同步更新 3638次閱讀
- 適用于分布式MIMO系統(tǒng)中的時(shí)間頻率同步算法研究 2833次閱讀
- 利用NI VeriStand 2010實(shí)現(xiàn)分布式同步系統(tǒng)的設(shè)計(jì) 3437次閱讀
- 分布式光纖傳感器原理_分布式光纖傳感器的應(yīng)用 8835次閱讀
- 機(jī)器學(xué)習(xí)優(yōu)化算法中梯度下降,牛頓法和擬牛頓法的優(yōu)缺點(diǎn)詳細(xì)介紹 5.1w次閱讀
- 講解隨機(jī)梯度下降、類別數(shù)據(jù)編碼、Vowpal Wabbit機(jī)器學(xué)習(xí)庫(kù) 6308次閱讀
- 淺談分布式塊存儲(chǔ)的元數(shù)據(jù)服務(wù)設(shè)計(jì) 4951次閱讀
- 梯度下降算法及其變種:批量梯度下降,小批量梯度下降和隨機(jī)梯度下降 2.1w次閱讀
- 機(jī)器學(xué)習(xí)中梯度下降法的過(guò)程 3435次閱讀
- 機(jī)器學(xué)習(xí):隨機(jī)梯度下降和批量梯度下降算法介紹 9009次閱讀
- 一種基于分布式算法的低通FIR濾波器 3282次閱讀
- 深度解讀分布式存儲(chǔ)技術(shù)之分布式剪枝系統(tǒng) 1861次閱讀
下載排行
本周
- 1NS1081/NS1081S/NS1081Q USB 3.0閃存數(shù)據(jù)手冊(cè)
- 0.40 MB | 4次下載 | 2 積分
- 2光伏并網(wǎng)逆變器原理
- 7.31 MB | 3次下載 | 2 積分
- 3T20電烙鐵原理圖資料
- 0.27 MB | 2次下載 | 免費(fèi)
- 4PL83081 雙路恒流同步降壓轉(zhuǎn)換器技術(shù)手冊(cè)
- 3.34 MB | 1次下載 | 免費(fèi)
- 5PL88052 4.8V至60V輸入,5A,同步降壓轉(zhuǎn)換器技術(shù)手冊(cè)
- 3.36 MB | 1次下載 | 免費(fèi)
- 6LX8201微孔霧化驅(qū)動(dòng)芯片電路圖資料
- 0.15 MB | 1次下載 | 免費(fèi)
- 7PC6200_7V直流電機(jī)驅(qū)動(dòng)器技術(shù)手冊(cè)
- 0.47 MB | 次下載 | 免費(fèi)
- 8恒溫晶體振蕩器(OCXO)FOC-2D:20.6×20.6mm在通信基站和測(cè)試設(shè)備中的應(yīng)用參數(shù)規(guī)格
- 485.75 KB | 次下載 | 免費(fèi)
本月
- 1如何看懂電子電路圖
- 12.88 MB | 329次下載 | 免費(fèi)
- 2RK3588數(shù)據(jù)手冊(cè)
- 2.24 MB | 14次下載 | 免費(fèi)
- 3PC5502負(fù)載均流控制電路數(shù)據(jù)手冊(cè)
- 1.63 MB | 12次下載 | 免費(fèi)
- 4STM32F10x參考手冊(cè)資料
- 13.64 MB | 12次下載 | 1 積分
- 5OAH0428 V1.0英文規(guī)格書
- 5.86 MB | 8次下載 | 免費(fèi)
- 6NS1081/NS1081S/NS1081Q USB 3.0閃存數(shù)據(jù)手冊(cè)
- 0.40 MB | 4次下載 | 2 積分
- 7PID控制算法學(xué)習(xí)筆記資料
- 3.43 MB | 3次下載 | 2 積分
- 8光伏并網(wǎng)逆變器原理
- 7.31 MB | 3次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935132次下載 | 10 積分
- 2開(kāi)源硬件-PMP21529.1-4 開(kāi)關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191415次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183349次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81599次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73818次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65990次下載 | 10 積分
評(píng)論