Spark Streaming動態(tài)資源分配策略
大?。?/span>0.96 MB 人氣： 2017-12-01 需要積分：3
標(biāo)簽：動態(tài)資源(5861)Spark Streaming(1791)
針對Spark Streaming作為混合大數(shù)據(jù)計(jì)算平臺流處理組件時資源調(diào)整周期長和不能滿足多應(yīng)用多用戶個性化需求的問題，提出了一種多應(yīng)用下動態(tài)資源分配策略（ DRAM）。該策略增加了應(yīng)用全局變量來控制動態(tài)資源分配過程。首先，獲取歷史執(zhí)行數(shù)據(jù)反饋和應(yīng)用全局變量；然后，進(jìn)行資源增減計(jì)算；最后，進(jìn)行資源增減執(zhí)行。實(shí)驗(yàn)結(jié)果表明，所提策略能夠有效調(diào)整應(yīng)用資源配額，且在穩(wěn)定數(shù)據(jù)流和不穩(wěn)定數(shù)據(jù)流兩種情況下，其處理延時相比原Spark平臺的Streaming策略和Core策略都有所降低；同時該策略也能夠提高集群資源利用率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%