近日，UCloud UHadoop 通過(guò)提供獨(dú)立的HDFS存儲(chǔ)集群、獨(dú)立的Hive元數(shù)據(jù)管理和獨(dú)立的計(jì)算集群，實(shí)現(xiàn)了兼顧靈活性與穩(wěn)定性的存儲(chǔ)計(jì)算分離架構(gòu)，幫助用戶更好的提升資源利用率，增加大數(shù)據(jù)業(yè)務(wù)部署的靈活性，同時(shí)降低運(yùn)營(yíng)成本。

眾所周知，為了讓大規(guī)模分布式數(shù)據(jù)處理系統(tǒng)能發(fā)揮更好的性能，傳統(tǒng)的Hadoop架構(gòu)是將計(jì)算節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)連在一起的。但隨著業(yè)務(wù)數(shù)據(jù)量爆發(fā)式增長(zhǎng)以及企業(yè)對(duì)數(shù)據(jù)價(jià)值的不斷重視，數(shù)據(jù)存儲(chǔ)規(guī)模和數(shù)據(jù)計(jì)算需求經(jīng)常是無(wú)法保持線性增長(zhǎng)，計(jì)算和存儲(chǔ)這兩者之間隨之產(chǎn)生了“木桶效應(yīng)”，極易造成資源的浪費(fèi)，而用戶開始越來(lái)越關(guān)注數(shù)據(jù)存儲(chǔ)成本及計(jì)算成本的問題。

這時(shí)，計(jì)算與存儲(chǔ)資源的分離解耦，成為了一個(gè)非常合理的選擇。UCloud UHadoop帶來(lái)的計(jì)算與存儲(chǔ)的分離，完全消除了計(jì)算與存儲(chǔ)之間的“木桶效應(yīng)”，在資源隔離、計(jì)算管理和存儲(chǔ)管理三個(gè)方面具有極大優(yōu)勢(shì)，同時(shí)為業(yè)務(wù)創(chuàng)新、技術(shù)架構(gòu)升級(jí)提供了更多的靈活性和可能性。

1. 不同業(yè)務(wù)計(jì)算資源的物理隔離，保障業(yè)務(wù)穩(wěn)定

傳統(tǒng)模式下，用戶是通過(guò)配置資源隊(duì)列，來(lái)為不同業(yè)務(wù)分配計(jì)算資源，但這種方式實(shí)際上只能做到邏輯隔離，無(wú)法真正實(shí)現(xiàn)計(jì)算資源的物理隔離，不可避免會(huì)發(fā)生計(jì)算集群搶占資源的情況，業(yè)務(wù)與業(yè)務(wù)之間相互影響，導(dǎo)致業(yè)務(wù)狀態(tài)的不穩(wěn)定。UCloud UHadoop 可以幫助用戶將不同業(yè)務(wù)拆分到不同計(jì)算集群上，實(shí)現(xiàn)計(jì)算資源的物理隔離，避免資源搶占、相互影響，從而保障業(yè)務(wù)持續(xù)穩(wěn)定。

如離線業(yè)務(wù)與實(shí)時(shí)業(yè)務(wù)的隔離業(yè)務(wù)場(chǎng)景，用戶可以借助UCloud UHadoop將離線計(jì)算與實(shí)時(shí)計(jì)算 拆分成兩個(gè)計(jì)算集群，然后訪問獨(dú)立的HDFS存儲(chǔ)集群，有效隔離計(jì)算資源，保障業(yè)務(wù)的穩(wěn)定。

2. 彈性管理計(jì)算資源，成本最優(yōu)化

傳統(tǒng)資源配置下，計(jì)算資源調(diào)度水平受限于單臺(tái)機(jī)器的存儲(chǔ)容量。UCloud UHadoop實(shí)現(xiàn)了存儲(chǔ)與計(jì)算分離之后，用戶可根據(jù)業(yè)務(wù)需要，單獨(dú)增加計(jì)算節(jié)點(diǎn)，計(jì)算任務(wù)完成即可釋放計(jì)算資源，無(wú)需擔(dān)心臨時(shí)的大規(guī)模擴(kuò)容帶來(lái)的成本飆升，更不用再進(jìn)行跨集群數(shù)據(jù)拷貝操作，有效降低了管理集群的人力成本和服務(wù)器成本。

與此同時(shí)，若計(jì)算集群有故障或是計(jì)算集群框架升級(jí)，也不會(huì)直接影響?yīng)毩⒌腍DFS集群中的數(shù)據(jù)，更好的保障了數(shù)據(jù)安全，同時(shí)也可縮短故障排查流程，降低集群運(yùn)維成本。

3. HDFS存儲(chǔ)集群可單獨(dú)使用，更好滿足再分析需求

UCloud UHadoop提供獨(dú)立的HDFS存儲(chǔ)集群，用戶可以單獨(dú)使用存儲(chǔ)資源構(gòu)建存儲(chǔ)集群，將歷史數(shù)據(jù)或者原始數(shù)據(jù)壓縮后進(jìn)行歸檔存儲(chǔ)，當(dāng)有數(shù)據(jù)分析的需求時(shí)，不需要進(jìn)行數(shù)據(jù)遷移，即可完成數(shù)據(jù)分析任務(wù)，使用簡(jiǎn)單、成本還低。

除了以上三個(gè)方面， UCloud UHadoop實(shí)現(xiàn)的存儲(chǔ)計(jì)算徹底分離，還可以讓多個(gè)不同版本Hadoop集群，分析底層同一份HDFS存儲(chǔ)集群中的數(shù)據(jù)，滿足了數(shù)據(jù)一致性要求，及歷史原因?qū)е碌亩喟姹綡adoop集群共存問題。為優(yōu)化集群整體成本，UCloud UHadoop 更是針對(duì)存儲(chǔ)計(jì)算分離場(chǎng)景推出了存儲(chǔ)更大、價(jià)格更低的機(jī)型，可根據(jù)不同數(shù)據(jù)量規(guī)模選擇不同節(jié)點(diǎn)機(jī)型，幫助用戶更好的降低成本。

責(zé)任編輯：ct