我們每時(shí)每刻無(wú)不在產(chǎn)生數(shù)據(jù):據(jù) IDC 發(fā)布《數(shù)據(jù)時(shí)代 2025》的報(bào)告顯示,全球每年產(chǎn)生的數(shù)據(jù)將從 2018 年的 33ZB 增長(zhǎng)到 2025 年的 175ZB,平均每天約產(chǎn)生 491EB 的數(shù)據(jù)。其中,中國(guó)數(shù)據(jù)圈以 48.6ZB 成為最大的數(shù)據(jù)圈,占全球 27.8%。
傳統(tǒng)的存儲(chǔ)方式早已無(wú)法適用爆發(fā)式增長(zhǎng)的數(shù)據(jù),如何存儲(chǔ)更快、效率更高處理數(shù)據(jù)對(duì)企業(yè)來(lái)說(shuō)至關(guān)重要。數(shù)據(jù)洪流時(shí)代,云存儲(chǔ)應(yīng)運(yùn)而生。
與傳統(tǒng)的存儲(chǔ)設(shè)備相比,云存儲(chǔ)不僅僅是一個(gè)硬件,更是集網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、應(yīng)用軟件、公用訪(fǎng)問(wèn)接口、接入網(wǎng)和客戶(hù)端程序等多個(gè)部分為一體的復(fù)雜系統(tǒng)。從嚴(yán)格意義上講,云存儲(chǔ)不是存儲(chǔ),而是服務(wù)。
如今,云存儲(chǔ)成為存儲(chǔ)發(fā)展的重要技術(shù)趨勢(shì),云計(jì)算和云存儲(chǔ)技術(shù)將會(huì)掀起創(chuàng)新技術(shù)革命。與傳統(tǒng)存儲(chǔ)相比,云存儲(chǔ)如何“破圈”,其發(fā)展現(xiàn)狀是如何?在商業(yè)應(yīng)用上遇到了哪些瓶頸?企業(yè)應(yīng)該如何選擇云服務(wù)商?
為更清晰地了解云存儲(chǔ)技術(shù),CSDN(ID:CSDNnews)專(zhuān)訪(fǎng)南京鵬云網(wǎng)絡(luò)科技有限公司(下文簡(jiǎn)稱(chēng)“鵬云網(wǎng)絡(luò)”)創(chuàng)始人兼CEO陳靚博士,為我們深度解析關(guān)于云存儲(chǔ)發(fā)展趨勢(shì)、云存儲(chǔ)技術(shù)等話(huà)題。
云存儲(chǔ)技術(shù)的尷與尬
談及國(guó)內(nèi)云存儲(chǔ)普遍的實(shí)現(xiàn)方式,陳靚介紹道,當(dāng)下國(guó)內(nèi)云存儲(chǔ)產(chǎn)品普遍存在對(duì)開(kāi)源產(chǎn)品的依賴(lài),通過(guò)對(duì)其研究分析、重新包裝、界面設(shè)計(jì),從而形成自己的產(chǎn)品。主要有三種方式:
一是對(duì)國(guó)外的開(kāi)源產(chǎn)品進(jìn)行架構(gòu)分析,再重新實(shí)現(xiàn);二是在目前的架構(gòu)基礎(chǔ)上,對(duì)開(kāi)源產(chǎn)品做局部?jī)?yōu)化;三是對(duì)國(guó)外的開(kāi)源產(chǎn)品進(jìn)行包裝,再疊加其它的開(kāi)源產(chǎn)品。
為何會(huì)是如此?
陳靚表示,一方面,企業(yè)級(jí)分布式存儲(chǔ)的商業(yè)實(shí)現(xiàn)需要研發(fā)人員具有資深的開(kāi)發(fā)經(jīng)驗(yàn),且產(chǎn)品需要經(jīng)歷較為長(zhǎng)久的研發(fā)周期。同時(shí),由于分布式存儲(chǔ)落地實(shí)施難度大,短時(shí)間內(nèi)很難產(chǎn)生商業(yè)效益。這令很多公司期望可以采用現(xiàn)有的開(kāi)源技術(shù),盡快實(shí)現(xiàn)市場(chǎng)占有。這種研發(fā)方式的大致相同局面,也導(dǎo)致了市場(chǎng)上客戶(hù)在選創(chuàng)新選擇上的缺乏自主性。
鵬云網(wǎng)絡(luò)從創(chuàng)立伊始堅(jiān)持自主創(chuàng)新的路徑,即從架構(gòu)到代碼實(shí)現(xiàn)均采用自主研發(fā)創(chuàng)新:擁有國(guó)內(nèi)最早從事大規(guī)模分布式存儲(chǔ)研發(fā)的團(tuán)隊(duì),鵬云網(wǎng)絡(luò)早在2012年推出自研的分布式軟件定義存儲(chǔ)(SDS,Software-Defined-Storage)產(chǎn)品ZettaStor,可讓用戶(hù)構(gòu)建大規(guī)模、高彈性、高可用、高可靠的存儲(chǔ)資源池,滿(mǎn)足用戶(hù)對(duì)海量數(shù)據(jù)存儲(chǔ)需求。
云存儲(chǔ)商業(yè)應(yīng)用的三大瓶頸
陳靚談到,用戶(hù)在不同的發(fā)展階段,表現(xiàn)出了對(duì)分布式存儲(chǔ)不同的重點(diǎn)訴求。
例如,客戶(hù)發(fā)展早期業(yè)務(wù)量尚不具規(guī)模,關(guān)心的重點(diǎn)是存儲(chǔ)系統(tǒng)的穩(wěn)定運(yùn)行,這是早期SDS技術(shù)發(fā)展注重的實(shí)現(xiàn)能力。隨著大數(shù)據(jù)時(shí)代的到來(lái),電信運(yùn)營(yíng)商、金融等行業(yè),受業(yè)務(wù)流量呈爆發(fā)態(tài)勢(shì)的影響,存儲(chǔ)的可擴(kuò)展性、容量等問(wèn)題凸顯,尤其是一些行業(yè)的發(fā)展需要超大規(guī)模數(shù)據(jù)中心支持。此時(shí),傳統(tǒng)存儲(chǔ)架構(gòu)及一些開(kāi)源產(chǎn)品在擴(kuò)展性、容量支持方面顯現(xiàn)出瓶頸,例如擴(kuò)展只能支持 PB規(guī)模的數(shù)據(jù)擴(kuò)展。此時(shí),海量數(shù)據(jù)存儲(chǔ)就變成了企業(yè)的剛性需求。
如何破解這些瓶頸?
針對(duì)客戶(hù)當(dāng)下在應(yīng)用云存儲(chǔ)在系統(tǒng)穩(wěn)定性、系統(tǒng)擴(kuò)展性、性能方面的要求,陳靚分享了鵬云網(wǎng)絡(luò)解決方案:
1、系統(tǒng)穩(wěn)定性:架構(gòu)創(chuàng)新降低業(yè)務(wù)IO波動(dòng)影響
目前,開(kāi)源的分布式產(chǎn)品主要依靠分布式哈希算法來(lái)管理數(shù)據(jù)分布。在這種架構(gòu)情況下,如果底層硬件發(fā)生了變化,數(shù)據(jù)管理需要依賴(lài)算法重構(gòu),此時(shí)勢(shì)必會(huì)導(dǎo)致大量的數(shù)據(jù)做沒(méi)有必要的遷移,使真正的業(yè)務(wù)IO在進(jìn)入系統(tǒng)時(shí)受到阻礙,整個(gè)業(yè)務(wù)系統(tǒng)可能變得不穩(wěn)定。
鵬云網(wǎng)絡(luò)從架構(gòu)上做了創(chuàng)新突破:
從架構(gòu)層面,依靠元數(shù)據(jù)來(lái)實(shí)現(xiàn)數(shù)據(jù)分布管理,元數(shù)據(jù)記錄用戶(hù)數(shù)據(jù)存儲(chǔ)的位置,同時(shí)通過(guò)分布式的方式來(lái)管理元數(shù)據(jù)節(jié)點(diǎn),確保元數(shù)據(jù)節(jié)點(diǎn)系統(tǒng)的穩(wěn)定性。
在架構(gòu)之外,如何在硬件出錯(cuò)的情況下,通過(guò)軟件確保系統(tǒng)不崩掉、上面的業(yè)務(wù)不出現(xiàn)影響。在實(shí)現(xiàn)代碼時(shí),鵬云網(wǎng)絡(luò)會(huì)把80%的精力放在錯(cuò)誤路徑上的處理。采用智能容錯(cuò)技術(shù)來(lái)確保運(yùn)維成本的有效降低,故障恢復(fù)無(wú)需駐場(chǎng)人員,從而實(shí)現(xiàn)智能運(yùn)維。
2、系統(tǒng)擴(kuò)展性:?jiǎn)我患嚎勺錾先f(wàn)節(jié)點(diǎn)
分布式存儲(chǔ)依賴(lài)監(jiān)控節(jié)點(diǎn)確定存儲(chǔ)節(jié)點(diǎn)的健康狀態(tài),輔助存儲(chǔ)節(jié)點(diǎn)形成穩(wěn)定集群。但市場(chǎng)上的分布式存儲(chǔ)實(shí)現(xiàn)情況是,很多產(chǎn)品只依賴(lài)若干個(gè)監(jiān)控節(jié)點(diǎn),相對(duì)于存儲(chǔ)節(jié)點(diǎn)數(shù)量來(lái)說(shuō)就監(jiān)控節(jié)點(diǎn)是一個(gè)小集群。為此市場(chǎng)上談分布式,就有了小集群對(duì)大集群監(jiān)控的概念,這勢(shì)必成為一個(gè)瓶頸。
陳靚表示,這并非是純粹的分布式架構(gòu),其系統(tǒng)可擴(kuò)展性方面勢(shì)必受到不少牽制。為此,鵬云網(wǎng)絡(luò)的產(chǎn)品實(shí)現(xiàn)了將監(jiān)控節(jié)點(diǎn)分布到所有存儲(chǔ)節(jié)點(diǎn)上。同時(shí)采用打造起分布式SDS系統(tǒng)來(lái)實(shí)現(xiàn)上萬(wàn)存儲(chǔ)節(jié)點(diǎn)打造為單一存儲(chǔ)資源池的擴(kuò)展能力,幫助用戶(hù)有效應(yīng)對(duì)5G、遠(yuǎn)程醫(yī)療、視頻監(jiān)控、物聯(lián)網(wǎng)等新技術(shù)助推海量存儲(chǔ)需求。
3、性能:采用數(shù)據(jù)日志關(guān)系管理降低數(shù)據(jù)訪(fǎng)問(wèn)延遲
傳統(tǒng)陣列系統(tǒng)業(yè)務(wù)訪(fǎng)問(wèn)后端存儲(chǔ)路徑大致是:網(wǎng)絡(luò)Fabric+控制器+RAID卡+磁盤(pán)。換成SDS分布式存儲(chǔ)以后,IO路徑變長(zhǎng)了:應(yīng)用數(shù)據(jù)發(fā)給系統(tǒng)空間,系統(tǒng)空間需寫(xiě)若干份副本提交到多個(gè)節(jié)點(diǎn)緩存,節(jié)點(diǎn)緩存flush下盤(pán),依據(jù)下盤(pán)響應(yīng)成功應(yīng)答訪(fǎng)問(wèn)需求。
SDS這個(gè)問(wèn)題嚴(yán)重性,導(dǎo)致SDS向下沉企業(yè)核心應(yīng)用空間成為核心障礙,為此進(jìn)一步成熟的SDS技術(shù)正在需求這一突破。鵬云網(wǎng)絡(luò)通過(guò)自研技術(shù)確保業(yè)務(wù)連續(xù)的多副本和糾刪碼技術(shù),依靠數(shù)據(jù)日志的關(guān)系管理手段確保數(shù)據(jù)訪(fǎng)問(wèn)延遲進(jìn)一步降低。
如何選擇云存儲(chǔ)廠商?
現(xiàn)實(shí)中的應(yīng)用場(chǎng)景種類(lèi)繁多,不同行業(yè)如何選擇合適的云存儲(chǔ)技術(shù)路線(xiàn)?
陳靚認(rèn)為,隨著SDS技術(shù)的愈發(fā)成熟和在契合場(chǎng)景應(yīng)用方面產(chǎn)品化的豐富,用戶(hù)可以有更多選擇。
第一,從企業(yè)規(guī)模來(lái)看,對(duì)于中小型企業(yè)的應(yīng)用,用戶(hù)期望快速上云但并不具備較強(qiáng)的IT技術(shù)和實(shí)施能力,會(huì)傾向于選擇計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)已經(jīng)融合部署的超融合產(chǎn)品。但對(duì)于醫(yī)療、運(yùn)營(yíng)商、金融等行業(yè),這些相對(duì)具有規(guī)模的行業(yè),會(huì)傾向于選擇分離部署。
第二,從承載業(yè)務(wù)方面看,當(dāng)需要存儲(chǔ)產(chǎn)品承載較關(guān)鍵的業(yè)務(wù)時(shí),更需要關(guān)注應(yīng)用本身的大小、IO量、業(yè)務(wù)量、對(duì)系統(tǒng)的穩(wěn)定性要求等。
使用云存儲(chǔ)通常是大多數(shù)公司處理海量數(shù)據(jù)的不二選擇。面對(duì)市場(chǎng)上推出的各種云存儲(chǔ)產(chǎn)品,企業(yè)應(yīng)該如何篩選出適合自己的云服務(wù)商,在這個(gè)過(guò)程中有哪些點(diǎn)是企業(yè)可以自己把握的?
陳靚認(rèn)為,企業(yè)的云服務(wù)選擇關(guān)系著企業(yè)的業(yè)務(wù)模式、發(fā)展理念以及實(shí)際的應(yīng)用場(chǎng)景,企業(yè)在選擇云服務(wù)商時(shí)不要盲目跟風(fēng)追捧:
1 、企業(yè)可以更多接觸不同廠商的思想和理念,和廠商多做交流。
2、在有條件的情況下,選擇合適的測(cè)試方案,對(duì)乙方的產(chǎn)品進(jìn)行全方面的測(cè)試。
因此,在選型時(shí),企業(yè)應(yīng)多請(qǐng)一些不同的廠商分享,在前期多做技術(shù)交流、POC測(cè)試,尋找適合的測(cè)試方案,體現(xiàn)產(chǎn)品在應(yīng)用環(huán)境下真正的需求特點(diǎn)。
云存儲(chǔ)的 未來(lái)
隨著新基建和5G大潮的來(lái)臨,傳統(tǒng)的存儲(chǔ)方式完全不能滿(mǎn)足客戶(hù)的需求,行業(yè)客戶(hù)已到了不得不用分布式存儲(chǔ)或云存儲(chǔ)的方式去存儲(chǔ)數(shù)據(jù)的地步。對(duì)此,陳靚堅(jiān)信,未來(lái)幾年,國(guó)內(nèi)的云存儲(chǔ)將會(huì)是一個(gè)巨大的市場(chǎng),整個(gè)行業(yè)和市場(chǎng)將會(huì)迎來(lái)爆發(fā)性的增長(zhǎng)。
其次, 用戶(hù)對(duì)存儲(chǔ)產(chǎn)品的要求會(huì)越來(lái)越高。用戶(hù)在快速地成長(zhǎng),云存儲(chǔ)的使用經(jīng)驗(yàn)上也比之前豐富。“他們被練成了一雙火眼金睛,能夠看到目前市場(chǎng)上很多分布式存儲(chǔ)本身存在的問(wèn)題?!?/p>
陳靚認(rèn)為,隨著市場(chǎng)規(guī)模的擴(kuò)大,企業(yè)的業(yè)務(wù)架構(gòu)的變化、豐富,對(duì)系統(tǒng)穩(wěn)定、性能較高、擴(kuò)展性強(qiáng)的存儲(chǔ)產(chǎn)品的需求會(huì)越來(lái)越多。企業(yè)也不會(huì)僅僅停留在單純的通過(guò)提升硬件的方式,或簡(jiǎn)單的POC方式去選擇一個(gè)產(chǎn)品,他們?cè)谶x擇層面上也變得越來(lái)越豐富。
最后,除了對(duì)存儲(chǔ)產(chǎn)品本身特性的要求外,用戶(hù)會(huì)對(duì)存儲(chǔ)產(chǎn)品及其應(yīng)用層面的支持有較大的需求。比如在處理大數(shù)據(jù)時(shí),他們會(huì)要求它的可拓展性、穩(wěn)定性、架構(gòu)的搭建等等。
陳靚介紹到,接下來(lái)鵬云網(wǎng)絡(luò)將從這兩個(gè)方向深耕:
1、鵬云網(wǎng)絡(luò)產(chǎn)品的定位是打造服務(wù)客戶(hù)數(shù)字化轉(zhuǎn)型的分布式存儲(chǔ)產(chǎn)品,產(chǎn)品會(huì)繼續(xù)走以激發(fā)客戶(hù)數(shù)據(jù)價(jià)值為中心的創(chuàng)新路線(xiàn),并會(huì)進(jìn)一步深化在ZettaStor在關(guān)鍵業(yè)務(wù)場(chǎng)景里的落地應(yīng)用。
2、在海量數(shù)據(jù)管理上,會(huì)下沉到更多細(xì)分業(yè)務(wù)場(chǎng)景。例如,提供一些便捷處理上層業(yè)務(wù)的接口,讓上層應(yīng)用方便地處理這些數(shù)據(jù)。
評(píng)論