我們每時每刻無不在產(chǎn)生數(shù)據(jù):據(jù) IDC 發(fā)布《數(shù)據(jù)時代 2025》的報告顯示,全球每年產(chǎn)生的數(shù)據(jù)將從 2018 年的 33ZB 增長到 2025 年的 175ZB,平均每天約產(chǎn)生 491EB 的數(shù)據(jù)。其中,中國數(shù)據(jù)圈以 48.6ZB 成為最大的數(shù)據(jù)圈,占全球 27.8%。
傳統(tǒng)的存儲方式早已無法適用爆發(fā)式增長的數(shù)據(jù),如何存儲更快、效率更高處理數(shù)據(jù)對企業(yè)來說至關(guān)重要。數(shù)據(jù)洪流時代,云存儲應(yīng)運而生。
與傳統(tǒng)的存儲設(shè)備相比,云存儲不僅僅是一個硬件,更是集網(wǎng)絡(luò)、存儲、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分為一體的復(fù)雜系統(tǒng)。從嚴(yán)格意義上講,云存儲不是存儲,而是服務(wù)。
如今,云存儲成為存儲發(fā)展的重要技術(shù)趨勢,云計算和云存儲技術(shù)將會掀起創(chuàng)新技術(shù)革命。與傳統(tǒng)存儲相比,云存儲如何“破圈”,其發(fā)展現(xiàn)狀是如何?在商業(yè)應(yīng)用上遇到了哪些瓶頸?企業(yè)應(yīng)該如何選擇云服務(wù)商?
為更清晰地了解云存儲技術(shù),CSDN(ID:CSDNnews)專訪南京鵬云網(wǎng)絡(luò)科技有限公司(下文簡稱“鵬云網(wǎng)絡(luò)”)創(chuàng)始人兼CEO陳靚博士,為我們深度解析關(guān)于云存儲發(fā)展趨勢、云存儲技術(shù)等話題。
云存儲技術(shù)的尷與尬
談及國內(nèi)云存儲普遍的實現(xiàn)方式,陳靚介紹道,當(dāng)下國內(nèi)云存儲產(chǎn)品普遍存在對開源產(chǎn)品的依賴,通過對其研究分析、重新包裝、界面設(shè)計,從而形成自己的產(chǎn)品。主要有三種方式:
一是對國外的開源產(chǎn)品進(jìn)行架構(gòu)分析,再重新實現(xiàn);二是在目前的架構(gòu)基礎(chǔ)上,對開源產(chǎn)品做局部優(yōu)化;三是對國外的開源產(chǎn)品進(jìn)行包裝,再疊加其它的開源產(chǎn)品。
為何會是如此?
陳靚表示,一方面,企業(yè)級分布式存儲的商業(yè)實現(xiàn)需要研發(fā)人員具有資深的開發(fā)經(jīng)驗,且產(chǎn)品需要經(jīng)歷較為長久的研發(fā)周期。同時,由于分布式存儲落地實施難度大,短時間內(nèi)很難產(chǎn)生商業(yè)效益。這令很多公司期望可以采用現(xiàn)有的開源技術(shù),盡快實現(xiàn)市場占有。這種研發(fā)方式的大致相同局面,也導(dǎo)致了市場上客戶在選創(chuàng)新選擇上的缺乏自主性。
鵬云網(wǎng)絡(luò)從創(chuàng)立伊始堅持自主創(chuàng)新的路徑,即從架構(gòu)到代碼實現(xiàn)均采用自主研發(fā)創(chuàng)新:擁有國內(nèi)最早從事大規(guī)模分布式存儲研發(fā)的團(tuán)隊,鵬云網(wǎng)絡(luò)早在2012年推出自研的分布式軟件定義存儲(SDS,Software-Defined-Storage)產(chǎn)品ZettaStor,可讓用戶構(gòu)建大規(guī)模、高彈性、高可用、高可靠的存儲資源池,滿足用戶對海量數(shù)據(jù)存儲需求。
云存儲商業(yè)應(yīng)用的三大瓶頸
陳靚談到,用戶在不同的發(fā)展階段,表現(xiàn)出了對分布式存儲不同的重點訴求。
例如,客戶發(fā)展早期業(yè)務(wù)量尚不具規(guī)模,關(guān)心的重點是存儲系統(tǒng)的穩(wěn)定運行,這是早期SDS技術(shù)發(fā)展注重的實現(xiàn)能力。隨著大數(shù)據(jù)時代的到來,電信運營商、金融等行業(yè),受業(yè)務(wù)流量呈爆發(fā)態(tài)勢的影響,存儲的可擴展性、容量等問題凸顯,尤其是一些行業(yè)的發(fā)展需要超大規(guī)模數(shù)據(jù)中心支持。此時,傳統(tǒng)存儲架構(gòu)及一些開源產(chǎn)品在擴展性、容量支持方面顯現(xiàn)出瓶頸,例如擴展只能支持 PB規(guī)模的數(shù)據(jù)擴展。此時,海量數(shù)據(jù)存儲就變成了企業(yè)的剛性需求。
如何破解這些瓶頸?
針對客戶當(dāng)下在應(yīng)用云存儲在系統(tǒng)穩(wěn)定性、系統(tǒng)擴展性、性能方面的要求,陳靚分享了鵬云網(wǎng)絡(luò)解決方案:
1、系統(tǒng)穩(wěn)定性:架構(gòu)創(chuàng)新降低業(yè)務(wù)IO波動影響
目前,開源的分布式產(chǎn)品主要依靠分布式哈希算法來管理數(shù)據(jù)分布。在這種架構(gòu)情況下,如果底層硬件發(fā)生了變化,數(shù)據(jù)管理需要依賴算法重構(gòu),此時勢必會導(dǎo)致大量的數(shù)據(jù)做沒有必要的遷移,使真正的業(yè)務(wù)IO在進(jìn)入系統(tǒng)時受到阻礙,整個業(yè)務(wù)系統(tǒng)可能變得不穩(wěn)定。
鵬云網(wǎng)絡(luò)從架構(gòu)上做了創(chuàng)新突破:
從架構(gòu)層面,依靠元數(shù)據(jù)來實現(xiàn)數(shù)據(jù)分布管理,元數(shù)據(jù)記錄用戶數(shù)據(jù)存儲的位置,同時通過分布式的方式來管理元數(shù)據(jù)節(jié)點,確保元數(shù)據(jù)節(jié)點系統(tǒng)的穩(wěn)定性。
在架構(gòu)之外,如何在硬件出錯的情況下,通過軟件確保系統(tǒng)不崩掉、上面的業(yè)務(wù)不出現(xiàn)影響。在實現(xiàn)代碼時,鵬云網(wǎng)絡(luò)會把80%的精力放在錯誤路徑上的處理。采用智能容錯技術(shù)來確保運維成本的有效降低,故障恢復(fù)無需駐場人員,從而實現(xiàn)智能運維。
2、系統(tǒng)擴展性:單一集群可做上萬節(jié)點
分布式存儲依賴監(jiān)控節(jié)點確定存儲節(jié)點的健康狀態(tài),輔助存儲節(jié)點形成穩(wěn)定集群。但市場上的分布式存儲實現(xiàn)情況是,很多產(chǎn)品只依賴若干個監(jiān)控節(jié)點,相對于存儲節(jié)點數(shù)量來說就監(jiān)控節(jié)點是一個小集群。為此市場上談分布式,就有了小集群對大集群監(jiān)控的概念,這勢必成為一個瓶頸。
陳靚表示,這并非是純粹的分布式架構(gòu),其系統(tǒng)可擴展性方面勢必受到不少牽制。為此,鵬云網(wǎng)絡(luò)的產(chǎn)品實現(xiàn)了將監(jiān)控節(jié)點分布到所有存儲節(jié)點上。同時采用打造起分布式SDS系統(tǒng)來實現(xiàn)上萬存儲節(jié)點打造為單一存儲資源池的擴展能力,幫助用戶有效應(yīng)對5G、遠(yuǎn)程醫(yī)療、視頻監(jiān)控、物聯(lián)網(wǎng)等新技術(shù)助推海量存儲需求。
3、性能:采用數(shù)據(jù)日志關(guān)系管理降低數(shù)據(jù)訪問延遲
傳統(tǒng)陣列系統(tǒng)業(yè)務(wù)訪問后端存儲路徑大致是:網(wǎng)絡(luò)Fabric+控制器+RAID卡+磁盤。換成SDS分布式存儲以后,IO路徑變長了:應(yīng)用數(shù)據(jù)發(fā)給系統(tǒng)空間,系統(tǒng)空間需寫若干份副本提交到多個節(jié)點緩存,節(jié)點緩存flush下盤,依據(jù)下盤響應(yīng)成功應(yīng)答訪問需求。
SDS這個問題嚴(yán)重性,導(dǎo)致SDS向下沉企業(yè)核心應(yīng)用空間成為核心障礙,為此進(jìn)一步成熟的SDS技術(shù)正在需求這一突破。鵬云網(wǎng)絡(luò)通過自研技術(shù)確保業(yè)務(wù)連續(xù)的多副本和糾刪碼技術(shù),依靠數(shù)據(jù)日志的關(guān)系管理手段確保數(shù)據(jù)訪問延遲進(jìn)一步降低。
如何選擇云存儲廠商?
現(xiàn)實中的應(yīng)用場景種類繁多,不同行業(yè)如何選擇合適的云存儲技術(shù)路線?
陳靚認(rèn)為,隨著SDS技術(shù)的愈發(fā)成熟和在契合場景應(yīng)用方面產(chǎn)品化的豐富,用戶可以有更多選擇。
第一,從企業(yè)規(guī)模來看,對于中小型企業(yè)的應(yīng)用,用戶期望快速上云但并不具備較強的IT技術(shù)和實施能力,會傾向于選擇計算、存儲、網(wǎng)絡(luò)已經(jīng)融合部署的超融合產(chǎn)品。但對于醫(yī)療、運營商、金融等行業(yè),這些相對具有規(guī)模的行業(yè),會傾向于選擇分離部署。
第二,從承載業(yè)務(wù)方面看,當(dāng)需要存儲產(chǎn)品承載較關(guān)鍵的業(yè)務(wù)時,更需要關(guān)注應(yīng)用本身的大小、IO量、業(yè)務(wù)量、對系統(tǒng)的穩(wěn)定性要求等。
使用云存儲通常是大多數(shù)公司處理海量數(shù)據(jù)的不二選擇。面對市場上推出的各種云存儲產(chǎn)品,企業(yè)應(yīng)該如何篩選出適合自己的云服務(wù)商,在這個過程中有哪些點是企業(yè)可以自己把握的?
陳靚認(rèn)為,企業(yè)的云服務(wù)選擇關(guān)系著企業(yè)的業(yè)務(wù)模式、發(fā)展理念以及實際的應(yīng)用場景,企業(yè)在選擇云服務(wù)商時不要盲目跟風(fēng)追捧:
1 、企業(yè)可以更多接觸不同廠商的思想和理念,和廠商多做交流。
2、在有條件的情況下,選擇合適的測試方案,對乙方的產(chǎn)品進(jìn)行全方面的測試。
因此,在選型時,企業(yè)應(yīng)多請一些不同的廠商分享,在前期多做技術(shù)交流、POC測試,尋找適合的測試方案,體現(xiàn)產(chǎn)品在應(yīng)用環(huán)境下真正的需求特點。
云存儲的 未來
隨著新基建和5G大潮的來臨,傳統(tǒng)的存儲方式完全不能滿足客戶的需求,行業(yè)客戶已到了不得不用分布式存儲或云存儲的方式去存儲數(shù)據(jù)的地步。對此,陳靚堅信,未來幾年,國內(nèi)的云存儲將會是一個巨大的市場,整個行業(yè)和市場將會迎來爆發(fā)性的增長。
其次, 用戶對存儲產(chǎn)品的要求會越來越高。用戶在快速地成長,云存儲的使用經(jīng)驗上也比之前豐富?!八麄儽痪毘闪艘浑p火眼金睛,能夠看到目前市場上很多分布式存儲本身存在的問題?!?/p>
陳靚認(rèn)為,隨著市場規(guī)模的擴大,企業(yè)的業(yè)務(wù)架構(gòu)的變化、豐富,對系統(tǒng)穩(wěn)定、性能較高、擴展性強的存儲產(chǎn)品的需求會越來越多。企業(yè)也不會僅僅停留在單純的通過提升硬件的方式,或簡單的POC方式去選擇一個產(chǎn)品,他們在選擇層面上也變得越來越豐富。
最后,除了對存儲產(chǎn)品本身特性的要求外,用戶會對存儲產(chǎn)品及其應(yīng)用層面的支持有較大的需求。比如在處理大數(shù)據(jù)時,他們會要求它的可拓展性、穩(wěn)定性、架構(gòu)的搭建等等。
陳靚介紹到,接下來鵬云網(wǎng)絡(luò)將從這兩個方向深耕:
1、鵬云網(wǎng)絡(luò)產(chǎn)品的定位是打造服務(wù)客戶數(shù)字化轉(zhuǎn)型的分布式存儲產(chǎn)品,產(chǎn)品會繼續(xù)走以激發(fā)客戶數(shù)據(jù)價值為中心的創(chuàng)新路線,并會進(jìn)一步深化在ZettaStor在關(guān)鍵業(yè)務(wù)場景里的落地應(yīng)用。
2、在海量數(shù)據(jù)管理上,會下沉到更多細(xì)分業(yè)務(wù)場景。例如,提供一些便捷處理上層業(yè)務(wù)的接口,讓上層應(yīng)用方便地處理這些數(shù)據(jù)。
電子發(fā)燒友App










評論