超大規(guī)模數(shù)據(jù)讓存儲發(fā)生根本改變
IT技術的不斷突破和廣泛應用,讓物理世界和數(shù)字世界逐漸“破壁”。隨著物理世界發(fā)展局限性的日益顯現(xiàn),人們意識到數(shù)字世界的擴大不能只是信息的重復疊加。物理世界和數(shù)字世界應打破壁壘,相互感知、充分交互,最后實現(xiàn)高度融合。受兩個世界融合的影響,云計算、物聯(lián)網、大數(shù)據(jù)、人工智能、區(qū)塊鏈等新技術快速發(fā)展,數(shù)據(jù)指數(shù)級爆發(fā),數(shù)據(jù)中心規(guī)模如同滾雪球般越來越大。
據(jù)麥肯錫估計,過去三年超大用戶對數(shù)據(jù)中心的投資達到了1850億美元,僅2017年就約有750億美元。超大用戶所占據(jù)的網絡流量達到整個數(shù)據(jù)中心網絡流量的近1/3,未來三年,該比例將躍升至55%以上,而這些用戶所控制的數(shù)據(jù)中心IT基礎設施將達到總數(shù)的50%以上。
【云計算、大數(shù)據(jù)、AI等新技術驅動數(shù)據(jù)存儲變革】
在舊數(shù)據(jù)時代,存儲面對的應用主要是數(shù)據(jù)庫、文件和流媒體這類傳統(tǒng)應用;而今天,在新興技術驅動下,存儲主要面對的是Cloud、Big Data和AI這些大規(guī)模數(shù)據(jù)應用場景。傳統(tǒng)存儲在性能、安全性、可靠性上的局限性,讓他們在面對這些新興應用時,往往表現(xiàn)出了很大的瓶頸。
首先是存儲規(guī)模。從云計算行業(yè)來看,云計算的用戶與應用眾多,平臺隨時都在運行成百上千、甚至成千上萬業(yè)務虛主機,而且業(yè)務負載隨時在動態(tài)增長,這樣后臺就需要巨的集群規(guī)模、存儲空間、IO性能來作為支撐;從大數(shù)據(jù)或者AI來看,其數(shù)據(jù)量非常之龐大,可能擁有十億或者百億的文件,構成一個龐大的數(shù)據(jù)鏈。這就決定了云、大數(shù)據(jù)或AI需要借助一個很大的集群,實現(xiàn)海量數(shù)量的管理和高性能數(shù)據(jù)運算。
其次,新數(shù)據(jù)時代對存儲性能提出了很高的挑戰(zhàn)。無論是面向文件和對象的OPS的性能,還是面向云虛擬機環(huán)境下IOPS的性能,新興應用對存儲系統(tǒng)性都提出了非常高的要求,大規(guī)模業(yè)務系統(tǒng)的高效運行、數(shù)億網民手機支付的即時響應、車票訂票高峰的訂單確認、視頻應用的高速訪問與下載,都要求后臺的存儲基礎設備,擁有百萬甚至千萬級的IOPS性能、GB級甚至TB的吞吐帶寬,以滿足前端優(yōu)質的服務體驗。
第三,云、大數(shù)據(jù)、AI需要在設施資源和數(shù)據(jù)資源的共享基礎上進行再利用,這對數(shù)據(jù)的共享與管理帶來挑戰(zhàn)?,F(xiàn)在及未來,客戶追求的是全局最大化共享,而不僅僅是局部或內部共享。大數(shù)據(jù)或AI應用實際上需要把一些之前扔掉的數(shù)據(jù)重新拿回來做分析,扔掉的數(shù)據(jù)反而會產生很大的價值。數(shù)據(jù)要實現(xiàn)共享和流動,可能牽扯到幾百個乃至更多的數(shù)據(jù)存儲節(jié)點,涉及數(shù)萬個數(shù)據(jù)卷或者數(shù)百萬個文件。這些數(shù)據(jù)資源,需要通過統(tǒng)一架構來支撐、統(tǒng)一管理平臺來調度和組織,在共享和管理上有很多技術上的挑戰(zhàn)。
軟件定義存儲主導未來
據(jù)Gartner調研,目前大約40%的企業(yè)數(shù)據(jù)存儲在可橫向擴展的企業(yè)數(shù)據(jù)中心或云數(shù)據(jù)中心,到2022年,這一比例將超過80%。
在標準通用的硬件架構下,通過存儲軟件的設計優(yōu)化,即可打造高性能、高可靠、彈性擴容、管理簡單的存儲系統(tǒng),甚至可以感知用戶定義的策略和需求, 并在策略的驅動下自主調整工作狀態(tài), 這就可以稱之為軟件定義存儲。軟件定義存儲把存儲服務從專用存儲設備中抽象出來, 這樣就降低了與硬件的耦合度, 可以更廣泛的選擇和使用更多配置與更高性能的通用硬件,并開發(fā)出更豐富的人工智能、云計算管理、大數(shù)據(jù)應用接口,匹配滿足新數(shù)據(jù)時代的六大業(yè)務需求。
浪潮SDS多維出擊
從產業(yè)發(fā)展角度來看,只有跨越物理世界和數(shù)字世界的交點(即進行新數(shù)據(jù)時代的業(yè)務轉型),才能獲得完整的產業(yè)機會。而IT廠商的使命,就是為各行各業(yè)的再一次轉型提供專業(yè)的數(shù)字化產品和方案。只有通過技術創(chuàng)新,去幫助用戶設計架構和建設基礎設施,促進用戶做出更好的業(yè)務決策或者創(chuàng)建更多的業(yè)務機會,從而幫助企業(yè)增加收入,在商業(yè)方面才有可能更加成功。
【浪潮超大規(guī)模軟件定義存儲】
首先,提升元數(shù)據(jù)管理能力,讓EB級數(shù)據(jù)存得下、取得出。
浪潮軟件定義存儲之打破了傳統(tǒng)文件系統(tǒng)的元數(shù)據(jù)集中式存儲和管理這一限制,對浪潮軟件定義存儲集群系統(tǒng)的目錄實行分而治之,讓集群中所有服務器來一起存儲和管理元數(shù)據(jù)及數(shù)據(jù),從而實現(xiàn)負荷分擔、負載均衡,實現(xiàn)10億級別的文件管理。
由于浪潮軟件定義存儲擁有更為強大的計算資源和存儲資源來快速索引文件,所以其容量規(guī)模、管理文件數(shù)目的能力要遠遠優(yōu)于傳統(tǒng)架構存儲。另外多活元數(shù)據(jù)服務也是浪潮軟件定義存儲的顯著優(yōu)勢:多個元數(shù)據(jù)服務形成集群,共同對外提供文件索引服務,并且通過元數(shù)據(jù)副本、緩存加速、熱點目錄分片、動態(tài)子樹分區(qū)等技術,來實現(xiàn)負載均衡及元數(shù)據(jù)服務故障高可用等一系列功能。
目前浪潮軟件定義存儲系統(tǒng)可擴展至數(shù)千個,可以形成EB級海量存儲空間、百億數(shù)據(jù)文件管理、億級IOPS和百GB帶寬,加上不斷進步的數(shù)據(jù)自動修復和自動運維機制,使之廣泛適用于海量數(shù)據(jù)存儲場景。
【浪潮參加2018中國存儲峰會,展示新數(shù)據(jù)時代的新存儲】
其次,從架構到功能,一切皆為場景服務。
浪潮存儲很早就看到了云計算、大數(shù)據(jù)和人工智能對大規(guī)模存儲的需求,并啟動了在軟件定義存儲方面的布局與投入,并通過Scale-out架構基礎上不斷進行技術創(chuàng)新和產品迭代,推出了自己的軟件定義存儲產品AS13000,并在一套架構下實現(xiàn)了文件、塊、對象和大數(shù)據(jù)四種數(shù)據(jù)服務。
云計算、大數(shù)據(jù)和AI是智能應用的上層建筑,存儲與服務器、網絡和云平臺則構成基礎設施。首先,存儲作為基礎設施之一,其系統(tǒng)架構是本。架構的一致性和歸一性會給數(shù)據(jù)中心基礎實施帶來互聯(lián)互通、共享統(tǒng)管方面的保證,帶來全方位的CAPEX和OPEX節(jié)省。其次,生長于架構上的新技術、新特性、新功能,則是標,通過這些創(chuàng)新,存儲可以完美適配不同的應用場景。
【浪潮軟件定義存儲AS13000的技術優(yōu)勢】
最后,從介質到算法優(yōu)化,從外部到內存,閃存化提升了浪潮SDS的性能。
對于數(shù)據(jù)訪問性能問題。關鍵應用和虛擬機集群要求高IOPS,全閃存軟件定義存儲無疑是更好的選擇。全閃存儲使用固態(tài)存儲介質技術,比如NVMe、3D xpoint等。通過全閃存軟件定義存儲內的介質更新,軟件算法優(yōu)化,可以大幅提高IOPS、時延和帶寬。此外,基于固態(tài)存儲技術,浪潮正在將存儲技術模塊打包,從快速存儲向內存存儲來改變,帶動內存計算技術的發(fā)展。在內存計算技術發(fā)展起來之后,業(yè)界在數(shù)據(jù)庫的設計、應用設計這些方面都要得到改變,而浪潮可以很快適應以上變化,通過產品優(yōu)化轉型,繼續(xù)發(fā)揮在存儲方面的積累與技術優(yōu)勢。
評論