機器視覺、網(wǎng)上銀行、自動駕駛……新的業(yè)務(wù)場景、新的數(shù)據(jù)形態(tài)、新的響應(yīng)需求,企業(yè)的存儲基礎(chǔ)設(shè)施正面臨著前所未有的挑戰(zhàn)。
分布式存儲,憑借大規(guī)模集群下的整體性能和容量優(yōu)勢、系統(tǒng)擴展能力強、運維管理效率高、可用性和可靠性高等特點,受到越來越多用戶的青睞,并進入企業(yè)的存儲基礎(chǔ)設(shè)施建設(shè)選型范圍。然而,對于正在推進分布式存儲落地的企業(yè)而言,如何進行系統(tǒng)選型?需要關(guān)注哪些方面?有什么好的解決方案?這份選型指南,請收好!
分布式存儲選型3大關(guān)注要點
在當前業(yè)務(wù)不斷波動變化和IT技術(shù)快速發(fā)展的背景下,企業(yè)應(yīng)圍繞業(yè)務(wù)需求來規(guī)劃存儲架構(gòu),綜合考慮成本,從海量數(shù)據(jù)的安全存儲、高效管理、價值挖掘等方面對存儲系統(tǒng)選型進行考慮。
一、如何安全可靠地存儲海量數(shù)據(jù)?
可靠性和安全性:由于分布式存儲與網(wǎng)絡(luò)、磁盤的運行情況息息相關(guān),需要了解分布式存儲在各種網(wǎng)絡(luò)故障、磁盤故障場景下的處理機制是否符合當前企業(yè)的業(yè)務(wù)要求,例如在集群故障場景下有多少塊盤和多少臺主機出現(xiàn)故障,故障后數(shù)據(jù)是否能夠自動修復(fù),是否有相應(yīng)的告警提示,是否支持對重要數(shù)據(jù)做備份?數(shù)據(jù)安全方面,存儲系統(tǒng)是否支持數(shù)據(jù)加密,是否有完善的權(quán)限管理機制、日志審計查詢功能等?例如,對于金融行業(yè)來說,保障業(yè)務(wù)的持續(xù)穩(wěn)定無間斷運行和數(shù)據(jù)安全流動是第一要務(wù),存儲系統(tǒng)的可靠性和安全性應(yīng)是重點關(guān)注的內(nèi)容。
性能和成本:企業(yè)可以根據(jù)自身業(yè)務(wù)的數(shù)據(jù)量、數(shù)據(jù)類型及對數(shù)據(jù)的讀寫性能要求,選擇能夠支持的分布式存儲系統(tǒng)。例如在AI訓練/自動駕駛領(lǐng)域,單個數(shù)據(jù)集可能就包含10萬+數(shù)量的視頻、圖片及相應(yīng)標準,總數(shù)據(jù)量往往達到幾百TB甚至數(shù)PB,這對于存儲的吞吐量、延遲要求極高。此外,還應(yīng)考慮到是否有成本控制相關(guān)功能(例如重復(fù)數(shù)據(jù)刪除、定期清除),以進一步提高空間利用率。
靈活擴展:雖然分布式存儲能夠支持彈性擴展,但是一些分布式存儲擴容后,可能會導(dǎo)致大量數(shù)據(jù)遷移到新擴容的磁盤空間上,從而影響業(yè)務(wù)性能。因此建議用戶選擇能夠支持平滑擴容并且對業(yè)務(wù)無感知的分布式存儲。
二、如何實現(xiàn)數(shù)據(jù)統(tǒng)一管理和便捷運維?
數(shù)據(jù)統(tǒng)一管理:如何將多種數(shù)據(jù)類型的數(shù)據(jù)匯聚到分布式存儲中進行統(tǒng)一的管理,如是否支持SMB/CIFS/CSI等?以最大化減少傳統(tǒng)應(yīng)用遷移至對象存儲的改造成本;是否有可視化的界面可以進行便捷的數(shù)據(jù)管理,如數(shù)據(jù)上傳、下載、刪除等操作?
生命周期管理:采用分布式存儲后,能否納管原有的NAS設(shè)備,實現(xiàn)數(shù)據(jù)免遷移和業(yè)務(wù)無感知,節(jié)省投資成本?能否支持熱溫冷數(shù)據(jù)的自動遷移以及和公有云的無縫對接?例如,在智能制造AOI質(zhì)檢場景,質(zhì)檢圖片數(shù)據(jù)在2年左右往往需要自動歸檔到后端磁帶庫等低成本介質(zhì),滿足數(shù)據(jù)長期保存的合規(guī)性要求。
可視化的便捷運維:管理界面是否直觀可視化,實現(xiàn)全集群的便捷管理?能否對容量、存儲集群的穩(wěn)定性、業(yè)務(wù)統(tǒng)計等動態(tài)展示?能否做到實時監(jiān)控預(yù)警?
三、如何進一步挖掘數(shù)據(jù)價值?
在數(shù)據(jù)浪潮的推動下,企業(yè)需要在各類場景下高效存儲和使用數(shù)據(jù),對存儲系統(tǒng)的要求也從簡單的能存能管,提升到要便于價值利用。因此在分布式存儲選型時,企業(yè)也要進一步關(guān)注存儲系統(tǒng)能否快速對圖片、視頻、文本等非結(jié)構(gòu)化數(shù)據(jù)進行有效信息提取,從而更好地對數(shù)據(jù)價值進行挖掘和呈現(xiàn)。
善用存儲科技,釋放數(shù)據(jù)價值
從以上的分析可以看出,IT技術(shù)人員在選擇分布式存儲過程中,需要考慮的因素眾多。如果能擁有一款既安全可靠、滿足業(yè)務(wù)需求,又能實現(xiàn)便捷管理和成本優(yōu)化,并能為后續(xù)的數(shù)據(jù)價值利用打下堅實基礎(chǔ)的分布式存儲產(chǎn)品,將極大地推動實現(xiàn)數(shù)字時代企業(yè)的IT基礎(chǔ)架構(gòu)轉(zhuǎn)型升級。
而杉巖MOS海量對象存儲,作為一款兼具企業(yè)級海量非結(jié)構(gòu)化數(shù)據(jù)存儲能力和智能數(shù)據(jù)處理能力的分布式存儲產(chǎn)品,就圍繞海量數(shù)據(jù)的“存儲、管理、挖掘”需求,創(chuàng)新存儲科技,成為海量、安全、智能、非結(jié)構(gòu)化數(shù)據(jù)存儲的最佳選擇。
海量數(shù)據(jù)安全存儲
杉巖MOS基于分布式架構(gòu),支持百億文件/EB級存儲容量,單一命名空間下,滿足高并發(fā)訪問需求,支持業(yè)務(wù)在線時存儲服務(wù)器橫向擴容及整池擴容,擴容后新數(shù)據(jù)存放于新的存儲池,老數(shù)據(jù)提供讀服務(wù),有效避免數(shù)據(jù)重平衡對前端業(yè)務(wù)的沖擊;加之部署簡單、靈活擴展的特點,可以充分滿足爆炸式增長的非結(jié)構(gòu)化數(shù)據(jù)存儲需求,解決傳統(tǒng)NAS存儲無法彈性擴展的難題。
可靠性和安全性方面,杉巖 MOS支持副本、糾刪兩種數(shù)據(jù)冗余策略供用戶按需選擇。同時,通過桶內(nèi)數(shù)據(jù)加密、WORM、多版本、回收站、CDP和多用戶隔離等技術(shù)實現(xiàn)數(shù)據(jù)的加密、防誤刪、災(zāi)難恢復(fù)和權(quán)限控制等。
在兼顧性能和可靠性外,杉巖MOS還支持重刪及壓縮、數(shù)據(jù)分級存儲、生命周期清除、傳統(tǒng)SAN納管和NAS/S3異構(gòu)等多種成本優(yōu)化技術(shù),在幫助企業(yè)提高存儲空間利用率、保護歷史投資、節(jié)省存儲空間和采購成本等方面有著獨特的價值優(yōu)勢。
統(tǒng)一管理和簡單運維
傳統(tǒng)的SAN/NAS存儲只能在局域網(wǎng)內(nèi)訪問,無法提供云邊協(xié)同統(tǒng)一的數(shù)據(jù)管理能力。杉巖MOS不僅支持S3接口,還支持NFS、SMB、FTP、CSI、HDFS等豐富的接口,可以對接各種類型的應(yīng)用,將各類數(shù)據(jù)匯聚到杉巖 MOS產(chǎn)品中,實現(xiàn)數(shù)據(jù)跨網(wǎng)絡(luò)的統(tǒng)一管理和訪問;支持NAS/S3納管,省去了數(shù)據(jù)遷移與校驗的過程,實現(xiàn)業(yè)務(wù)系統(tǒng)的快速切換與上線。
同時,根據(jù)數(shù)據(jù)不同的生命周期的階段,杉巖MOS支持對數(shù)據(jù)進行全生命周期管理,支持冷熱數(shù)據(jù)介質(zhì)分層遷移、實時歸檔、延時歸檔、延時刪除等,降低存儲成本;與公有云相互兼容,將本地對象文件通過生命周期管理自動歸檔到公有云,實現(xiàn)業(yè)務(wù)無感知的數(shù)據(jù)上云、下云的融合和流動。
在運維層面,杉巖MOS提供了一系列的特性幫助用戶簡化運維,例如容量預(yù)警、桶審計日志、對象業(yè)務(wù)統(tǒng)計、硬盤亞健康、網(wǎng)絡(luò)亞健康,多集群管理等。此外,在告警管理方面也支持多樣化的告警方式,例如微信告警、電話告警、郵箱告警,支持自動巡檢并生成巡檢報告。
智能處理挖掘數(shù)據(jù)價值
在傳統(tǒng)模式下,對數(shù)據(jù)庫文件等結(jié)構(gòu)化數(shù)據(jù)進行價值挖掘相對容易,但是對于圖像、影音等非結(jié)構(gòu)化數(shù)據(jù)的價值挖掘較為困難。為方便用戶對非結(jié)構(gòu)化數(shù)據(jù)的提取及使用,杉巖MOS集成了智能數(shù)據(jù)處理引擎,支持對非結(jié)構(gòu)化數(shù)據(jù)進行多維度標簽化和結(jié)構(gòu)化處理,將圖片轉(zhuǎn)碼、視頻抽幀、OCR識別等數(shù)據(jù)處理能力下沉到存儲系統(tǒng)內(nèi)部,提升處理效率,通過標簽檢索對象,提升數(shù)據(jù)管理能力,降低成本并簡化業(yè)務(wù)流程。
圖 智能數(shù)據(jù)處理引擎工作流程
總而言之,在數(shù)據(jù)爆發(fā)增長的“數(shù)字時代”,軟件定義的分布式存儲將成為主流。企業(yè)在向分布式存儲轉(zhuǎn)型過程中,應(yīng)該從自身業(yè)務(wù)需求規(guī)劃出發(fā),并著眼未來,平衡存儲的可靠性、安全性、易用性、擴展性、性能和成本等多個方面,做出存儲基礎(chǔ)架構(gòu)升級的最優(yōu)解。而杉巖數(shù)據(jù)也將圍繞海量數(shù)據(jù)“存儲-管理-挖掘”的核心需求,不負用戶所托,攜手應(yīng)對大數(shù)據(jù)挑戰(zhàn)!
審核編輯:符乾江
評論