一提到對(duì)象存儲(chǔ)，大家多半會(huì)聯(lián)想到“存儲(chǔ)海量文件”。但隨著近幾年大數(shù)據(jù)、云計(jì)算等應(yīng)用場(chǎng)景的廣泛部署，客戶對(duì)業(yè)務(wù)的敏捷性要求越來(lái)越高，盡可能地精簡(jiǎn)業(yè)務(wù)處理流程、提高業(yè)務(wù)處理效率變得更加重要。面對(duì)這些需求變化，身處幕后的存儲(chǔ)設(shè)備已經(jīng)不能僅僅局限于“存儲(chǔ)”這個(gè)基本要求。一些領(lǐng)先的對(duì)象存儲(chǔ)廠商已經(jīng)開(kāi)始思考，如何將原本外置的業(yè)務(wù)處理能力集成到存儲(chǔ)上來(lái)，讓存儲(chǔ)做“更多事情”，結(jié)合業(yè)務(wù)需求來(lái)賦能應(yīng)用，幫助客戶實(shí)現(xiàn)更大價(jià)值。

為了滿足部分客戶在海量圖片處理場(chǎng)景下對(duì)業(yè)務(wù)敏捷性和處理效率的要求，SandStone MOS在V5.4版本中新增圖片處理功能，使圖片處理的全業(yè)務(wù)流程均在對(duì)象存儲(chǔ)內(nèi)部完成，讓流程處理從“繁瑣低效”走向“簡(jiǎn)潔高效”。本文即對(duì)該特性進(jìn)行專題解讀。

一、圖片處理業(yè)務(wù)導(dǎo)致海量數(shù)據(jù)高吞吐

隨著各類企業(yè)文檔、圖片和音視頻等非結(jié)構(gòu)化文件的數(shù)量逐步從千萬(wàn)級(jí)快速增長(zhǎng)至數(shù)億級(jí)別，并呈現(xiàn)持續(xù)的指數(shù)級(jí)爆炸式增長(zhǎng)，分布式對(duì)象存儲(chǔ)已逐步替代傳統(tǒng)NAS存儲(chǔ)，成為當(dāng)今企業(yè)內(nèi)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的標(biāo)配。非結(jié)構(gòu)化數(shù)據(jù)（尤其是圖片文件），通常與企業(yè)的業(yè)務(wù)流程緊密相關(guān)。比如銀行的購(gòu)房貸款審批業(yè)務(wù)，購(gòu)房者提交的申請(qǐng)材料通常包含身份證、戶口本、個(gè)人收入證明及購(gòu)房合同等各類文件的掃描件，并以圖片的形式長(zhǎng)期存檔。整個(gè)審批流程包含了對(duì)圖片的各種處理需求，比如通過(guò)縮略圖來(lái)提高瀏覽效率、通過(guò)打水印以便于追溯圖片來(lái)源，以及通過(guò)調(diào)整圖片尺寸來(lái)適配不同客戶端顯示規(guī)格等。若要滿足客戶對(duì)圖片存儲(chǔ)、提取、處理這一系列需求，目前普通的對(duì)象存儲(chǔ)系統(tǒng)是如何實(shí)現(xiàn)的呢？

圖1.基于普通對(duì)象存儲(chǔ)的圖片處理業(yè)務(wù)架構(gòu)

如圖1所示，普通的對(duì)象存儲(chǔ)系統(tǒng)僅提供圖片文件的存儲(chǔ)服務(wù)，當(dāng)業(yè)務(wù)系統(tǒng)需要獲取處理后的圖片（如縮略圖）時(shí)，大致需要經(jīng)歷以下4個(gè)步驟：

1.??????業(yè)務(wù)應(yīng)用向?qū)ο蟠鎯?chǔ)發(fā)送讀取原始圖片的請(qǐng)求

2.??????業(yè)務(wù)應(yīng)用下載原始圖片到業(yè)務(wù)服務(wù)器

3.??????業(yè)務(wù)應(yīng)用上傳原始圖片到圖片處理系統(tǒng)以請(qǐng)求縮略圖

4.??????業(yè)務(wù)應(yīng)用獲取圖片處理系統(tǒng)返回的原始圖片的縮略圖

顯而易見(jiàn)，整個(gè)過(guò)程中存儲(chǔ)系統(tǒng)和圖片處理系統(tǒng)要進(jìn)行頻繁交互。當(dāng)業(yè)務(wù)實(shí)際上線運(yùn)行后，由于原始圖片一般為高分辨率、高清晰度的大文件，上述步驟2和步驟3通常會(huì)給業(yè)務(wù)網(wǎng)絡(luò)帶來(lái)巨大的流量壓力，占用大量的網(wǎng)絡(luò)帶寬；另外因?yàn)榱鞒滩襟E較多，這也會(huì)增加系統(tǒng)響應(yīng)時(shí)間，導(dǎo)致客戶訪問(wèn)體驗(yàn)很差。

如上所述，對(duì)象存儲(chǔ)系統(tǒng)與圖片處理系統(tǒng)各自獨(dú)立，前者只負(fù)責(zé)“存”，后者只負(fù)責(zé)“處理”，而且中間的“提取”過(guò)程效率低下。對(duì)用戶而言，這顯然不是最佳的解決方案。

杉巖基于多年行業(yè)實(shí)踐，準(zhǔn)確地捕捉到了這一長(zhǎng)期存在的痛點(diǎn)，并提出了針對(duì)性的解決方法。

圖2.基于SandStone MOS的圖片處理業(yè)務(wù)架構(gòu)

如圖2所示，SandStone MOS通過(guò)在對(duì)象存儲(chǔ)系統(tǒng)內(nèi)部集成圖片處理功能，省去了圖片處理過(guò)程中將原始圖片在業(yè)務(wù)網(wǎng)絡(luò)上來(lái)回拷貝的過(guò)程。這樣做的好處是：既免除了對(duì)業(yè)務(wù)網(wǎng)絡(luò)的帶寬壓力、提升了系統(tǒng)響應(yīng)速度和交互體驗(yàn)；還能夠充分發(fā)揮存儲(chǔ)節(jié)點(diǎn)富余的CPU資源的計(jì)算能力，確保存儲(chǔ)性能的高效利用。

二、集成圖片處理能力，提升存儲(chǔ)智能化

既然了解了SandStone MOS在圖像處理方面的獨(dú)到之處，那么，它是如何實(shí)現(xiàn)的呢？

圖3.SandStone MOS圖片處理業(yè)務(wù)架構(gòu)的實(shí)現(xiàn)方式

如圖3所示，SandStone MOS存儲(chǔ)系統(tǒng)最底層為通用的服務(wù)器硬件，OSD負(fù)責(zé)管理服務(wù)器上的每個(gè)存儲(chǔ)硬盤，對(duì)象存儲(chǔ)網(wǎng)關(guān)負(fù)責(zé)S3對(duì)象存儲(chǔ)接口的邏輯封裝以及與OSD的數(shù)據(jù)進(jìn)行讀寫交互，負(fù)載均衡器負(fù)責(zé)實(shí)現(xiàn)業(yè)務(wù)讀寫請(qǐng)求在多個(gè)對(duì)象存儲(chǔ)網(wǎng)關(guān)間的負(fù)載均衡路由及高可用。

當(dāng)業(yè)務(wù)應(yīng)用經(jīng)過(guò)S3 SDK發(fā)送讀寫請(qǐng)求到負(fù)載均衡器時(shí)，負(fù)載均衡器根據(jù)指定的路由算法（如輪詢）將請(qǐng)求分配到對(duì)應(yīng)的對(duì)象存儲(chǔ)網(wǎng)關(guān)，對(duì)象存儲(chǔ)網(wǎng)關(guān)再與OSD交互完成數(shù)據(jù)的讀寫。

此外，SandStone MOS的對(duì)象存儲(chǔ)網(wǎng)關(guān)模塊除了提供S3對(duì)象訪問(wèn)協(xié)議，還支持常用的圖片處理功能，主要包括圖片轉(zhuǎn)碼、圖片壓縮、縮略圖及圖片文字水印，具體規(guī)格如下。

1.? 圖片轉(zhuǎn)碼接口支持將圖片轉(zhuǎn)換成JPG、PNG、BMP、WEBP、GIF、TIFF等格式

2.? 圖片壓縮接口支持 JPEG、PNG 格式。瘦身后畫質(zhì)不變，分辨率不變，格式不變，文件體積大幅縮小

3.? 縮略圖接口支持圖片格式轉(zhuǎn)換、縮略、剪裁功能。只需要填寫幾個(gè)參數(shù)，即可對(duì)圖片進(jìn)行縮略操作，生成各種縮略圖，接口可支持處理的原圖片格式包括：PSD、JPG、PNG、BMP、WEBP、GIF、TIFF

4.? 文字水印接口支持圖片類型包括：JPEG、PNG、PSD、GIF、TIFF、BMP

當(dāng)對(duì)象存儲(chǔ)系統(tǒng)集成了圖片處理功能后，業(yè)務(wù)應(yīng)用通過(guò)標(biāo)準(zhǔn)的S3訪問(wèn)入口，即可完成圖片的存儲(chǔ)和處理過(guò)程，業(yè)務(wù)應(yīng)用只需要在原有的S3讀取接口增加相應(yīng)的圖片處理參數(shù)，就能獲取處理后的圖片。

三、媒體處理能力提升50%，幫助客戶提升效益

簡(jiǎn)化業(yè)務(wù)架構(gòu)，降低硬件成本

在普通對(duì)象存儲(chǔ)的業(yè)務(wù)架構(gòu)中，因?yàn)閷?duì)象存儲(chǔ)自身不支持圖片處理功能，圖片的存儲(chǔ)和處理分別需要訪問(wèn)對(duì)象存儲(chǔ)服務(wù)地址和圖片服務(wù)地址，這導(dǎo)致業(yè)務(wù)邏輯需要針對(duì)兩套系統(tǒng)做復(fù)雜的邏輯處理，業(yè)務(wù)處理的效率低下。通過(guò)使用SandStone MOS分布式對(duì)象存儲(chǔ)系統(tǒng)，業(yè)務(wù)應(yīng)用只需要維護(hù)一個(gè)訪問(wèn)地址和SDK就可以，整體架構(gòu)得到了極大的簡(jiǎn)化，有效精簡(jiǎn)了IT設(shè)備，降低硬件成本。

釋放網(wǎng)絡(luò)帶寬壓力，保障性能穩(wěn)定

SandStone MOS通過(guò)在對(duì)象存儲(chǔ)系統(tǒng)內(nèi)部集成圖片處理功能，省去了圖片處理過(guò)程中需要將原始圖片在業(yè)務(wù)網(wǎng)絡(luò)上來(lái)回拷貝的過(guò)程，減少了業(yè)務(wù)網(wǎng)絡(luò)的帶寬壓力，避免了由于帶寬擠占導(dǎo)致其他業(yè)務(wù)系統(tǒng)訪問(wèn)卡頓甚至癱瘓的風(fēng)險(xiǎn)，有效保障性能的持續(xù)穩(wěn)定。

極大縮短圖片處理請(qǐng)求時(shí)間，讓業(yè)務(wù)更敏捷

由于避免了跨業(yè)務(wù)網(wǎng)絡(luò)訪問(wèn)，即省去了原始圖片在存儲(chǔ)系統(tǒng)和圖片處理系統(tǒng)間的交互過(guò)程，圖片在SandStone MOS內(nèi)部可就近完成處理任務(wù)。對(duì)比普通對(duì)象存儲(chǔ)的方案，在相同算力的前提下，SandStone MOS的圖片處理整體效率可以提升高達(dá)50%以上，極大的保障了業(yè)務(wù)敏捷性，幫助客戶從容應(yīng)對(duì)海量圖片場(chǎng)景下的快速處理需求。

充分發(fā)揮富余CPU算力，提高硬件利用率

一般在業(yè)務(wù)壓力比較低的場(chǎng)景下，或是出于對(duì)存儲(chǔ)系統(tǒng)擴(kuò)展性規(guī)劃的考慮，服務(wù)器硬件的CPU資源利用率通常只有20%-30%左右，SandStone MOS的圖片處理業(yè)務(wù)架構(gòu)不僅可以減少跨網(wǎng)絡(luò)的數(shù)據(jù)拷貝，提升圖片處理效率，還能夠充分發(fā)揮存儲(chǔ)節(jié)點(diǎn)上富余CPU資源的計(jì)算能力，確保多業(yè)務(wù)場(chǎng)景下有充足的算力保障。

SandStone MOS通過(guò)集成圖片處理功能，在便捷存儲(chǔ)海量文件的同時(shí)，讓圖片處理的全業(yè)務(wù)流程在對(duì)象存儲(chǔ)內(nèi)部完成，避免了傳統(tǒng)方案中存儲(chǔ)與圖片處理系統(tǒng)的頻繁交互，不僅能很好地完成“存儲(chǔ)”這一基本要求，還能結(jié)合場(chǎng)景需求，在存儲(chǔ)內(nèi)部高效完成圖片處理過(guò)程，幫助用戶實(shí)現(xiàn)更大價(jià)值。