性能一直是存儲(chǔ)的核心話題，如果說(shuō)可靠性是業(yè)務(wù)數(shù)據(jù)的生命線，那么性能就是業(yè)務(wù)加速發(fā)展的推進(jìn)器。

存儲(chǔ)系統(tǒng)的性能來(lái)自于軟件和硬件的配合，硬件體系包括CPU、內(nèi)存、網(wǎng)絡(luò)、硬盤(pán)，組網(wǎng)方式，軟件架構(gòu)等等，所有這些軟硬件協(xié)同作用的合力就表現(xiàn)為存儲(chǔ)系統(tǒng)對(duì)外提供的性能吞吐能力。

相比于傳統(tǒng)存儲(chǔ)，分布式存儲(chǔ)的性能問(wèn)題尤為棘手，涉及到多個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)轉(zhuǎn)發(fā)，IO路徑更長(zhǎng)，因此對(duì)性能的影響點(diǎn)更多，更復(fù)雜。純軟件由于其硬件的多樣性，往往出現(xiàn)性能體驗(yàn)的波動(dòng)和不穩(wěn)定，在某些配置上得到的性能數(shù)據(jù)，在最終用戶得到的硬件配置上卻不一定能達(dá)到。

面向場(chǎng)景 補(bǔ)齊影響性能的每塊短板

新華三集團(tuán)存儲(chǔ)產(chǎn)品線X10000產(chǎn)品首席架構(gòu)師陳釗介紹：“存儲(chǔ)系統(tǒng)的性能問(wèn)題是個(gè)典型的木桶效應(yīng)，再解決當(dāng)前短板之前，很難準(zhǔn)確預(yù)知下一個(gè)短板；或者是否存在比當(dāng)前發(fā)現(xiàn)的短板更短的短板。存儲(chǔ)性能優(yōu)化團(tuán)隊(duì)通過(guò)在整個(gè)存儲(chǔ)IO路徑協(xié)議棧上進(jìn)行細(xì)致的打點(diǎn)分析，逐個(gè)排查性能瓶頸點(diǎn)，不斷突破性能極限。”

“同時(shí)，我們深耕業(yè)務(wù)場(chǎng)景，比如廣電、運(yùn)營(yíng)商、HPC等，專(zhuān)項(xiàng)進(jìn)行性能優(yōu)化，從硬件驅(qū)動(dòng)到協(xié)議棧，一層一層分析系統(tǒng)瓶頸，逐項(xiàng)優(yōu)化。H3C UniStor X10000存儲(chǔ)一體機(jī)從用戶場(chǎng)景出發(fā)，通過(guò)軟硬件的聯(lián)合調(diào)優(yōu)，基于業(yè)務(wù)場(chǎng)景給出最佳的硬件典配，交付用戶有保障的存儲(chǔ)性能。”

除了針對(duì)各項(xiàng)場(chǎng)景應(yīng)用進(jìn)行定向優(yōu)化精細(xì)開(kāi)發(fā)，研發(fā)團(tuán)隊(duì)還介紹了X10000性能優(yōu)化過(guò)程中的一個(gè)小小的難點(diǎn)……

不走回頭路 用聰明的方法解決問(wèn)題

原來(lái)，隨著新的特性功能不斷開(kāi)發(fā)，加載了新功能后的產(chǎn)品，很有可能出現(xiàn)性能的倒退。那么，要怎樣解決和避免這樣的問(wèn)題呢？

負(fù)責(zé)自動(dòng)化性能看護(hù)系統(tǒng)的研發(fā)人員馮翔宇介紹，中央電視臺(tái)和中科大洋聯(lián)合poc測(cè)試是一次難忘的經(jīng)歷，當(dāng)時(shí)，X10000存儲(chǔ)系統(tǒng)在用戶的測(cè)試環(huán)境中出現(xiàn)了性能回退。為了排查確切的引入問(wèn)題源，測(cè)試團(tuán)隊(duì)重新對(duì)每一個(gè)列入問(wèn)題單的性能影響因素進(jìn)行了測(cè)試評(píng)估，整個(gè)周期持續(xù)了一月有余。

同時(shí)，針對(duì)新版本性能回退的主要矛盾，測(cè)試團(tuán)隊(duì)決定建立一套自動(dòng)化性能系統(tǒng)。通過(guò)自動(dòng)化CI集成，在性能倒退的最初就能識(shí)別并解決；當(dāng)性能優(yōu)化成果合入版本后，又刷新性能基線。從而使存儲(chǔ)產(chǎn)品的性能能夠不斷提升。

馮翔宇介紹，性能自動(dòng)化系統(tǒng)建立初期，測(cè)試團(tuán)隊(duì)查找和嘗試了大量的開(kāi)源工具和資料，決定了基于一個(gè)開(kāi)源的基礎(chǔ)框架。真正開(kāi)展后卻發(fā)現(xiàn)，框架雖然體系清晰，但是原生系統(tǒng)卻是基于塊業(yè)務(wù)實(shí)現(xiàn)的，且該系統(tǒng)實(shí)際上僅僅是一個(gè)預(yù)研階段的產(chǎn)物，實(shí)際操作的資料基本沒(méi)有。在初次部署時(shí)，便有層層報(bào)錯(cuò)。

測(cè)試團(tuán)隊(duì)花費(fèi)了大量的時(shí)間梳理系統(tǒng)框架、終于建立了文件系統(tǒng)測(cè)試系統(tǒng)框架。然而，進(jìn)行初步測(cè)試的過(guò)程中，卻發(fā)現(xiàn)存儲(chǔ)關(guān)注的性能數(shù)據(jù)分析和統(tǒng)計(jì)功能并不適配。

眾所周知，存儲(chǔ)產(chǎn)品的性能測(cè)試與硬件環(huán)境強(qiáng)相關(guān)，在保證性能測(cè)試數(shù)據(jù)能及時(shí)、有效提供的同時(shí)，還需要保證周邊的測(cè)試環(huán)境、可供分析的perf數(shù)據(jù)準(zhǔn)確抓取，這對(duì)于長(zhǎng)期的性能穩(wěn)定性至關(guān)重要。

為此，測(cè)試與開(kāi)發(fā)團(tuán)隊(duì)內(nèi)部專(zhuān)家反復(fù)溝通性能perf數(shù)據(jù)的抓取，建立可以反復(fù)、長(zhǎng)期使用的perf數(shù)據(jù)庫(kù)，確定抓取、命名、分類(lèi)等準(zhǔn)則；針對(duì)代碼的簡(jiǎn)潔準(zhǔn)確性、接口可復(fù)用繼承性、異常流程處理等，測(cè)試人員反復(fù)考慮和優(yōu)化已經(jīng)調(diào)試走通的代碼，對(duì)加強(qiáng)異常報(bào)錯(cuò)代碼的提示信息也格外注重，快速解決問(wèn)題。

團(tuán)隊(duì)的努力沒(méi)有白費(fèi)，經(jīng)過(guò)反復(fù)的測(cè)驗(yàn)和不斷集思廣益優(yōu)化，當(dāng)前自動(dòng)化測(cè)試系統(tǒng)具備一鍵完成自動(dòng)安裝、多個(gè)測(cè)試任務(wù)一鍵下發(fā)、性能數(shù)據(jù)準(zhǔn)確收集等功能，讓運(yùn)維人員從性能測(cè)試環(huán)境確認(rèn)、腳本確認(rèn)、數(shù)據(jù)人力收集等諸多重復(fù)操作中解放，節(jié)約一半以上的人力投入，真正實(shí)現(xiàn)版本性能看護(hù)，為用戶的業(yè)務(wù)開(kāi)展提供最強(qiáng)加速度。

后記：披荊斬棘 初露鋒芒

排查完性能問(wèn)題之后的X10000存儲(chǔ)系統(tǒng)，到客戶的應(yīng)用測(cè)試環(huán)境中，也表現(xiàn)出了優(yōu)異的性能，為X10000在廣電行業(yè)的破冰與開(kāi)拓奠定了堅(jiān)實(shí)的基礎(chǔ)。

上文我們記載的是X10000性能研發(fā)過(guò)程中的一個(gè)小小的插曲，正如前文提到的，存儲(chǔ)系統(tǒng)的性能涉及到無(wú)數(shù)的IO環(huán)節(jié)，只有我們掃除了每個(gè)IO環(huán)節(jié)上的瓶頸，才能造就存儲(chǔ)系統(tǒng)優(yōu)異穩(wěn)定的性能，在這個(gè)不斷排查瓶頸的過(guò)程中，研發(fā)中心上演了一幕幕感人的小故事，奠定了X10000存儲(chǔ)系統(tǒng)的性能基礎(chǔ)，鋪就了X10000在多個(gè)行業(yè)開(kāi)疆?dāng)U土的發(fā)展前景！
責(zé)任編輯:pj