性能一直是存儲的核心話題，如果說可靠性是業(yè)務(wù)數(shù)據(jù)的生命線，那么性能就是業(yè)務(wù)加速發(fā)展的推進(jìn)器。

存儲系統(tǒng)的性能來自于軟件和硬件的配合，硬件體系包括CPU、內(nèi)存、網(wǎng)絡(luò)、硬盤，組網(wǎng)方式，軟件架構(gòu)等等，所有這些軟硬件協(xié)同作用的合力就表現(xiàn)為存儲系統(tǒng)對外提供的性能吞吐能力。

相比于傳統(tǒng)存儲，分布式存儲的性能問題尤為棘手，涉及到多個節(jié)點(diǎn)之間的數(shù)據(jù)轉(zhuǎn)發(fā)，IO路徑更長，因此對性能的影響點(diǎn)更多，更復(fù)雜。純軟件由于其硬件的多樣性，往往出現(xiàn)性能體驗(yàn)的波動和不穩(wěn)定，在某些配置上得到的性能數(shù)據(jù)，在最終用戶得到的硬件配置上卻不一定能達(dá)到。

面向場景 補(bǔ)齊影響性能的每塊短板

新華三集團(tuán)存儲產(chǎn)品線X10000產(chǎn)品首席架構(gòu)師陳釗介紹：“存儲系統(tǒng)的性能問題是個典型的木桶效應(yīng)，再解決當(dāng)前短板之前，很難準(zhǔn)確預(yù)知下一個短板；或者是否存在比當(dāng)前發(fā)現(xiàn)的短板更短的短板。存儲性能優(yōu)化團(tuán)隊(duì)通過在整個存儲IO路徑協(xié)議棧上進(jìn)行細(xì)致的打點(diǎn)分析，逐個排查性能瓶頸點(diǎn)，不斷突破性能極限?！?/p>

“同時，我們深耕業(yè)務(wù)場景，比如廣電、運(yùn)營商、HPC等，專項(xiàng)進(jìn)行性能優(yōu)化，從硬件驅(qū)動到協(xié)議棧，一層一層分析系統(tǒng)瓶頸，逐項(xiàng)優(yōu)化。H3C UniStor X10000存儲一體機(jī)從用戶場景出發(fā)，通過軟硬件的聯(lián)合調(diào)優(yōu)，基于業(yè)務(wù)場景給出最佳的硬件典配，交付用戶有保障的存儲性能?！?/p>

除了針對各項(xiàng)場景應(yīng)用進(jìn)行定向優(yōu)化精細(xì)開發(fā)，研發(fā)團(tuán)隊(duì)還介紹了X10000性能優(yōu)化過程中的一個小小的難點(diǎn)……

不走回頭路 用聰明的方法解決問題

原來，隨著新的特性功能不斷開發(fā)，加載了新功能后的產(chǎn)品，很有可能出現(xiàn)性能的倒退。那么，要怎樣解決和避免這樣的問題呢？

負(fù)責(zé)自動化性能看護(hù)系統(tǒng)的研發(fā)人員馮翔宇介紹，中央電視臺和中科大洋聯(lián)合poc測試是一次難忘的經(jīng)歷，當(dāng)時，X10000存儲系統(tǒng)在用戶的測試環(huán)境中出現(xiàn)了性能回退。為了排查確切的引入問題源，測試團(tuán)隊(duì)重新對每一個列入問題單的性能影響因素進(jìn)行了測試評估，整個周期持續(xù)了一月有余。

同時，針對新版本性能回退的主要矛盾，測試團(tuán)隊(duì)決定建立一套自動化性能系統(tǒng)。通過自動化CI集成，在性能倒退的最初就能識別并解決；當(dāng)性能優(yōu)化成果合入版本后，又刷新性能基線。從而使存儲產(chǎn)品的性能能夠不斷提升。

馮翔宇介紹，性能自動化系統(tǒng)建立初期，測試團(tuán)隊(duì)查找和嘗試了大量的開源工具和資料，決定了基于一個開源的基礎(chǔ)框架。真正開展后卻發(fā)現(xiàn)，框架雖然體系清晰，但是原生系統(tǒng)卻是基于塊業(yè)務(wù)實(shí)現(xiàn)的，且該系統(tǒng)實(shí)際上僅僅是一個預(yù)研階段的產(chǎn)物，實(shí)際操作的資料基本沒有。在初次部署時，便有層層報錯。

測試團(tuán)隊(duì)花費(fèi)了大量的時間梳理系統(tǒng)框架、終于建立了文件系統(tǒng)測試系統(tǒng)框架。然而，進(jìn)行初步測試的過程中，卻發(fā)現(xiàn)存儲關(guān)注的性能數(shù)據(jù)分析和統(tǒng)計功能并不適配。

眾所周知，存儲產(chǎn)品的性能測試與硬件環(huán)境強(qiáng)相關(guān)，在保證性能測試數(shù)據(jù)能及時、有效提供的同時，還需要保證周邊的測試環(huán)境、可供分析的perf數(shù)據(jù)準(zhǔn)確抓取，這對于長期的性能穩(wěn)定性至關(guān)重要。

為此，測試與開發(fā)團(tuán)隊(duì)內(nèi)部專家反復(fù)溝通性能perf數(shù)據(jù)的抓取，建立可以反復(fù)、長期使用的perf數(shù)據(jù)庫，確定抓取、命名、分類等準(zhǔn)則；針對代碼的簡潔準(zhǔn)確性、接口可復(fù)用繼承性、異常流程處理等，測試人員反復(fù)考慮和優(yōu)化已經(jīng)調(diào)試走通的代碼，對加強(qiáng)異常報錯代碼的提示信息也格外注重，快速解決問題。

團(tuán)隊(duì)的努力沒有白費(fèi)，經(jīng)過反復(fù)的測驗(yàn)和不斷集思廣益優(yōu)化，當(dāng)前自動化測試系統(tǒng)具備一鍵完成自動安裝、多個測試任務(wù)一鍵下發(fā)、性能數(shù)據(jù)準(zhǔn)確收集等功能，讓運(yùn)維人員從性能測試環(huán)境確認(rèn)、腳本確認(rèn)、數(shù)據(jù)人力收集等諸多重復(fù)操作中解放，節(jié)約一半以上的人力投入，真正實(shí)現(xiàn)版本性能看護(hù)，為用戶的業(yè)務(wù)開展提供最強(qiáng)加速度。

后記：披荊斬棘 初露鋒芒

排查完性能問題之后的X10000存儲系統(tǒng)，到客戶的應(yīng)用測試環(huán)境中，也表現(xiàn)出了優(yōu)異的性能，為X10000在廣電行業(yè)的破冰與開拓奠定了堅實(shí)的基礎(chǔ)。

上文我們記載的是X10000性能研發(fā)過程中的一個小小的插曲，正如前文提到的，存儲系統(tǒng)的性能涉及到無數(shù)的IO環(huán)節(jié)，只有我們掃除了每個IO環(huán)節(jié)上的瓶頸，才能造就存儲系統(tǒng)優(yōu)異穩(wěn)定的性能，在這個不斷排查瓶頸的過程中，研發(fā)中心上演了一幕幕感人的小故事，奠定了X10000存儲系統(tǒng)的性能基礎(chǔ)，鋪就了X10000在多個行業(yè)開疆?dāng)U土的發(fā)展前景！
責(zé)任編輯:pj