2020年初中國聯(lián)通發(fā)布公告，基于華為Kunpeng大數(shù)據(jù)存算分離方案，中國聯(lián)通集團聯(lián)合華為技術(shù)有限公司共同完成了大數(shù)據(jù)計算存儲分離架構(gòu)的規(guī)?；夹g(shù)創(chuàng)新。中國聯(lián)通將上線超過100臺Kunpeng大數(shù)據(jù)存儲節(jié)點，計算存儲分離架構(gòu)已經(jīng)成為運營商大數(shù)據(jù)平臺創(chuàng)新的利器。該方案將為運營商大數(shù)據(jù)創(chuàng)新帶來巨大價值：

運營商大數(shù)據(jù)平臺降本增效需求凸顯

作為數(shù)字化轉(zhuǎn)型的先行者，運營商利用大數(shù)據(jù)平臺進行經(jīng)營分析、網(wǎng)絡(luò)優(yōu)化、流量清單、日志留存等業(yè)務(wù)。這些大數(shù)據(jù)平臺在運營商業(yè)務(wù)中發(fā)揮著至關(guān)重要的作用，但龐大的數(shù)據(jù)量也給用戶帶來了新的挑戰(zhàn)。為應(yīng)對挑戰(zhàn)，運營商在大數(shù)據(jù)平臺的建設(shè)和擴容方面每年都保持著規(guī)模投入（是否可以提供金額數(shù)字支撐？如金額較小就不寫了），隨之而來的降本與增效矛盾越發(fā)突出：

傳統(tǒng)大數(shù)據(jù)平臺計算存儲等比例擴容，無法精準(zhǔn)投資

當(dāng)前運營商大數(shù)據(jù)平臺基于傳統(tǒng)存算一體架構(gòu)獨立建設(shè)。但不同業(yè)務(wù)對大數(shù)據(jù)平臺計算和存儲的資源要求差異較大，如網(wǎng)優(yōu)類業(yè)務(wù)是計算密集型的業(yè)務(wù)，CPU利用率長期維持在90%以上，存儲水位線往往低于20%；而日志留存和流量清單則是存儲密集型的業(yè)務(wù)，以點查為主，CPU平均利用率不足30%，存儲水位線卻已經(jīng)在70%以上，經(jīng)常需要被動刪除數(shù)據(jù)釋放存儲空間。傳統(tǒng)的計算存儲等比例擴容，會造成計算或存儲資源的浪費。

傳統(tǒng)大數(shù)據(jù)平臺多副本機制，占用大量機房空間

傳統(tǒng)大數(shù)據(jù)平臺使用多副本方式進行數(shù)據(jù)保護，常見的存儲利用率僅為33%（2副本為50%）。運營商的日志留存業(yè)務(wù)，每千萬用戶就會產(chǎn)生約6PB的數(shù)據(jù)。隨著5G、IoT等業(yè)務(wù)興起，當(dāng)前正以每年約40%的速度在快速增長。10PB的數(shù)據(jù)量，以多副本方式存儲，就需要數(shù)百臺服務(wù)器，占用大量的機房空間，同時帶來供電、制冷等一系列的維護成本增加。

傳統(tǒng)大數(shù)據(jù)平臺計算存儲緊耦合，資源調(diào)度不靈活

運營商大數(shù)據(jù)已經(jīng)應(yīng)用到各個業(yè)務(wù)系統(tǒng)，形成了很多獨立的大數(shù)據(jù)集群?；诖髷?shù)據(jù)海量的數(shù)據(jù)存儲和計算需求，傳統(tǒng)做法是獨立建設(shè)大數(shù)據(jù)集群，避免和實時業(yè)務(wù)搶占計算資源。但大數(shù)據(jù)集群業(yè)務(wù)峰值和實時業(yè)務(wù)有明顯差異，比如經(jīng)營分析系統(tǒng)，業(yè)務(wù)高峰期是在22:00-06:00，而計費等實時業(yè)務(wù)系統(tǒng)業(yè)務(wù)高峰期是在06:00-22:00。由于計算和存儲融合，傳統(tǒng)大數(shù)據(jù)平臺無法在不同業(yè)務(wù)系統(tǒng)間靈活調(diào)度計算資源，浪費寶貴的算力。同時，一旦出現(xiàn)緊急需求，傳統(tǒng)大數(shù)據(jù)系統(tǒng)的改造時間往往需要按周計，嚴(yán)重影響業(yè)務(wù)上線時間。

在運營商提速降費的大背景下，這些問題變得尤為突出，降本增效，讓每一分錢用在 “刀刃”上，日益成為運營商客戶的核心訴求。

華為Kunpeng大數(shù)據(jù)存算分離方案成為降本增效的良藥

面臨這些挑戰(zhàn)，三大運營商不約而同的選擇了大數(shù)據(jù)存算分離方案，并攜手華為，選擇華為OceanStor大數(shù)據(jù)存算分離方案作為解決之道：

彈性EC，存儲利用率大幅提升

華為大數(shù)據(jù)存儲使用彈性EC替代傳統(tǒng)HDFS的多副本，存儲利用率提升了1.75倍，同時保證性能、可靠性和多副本相當(dāng)，并能夠大幅降低日志留存、流量清單這類存儲密集型業(yè)務(wù)的機房空間占用，節(jié)省大量的供電、制冷費用，成本節(jié)約效果顯著。

依托華為Kunpeng多核算力，大幅提升數(shù)據(jù)存儲性能

華為大數(shù)據(jù)存儲采用Kunpeng多核架構(gòu)的處理器，基于多核架構(gòu)做深度優(yōu)化，如EC、壓縮等算法卸載到Kunpeng芯片上執(zhí)行，保證業(yè)務(wù)性能穩(wěn)定；基于多核架構(gòu)，優(yōu)化進程并發(fā)度，充分發(fā)揮多核的性能，也是華為大數(shù)據(jù)存儲采用EC性能、保持可靠性的核心所在。

計算、存儲資源池化，靈活按需調(diào)度

采用華為大數(shù)據(jù)存算分離方案，計算集群和存儲集群可以分別云化，實現(xiàn)資源的按需調(diào)度。既解決了不同大數(shù)據(jù)集群間計算、存儲資源利用率不均的問題，又使得大數(shù)據(jù)計算節(jié)點可以和用戶的其他計算節(jié)點能夠按業(yè)務(wù)峰谷靈活調(diào)配，一舉兩得。

全分布式架構(gòu)，單NameSpace支持百億文件

傳統(tǒng)大數(shù)據(jù)平臺的主備NameNode架構(gòu)，長期存在當(dāng)單個NameSpace文件數(shù)超過1.5億后，性能大幅衰減的問題，甚至?xí)?dǎo)致NameNode崩潰。此時，客戶就需要拆分業(yè)務(wù)到多個NameSpace或手動刪除業(yè)務(wù)，限制了大數(shù)據(jù)集群的擴展。華為大數(shù)據(jù)存儲采用全分布式的NameNode架構(gòu)，每個物理節(jié)點既是存儲節(jié)點，也是元數(shù)據(jù)管理節(jié)點，性能隨著節(jié)點數(shù)增加線性擴展，單個NameSpace可支持百億文件，幫助大數(shù)據(jù)平臺從容應(yīng)對5G時代海量數(shù)據(jù)存儲需求。

原生HDFS，新老共存，保護投資

華為的存算分離方案可提供原生HDFS接口，用戶應(yīng)用不需要任何修改就可以直接使用；還針對不同大數(shù)據(jù)組件的要求，該方案提供了多種擴容方案，實現(xiàn)本地HDFS新老共存，保護用戶投資的同時，降低了數(shù)據(jù)遷移的難度，消除用戶的后顧之憂。

5G和AI的時代已經(jīng)到來，大數(shù)據(jù)在千行百業(yè)中正發(fā)揮著越來越重要的作用?；诖舜蔚腒unpeng大數(shù)據(jù)存算分離創(chuàng)新成果，華為將在Kunpeng生態(tài)領(lǐng)域，與中國聯(lián)通持續(xù)深入合作，實現(xiàn)更多技術(shù)創(chuàng)新和關(guān)鍵應(yīng)用成果落地，支撐客戶創(chuàng)造更多價值。

責(zé)任編輯：gt