華為再出新品：GaussDB(for Influx)數(shù)據(jù)庫的魅力了解一下

華為自用的GaussDB(for Influx)數(shù)據(jù)庫逐漸深入大眾視野，到底值不值得期待？

``

時序數(shù)據(jù)庫想必大家都有所耳聞，現(xiàn)在在很多行業(yè)內(nèi)都有所應(yīng)用，它的優(yōu)點就是可以根據(jù)時間段，每一分每一秒都精準地記錄和整理數(shù)據(jù)。最大的缺點也就顯而易見，因為產(chǎn)生數(shù)據(jù)的頻率過快，導(dǎo)致數(shù)據(jù)量過大，一天可以產(chǎn)生幾十GB，甚至達到TB級，久而久之形成了海量的時序數(shù)據(jù)，數(shù)據(jù)的存儲就成了最大的問題。如何在長久地保存這些數(shù)據(jù)的同時壓縮數(shù)據(jù)？傳統(tǒng)的數(shù)據(jù)庫肯定做不到，那么有沒有企業(yè)能突破這個瓶頸？

目前而言，華為推出的GaussDB(for Influx)時序數(shù)據(jù)庫是最能達到業(yè)內(nèi)標準的。

GaussDB(for Influx)時序數(shù)據(jù)庫是華為在數(shù)據(jù)存儲領(lǐng)域摸爬滾打多年后，整合華為云多方面能力，大膽推出的技術(shù)創(chuàng)新。這一次也是華為內(nèi)部經(jīng)過多次反復(fù)調(diào)試達到了預(yù)期的效果后才決定將GaussDB(for Influx)時序數(shù)據(jù)庫對外開放，幫助上云企業(yè)解決相關(guān)業(yè)務(wù)問題。像華為這種大企業(yè)能認可的數(shù)據(jù)庫，肯定有兩把刷子在身上，敢推向市面也肯定有足夠的把握。

從框架上來看，時序數(shù)據(jù)庫分為三大部分。第一，Shard節(jié)點，主要負責(zé)數(shù)據(jù)的寫入和查詢，在這個節(jié)點內(nèi)，除了分片和時間線管理外，還能預(yù)處理數(shù)據(jù)——聚合、降解預(yù)數(shù)據(jù)。第二，Config集群，可以儲存和管理元數(shù)據(jù)，采用三節(jié)點的復(fù)制模式，保證元數(shù)據(jù)的可靠性。第三，分布式存儲系統(tǒng)，能集中并且持久地存儲數(shù)據(jù)和日志，采用三副本方式存放，能用性和可靠性都毋庸置疑。

相比于InfluxDB等開源時序數(shù)據(jù)庫，GaussDB(for Influx)接口不僅完全兼容InfluxDB，寫入接口兼容OpenTSDB、Prometheus和Graphite，完全屬于上級和下級關(guān)系。GaussDB(for Influx)容錯率更高，可以容忍N-1節(jié)點故障；存儲與計算也是相互分離的，在保持高性能寫入的同時還可以進行查詢業(yè)務(wù)，也不用擔心系統(tǒng)故障導(dǎo)致業(yè)務(wù)中斷或者數(shù)據(jù)丟失，GaussDB(for Influx)可以實時保存。

擁有分鐘級計算節(jié)點擴容，秒級存儲擴容，GaussDB(for Influx)擴縮容比其他的數(shù)據(jù)庫更加快速。由于避免了遷移過程中大量數(shù)據(jù)的物理綁定約束，所以可以做到原來以天為單位的數(shù)據(jù)傳輸縮短為分鐘級別。精簡副本也是關(guān)鍵，消除冗雜的副本模式，降低儲存成本，提升用戶體驗感。

以上是GaussDB(for Influx)的優(yōu)化內(nèi)容，那么它的核心能力，又有哪些？

``

首先，支持億級時間線。在分配上，大量使用內(nèi)存池復(fù)用技術(shù)，降低內(nèi)存碎片；在回收上實現(xiàn)算法根據(jù)內(nèi)存負載，能動態(tài)調(diào)整GC頻率，加快內(nèi)存回收；在緩存上，根據(jù)不同的時間節(jié)點，調(diào)整不同的配置。通過這樣的改進，可以達到每天萬億條的數(shù)據(jù)寫入。 其次，極致寫入性能。GaussDB(for Influx)可以支持每天萬億條數(shù)據(jù)寫入，實現(xiàn)了集群處理，確保日志持久化，數(shù)據(jù)庫多副本復(fù)制卸載到分布式存儲，降低計算節(jié)點到存儲節(jié)點的網(wǎng)絡(luò)流量。在大規(guī)模寫入場景下，GaussDB(for Influx)的寫入性能線性擴展度大于80%。

再就是低成本的數(shù)據(jù)壓縮。為什么同樣的工作量卻只需1/20的存儲成本？原因就是采用不同的壓縮方式，將Gorilla壓縮算法進行了優(yōu)化，先把數(shù)值轉(zhuǎn)為整數(shù)，再根據(jù)數(shù)據(jù)特點，選擇最合適的數(shù)據(jù)壓縮算法。選擇完合適的壓縮方式就是壓縮過程，采用了壓縮效率更好的ZSTD壓縮算法，并根據(jù)待壓縮數(shù)據(jù)的Length使用不同Level的編碼方法。最終采用差量壓縮方法，進一步降低時序數(shù)據(jù)存儲成本。而壓縮數(shù)據(jù)也只是節(jié)約成本的方式之一，GaussDB(for Influx)還特意提供了時序數(shù)據(jù)的分級存儲，可以自定義冷熱數(shù)據(jù)。選擇合適的儲存模式就能達到節(jié)約存儲成本的目的。

最后是高性能多維聚合查詢。多維聚合是時序數(shù)據(jù)庫中較為常見、且會定期重復(fù)執(zhí)行的一種查詢。而基于滑動窗口的聚合查詢，大部分從聚合結(jié)果緩存中直接命中，僅需要聚合增量數(shù)據(jù)部分即可，加快查詢數(shù)據(jù)中的無關(guān)信息過濾。

GaussDB(for Influx)的應(yīng)用場景非常廣泛，在能源、制造、IOT、互聯(lián)網(wǎng)等行業(yè)的監(jiān)控統(tǒng)計及分析業(yè)務(wù)場景中都可以應(yīng)用上，甚至可以說是必不可少的。當然GaussDB(for Influx)數(shù)據(jù)庫還將不斷提升數(shù)據(jù)的存儲模式，帶來更好的用戶體驗。

審核編輯 黃昊宇