隨著 IoT 技術(shù)的快速發(fā)展，物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)呈爆炸式增長(zhǎng)。這些數(shù)據(jù)通常隨時(shí)間產(chǎn)生，稱之為時(shí)序數(shù)據(jù)。這樣的一種專門用于管理時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù)被稱為時(shí)序數(shù)據(jù)庫(kù)。

時(shí)序數(shù)據(jù)庫(kù)是當(dāng)前物聯(lián)網(wǎng) IoT垂直領(lǐng)域最為合適的數(shù)據(jù)庫(kù)解決方案。作為物聯(lián)網(wǎng)下火熱的智慧健康養(yǎng)老應(yīng)用，時(shí)序數(shù)據(jù)庫(kù)能為智慧健康養(yǎng)老行業(yè)帶來哪些貢獻(xiàn)？華為云數(shù)據(jù)庫(kù)專家向宇解讀了時(shí)序數(shù)據(jù)庫(kù)在智慧健康養(yǎng)老行業(yè)應(yīng)用之道。

時(shí)序數(shù)據(jù)庫(kù)助力智慧健康養(yǎng)老場(chǎng)景化應(yīng)用

從智慧健康養(yǎng)老的全場(chǎng)景圖看到，智慧健康養(yǎng)老整體上分為4個(gè)部分：1. 設(shè)備：包括穿戴設(shè)備（比如手環(huán)，可以記錄步數(shù)和心率）、環(huán)境監(jiān)測(cè)設(shè)備（比如室內(nèi)室外溫度傳感器）和醫(yī)療健康設(shè)備（比如血壓儀、血糖儀）。這些設(shè)備產(chǎn)生的數(shù)據(jù)需要上傳到平臺(tái)或系統(tǒng)服務(wù)進(jìn)行統(tǒng)一存儲(chǔ)，為更上層的應(yīng)用提供基本的數(shù)據(jù)輸入。2. 數(shù)據(jù)存儲(chǔ)層：相同功能但不同廠商的設(shè)備產(chǎn)生的數(shù)據(jù)格式可能不盡相同。再者，隨著業(yè)務(wù)的發(fā)展，可能還會(huì)接入更多類型設(shè)備，數(shù)據(jù)量也會(huì)越來越大?？紤]業(yè)務(wù)變更和數(shù)據(jù)庫(kù)性能，為最大程度降低對(duì)上層應(yīng)用的影響，把設(shè)備數(shù)據(jù)與其他業(yè)務(wù)數(shù)據(jù)分開存儲(chǔ)。3. 服務(wù)層：平臺(tái)對(duì)外提供的能力，比如安全預(yù)警、健康風(fēng)險(xiǎn)評(píng)估、其他養(yǎng)老事務(wù)管理功能等。4. 端側(cè)應(yīng)用：基于平臺(tái)提供的服務(wù)，可以開發(fā)出APP，利用APP把老人、子女、機(jī)構(gòu)工作人員三類用戶聯(lián)系起來，例如：子女可以通過手機(jī)APP實(shí)時(shí)查看自己父母的運(yùn)動(dòng)情況，健康指標(biāo)，工作人員可以在終端提交工單等等。

面對(duì)養(yǎng)老行業(yè)的痛點(diǎn)，云芯科技、藍(lán)色健康和智康科技三家企業(yè)與華為云在底層系統(tǒng)、數(shù)據(jù)存儲(chǔ)等方面的合作，在平臺(tái)服務(wù)層面，正在努力實(shí)現(xiàn)這些智慧養(yǎng)老的服務(wù)應(yīng)用。

在物聯(lián)網(wǎng)等領(lǐng)域，特別是智慧康養(yǎng)場(chǎng)景下，我們發(fā)現(xiàn)有這么一些數(shù)據(jù)，他們都有時(shí)間屬性，有設(shè)備描述信息，有采集的數(shù)據(jù)指標(biāo)。舉個(gè)例子，如下圖所示：第一列是數(shù)據(jù)產(chǎn)生的時(shí)間，第二列是設(shè)備編號(hào)，后面是采集的數(shù)據(jù)內(nèi)容，如體溫、心率等。我們把數(shù)據(jù)劃分為三個(gè)部分，時(shí)間部分稱為時(shí)間戳，設(shè)備編號(hào)等描述設(shè)備信息的部分稱之為數(shù)據(jù)的標(biāo)簽，剩余部分描述了采集的具體指標(biāo)，稱之為指標(biāo)項(xiàng)。像這樣的數(shù)據(jù)，我們就稱之為時(shí)序數(shù)據(jù)，因?yàn)樗忻黠@的時(shí)間屬性。那么這些時(shí)序數(shù)據(jù)，都有自己的特點(diǎn)：

不變性：時(shí)序數(shù)據(jù)在寫入后，一般不會(huì)被修改。這個(gè)特征非常適用于壓縮，不因修改某個(gè)數(shù)據(jù)對(duì)整個(gè)數(shù)據(jù)塊進(jìn)行修改。

時(shí)效性：時(shí)間越近的數(shù)據(jù)被訪問的概率越大，時(shí)間越是久遠(yuǎn)，數(shù)據(jù)被訪問的概率越低。因此，對(duì)于時(shí)序的熱數(shù)據(jù)，可以采用壓縮和解壓速度比較好，壓縮率合理的壓縮算法，而對(duì)于冷數(shù)據(jù)，非常適合使用更高壓縮比的算法。

數(shù)據(jù)量龐大：時(shí)序數(shù)據(jù)的采集類型豐富， 隨著采集硬件的普及和采集頻率增加，使得數(shù)據(jù)量出現(xiàn)暴增，比如自動(dòng)駕駛中每輛車每天就會(huì)采集將近 8T 的數(shù)據(jù)，帶寬、實(shí)時(shí)寫入、快速查詢、存儲(chǔ)、耗電以及維護(hù)成本都是挑戰(zhàn)。

數(shù)據(jù)使用冷熱：用戶可能對(duì)某些數(shù)據(jù)源或者時(shí)間段的關(guān)注遠(yuǎn)遠(yuǎn)超過其他，因此在海量數(shù)據(jù)中偏向某些特殊時(shí)間段或某些數(shù)據(jù)源的數(shù)據(jù)查詢。

時(shí)序數(shù)據(jù)庫(kù)如何選？

從我們的企業(yè)應(yīng)用的情況來看，目前存放時(shí)序數(shù)據(jù)采用的數(shù)據(jù)庫(kù)各種各樣，有用關(guān)系數(shù)據(jù)庫(kù)存放，有用NOSQL數(shù)據(jù)存儲(chǔ)（比如HBASE，Cassandra，MongoDB），還有就是用到了時(shí)序數(shù)據(jù)庫(kù)。我們總結(jié)了一下選型數(shù)據(jù)庫(kù)之前需要考慮的一些問題。

成本：分為運(yùn)維成本和存儲(chǔ)成本，比如用HBASE存儲(chǔ)，它的技術(shù)棧很長(zhǎng)，底層存儲(chǔ)使用的是HDFS。運(yùn)維就需要一個(gè)人既懂時(shí)序數(shù)據(jù)庫(kù)，又要懂大數(shù)據(jù)平臺(tái)，成本比較高。其次，隨著數(shù)據(jù)量逐漸的增加，存儲(chǔ)需要不斷的擴(kuò)容，成本隨之增加。所以，既要選擇部署便捷、擴(kuò)容操作簡(jiǎn)單，又要能提供數(shù)據(jù)壓縮的數(shù)據(jù)庫(kù)。

性能：不同的業(yè)務(wù)對(duì)數(shù)據(jù)庫(kù)的性能需求是不一樣的，需要考慮今后業(yè)務(wù)規(guī)模增加后，數(shù)據(jù)庫(kù)能不能支撐預(yù)期的設(shè)備數(shù)量和數(shù)據(jù)量。

業(yè)務(wù)變更：對(duì)于物聯(lián)網(wǎng)而言，由于缺乏標(biāo)準(zhǔn)，各式各樣的設(shè)備都有可能接入，有的設(shè)備可能只有2列數(shù)據(jù)，有的設(shè)備可能有3列數(shù)據(jù)，這就要求數(shù)據(jù)庫(kù)支持Schemaless。

生態(tài)：主要是時(shí)序數(shù)據(jù)庫(kù)上下游接口的問題，選擇的數(shù)據(jù)庫(kù)需要考慮其技術(shù)生態(tài)，數(shù)據(jù)要能進(jìn)的來，出的去。比如用了SQLServer存時(shí)序數(shù)據(jù)，想用Granfana展示數(shù)據(jù)就很困難。

數(shù)據(jù)分析：設(shè)備數(shù)據(jù)被存儲(chǔ)下來，最終是需要通過數(shù)據(jù)分析挖掘數(shù)據(jù)隱藏價(jià)值，還要考慮數(shù)據(jù)庫(kù)是否支持?jǐn)?shù)據(jù)分析平臺(tái)。

鑒于上述行業(yè)中存在的問題，以及對(duì)未來物聯(lián)網(wǎng)發(fā)展的信心，華為云自研GaussDB（for Influx） 基于華為自研的計(jì)算存儲(chǔ)分離架構(gòu)，兼容InfluxDB生態(tài)的云原生NoSQL時(shí)序數(shù)據(jù)庫(kù)。提供大并發(fā)時(shí)序數(shù)據(jù)讀寫、壓縮存儲(chǔ)、多維聚合以及一鍵部署、快速備份恢復(fù)、計(jì)算存儲(chǔ)獨(dú)立擴(kuò)容、監(jiān)控告警等服務(wù)能力，可以完全滿足康養(yǎng)的需求。GaussDB（for Influx）時(shí)序數(shù)據(jù)庫(kù)依靠華為在數(shù)據(jù)存儲(chǔ)領(lǐng)域多年的實(shí)踐經(jīng)驗(yàn)，整合華為云的計(jì)算、存儲(chǔ)、服務(wù)保障和安全等方面的能力，大膽在架構(gòu)、性能和數(shù)據(jù)壓縮等方面進(jìn)行了技術(shù)創(chuàng)新，達(dá)到了較好的效果，對(duì)內(nèi)支撐了華為云基礎(chǔ)設(shè)施服務(wù)，對(duì)外以服務(wù)的形式開放，幫助上云企業(yè)解決相關(guān)業(yè)務(wù)問題。GaussDB（for Influx）接口完全兼容InfluxDB，寫入接口兼容OpenTSDB、Prometheus和Graphite。從架構(gòu)上看，一個(gè)時(shí)序數(shù)據(jù)庫(kù)集群可以分為三大組件。它們分別是：

Shard節(jié)點(diǎn)：節(jié)點(diǎn)采用無狀態(tài)設(shè)計(jì)，主要負(fù)責(zé)數(shù)據(jù)的寫入和查詢。在節(jié)點(diǎn)內(nèi)，除了分片和時(shí)間線管理之外，還支持?jǐn)?shù)據(jù)預(yù)聚合、數(shù)據(jù)降采樣和TAG分組查詢等專為時(shí)序場(chǎng)景而優(yōu)化的功能。

Config集群：存儲(chǔ)和管理集群元數(shù)據(jù)，采用三節(jié)點(diǎn)的復(fù)制集模式，保證元數(shù)據(jù)的高可靠性。

分布式存儲(chǔ)系統(tǒng)：集中存儲(chǔ)持久化的數(shù)據(jù)和日志，數(shù)據(jù)采用三副本方式存放，對(duì)上層應(yīng)用透明。存儲(chǔ)系統(tǒng)為華為自研，經(jīng)過多年產(chǎn)品實(shí)踐檢驗(yàn)，系統(tǒng)的高可用和高可靠性都得到了驗(yàn)證。

華為云時(shí)序數(shù)據(jù)庫(kù)應(yīng)對(duì)智慧康養(yǎng)應(yīng)用場(chǎng)景有妙招在面對(duì)AIoT物聯(lián)網(wǎng)典型應(yīng)用場(chǎng)景中，時(shí)序數(shù)據(jù)庫(kù)每天會(huì)產(chǎn)生數(shù)GB甚至數(shù)TB的時(shí)序數(shù)據(jù)。如果無法對(duì)這些時(shí)序數(shù)據(jù)進(jìn)行很好的管理和壓縮，那將會(huì)給企業(yè)帶來非常高的成本壓力。GaussDB（for Influx）對(duì)數(shù)據(jù)采用列式存儲(chǔ)，相同類型的數(shù)據(jù)被集中存儲(chǔ)，更有利于數(shù)據(jù)壓縮。采用自研的時(shí)序數(shù)據(jù)自適應(yīng)壓縮算法，在壓縮前對(duì)數(shù)據(jù)進(jìn)行抽樣分析，根據(jù)數(shù)據(jù)量、數(shù)據(jù)分布以及數(shù)據(jù)類型選擇最合適的數(shù)據(jù)壓縮算法。在壓縮算法上，相比原生的InfluxDB，重點(diǎn)針對(duì)Float、String、Timestamp這三種數(shù)據(jù)類型進(jìn)行了優(yōu)化和改進(jìn)。

Float數(shù)據(jù)類型：對(duì)Gorilla壓縮算法進(jìn)行了優(yōu)化，將可以無損轉(zhuǎn)換的數(shù)值轉(zhuǎn)為整數(shù)，再根據(jù)數(shù)據(jù)特點(diǎn)，選擇最合適的數(shù)據(jù)壓縮算法。

String數(shù)據(jù)類型：采用了壓縮效率更好的ZSTD壓縮算法，并根據(jù)待壓縮數(shù)據(jù)的Length使用不同Level的編碼方法。

Timestamp數(shù)據(jù)類型：采用差量壓縮方法，最后還針對(duì)數(shù)據(jù)文件內(nèi)的Timestamp進(jìn)行相似性壓縮，進(jìn)一步降低時(shí)序數(shù)據(jù)存儲(chǔ)成本。

下圖是分別采用實(shí)際業(yè)務(wù)場(chǎng)景的事件日志數(shù)據(jù)（數(shù)據(jù)集1）和云服務(wù)器監(jiān)控指標(biāo)數(shù)據(jù) （數(shù)據(jù)集2）與InfluxDB進(jìn)行了數(shù)據(jù)壓縮效率的性能對(duì)比。節(jié)約存儲(chǔ)成本并非只有數(shù)據(jù)壓縮一種辦法。針對(duì)時(shí)序數(shù)據(jù)越舊的數(shù)據(jù)被訪問的概率越低的特點(diǎn)，GaussDB（for Influx）提供了時(shí)序數(shù)據(jù)的分級(jí)存儲(chǔ)，支持用戶自定義冷熱數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的冷熱分離。熱數(shù)據(jù)相對(duì)數(shù)據(jù)量小，訪問頻繁，被存儲(chǔ)在性能更好、成本較高的存儲(chǔ)介質(zhì)上；冷數(shù)據(jù)相對(duì)數(shù)據(jù)量大，訪問概率低，保存時(shí)間較久，被存儲(chǔ)在成本較低的存儲(chǔ)介質(zhì)上，進(jìn)而達(dá)到節(jié)約存儲(chǔ)成本的目的。根據(jù)實(shí)際業(yè)務(wù)數(shù)據(jù)測(cè)算，相同數(shù)據(jù)量下存儲(chǔ)成本僅有關(guān)系型數(shù)據(jù)庫(kù)的1/20。除了產(chǎn)品本身的技術(shù)優(yōu)勢(shì)特點(diǎn)，GuassDB（for Influx）能夠開箱即用，用戶只需要關(guān)注應(yīng)用層就可以，不用關(guān)注運(yùn)維。在使用的過程中，不需要去特意學(xué)習(xí)新的產(chǎn)品技術(shù)，會(huì)SQL就可以使用。GaussDB（for Influx）還兼容Influx 生態(tài)，整個(gè)生態(tài)下的工具、接口等都可以直接應(yīng)用。從數(shù)據(jù)安全角度看，GaussDB（for Influx）在容災(zāi)備份方面，支持異地3AZ，可以讓數(shù)據(jù)存儲(chǔ)在不同的城市，這樣確保數(shù)據(jù)的安全性。在智慧康養(yǎng)場(chǎng)景下，最重要的是如何基于數(shù)據(jù)分析，來進(jìn)一步為用戶帶來更好的產(chǎn)品服務(wù)。GuassDB（for Influx）還提供數(shù)據(jù)分析平臺(tái)，能夠和數(shù)據(jù)庫(kù)融合在一起，可以把相關(guān)算法以熱插拔的方式嵌入到平臺(tái)中，從數(shù)據(jù)庫(kù)直接讀取數(shù)據(jù)進(jìn)行分析，最終應(yīng)用在相對(duì)應(yīng)的場(chǎng)景下。這兩邊是以相互感知的形式，分析感知存儲(chǔ)，從而輕量化存儲(chǔ)分析開銷。不管企業(yè)在什么地方，基于GuassDB（for Influx）能夠解決康養(yǎng)企業(yè)的數(shù)據(jù)孤島問題，實(shí)現(xiàn)價(jià)值共享。

據(jù)悉，GuassDB（for Influx）的開源計(jì)劃正在進(jìn)行中，開源的名字叫GeminiTSDB，兼容Influx DB接口，采用類SQL查詢語(yǔ)言，提供單機(jī)和分布式集群兩種部署模式，安裝簡(jiǎn)單，部署靈活，無須外部依賴，具有高可用、高性能、低時(shí)延、低存儲(chǔ)成本、擴(kuò)展靈活等優(yōu)點(diǎn)，希望大家多多關(guān)注！

原文標(biāo)題：擁抱時(shí)序數(shù)據(jù)庫(kù)，構(gòu)筑IoT時(shí)代下智慧康養(yǎng)數(shù)據(jù)存儲(chǔ)底座

文章出處：【微信公眾號(hào)：華為開發(fā)者社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:pj