分布式數(shù)據(jù)庫(kù)系統(tǒng)是將屬于單個(gè)邏輯數(shù)據(jù)庫(kù)的數(shù)據(jù)分發(fā)到兩個(gè)或多個(gè)物理數(shù)據(jù)庫(kù)的系統(tǒng)。除了這個(gè)簡(jiǎn)單的定義之外,關(guān)于數(shù)據(jù)何時(shí)、如何以及為什么分發(fā),還有許多令人困惑的可能性。有些適用于邊緣和/或霧計(jì)算,有些適用于霧和/或云計(jì)算,有些適用于邊緣,霧和云計(jì)算的整個(gè)范圍。
本文將介紹邊緣、霧和云計(jì)算背景下分布式數(shù)據(jù)庫(kù)系統(tǒng)的類型,解釋“何時(shí)、如何以及為什么”數(shù)據(jù)是分布式的,以及為什么這些細(xì)節(jié)使某些分布式數(shù)據(jù)庫(kù)系統(tǒng)適用于(或不適用)邊緣、霧和云計(jì)算中的特定需求。
定義
維基百科的作者在定義分布式數(shù)據(jù)庫(kù)時(shí)采取了集體嘗試:“分布式數(shù)據(jù)庫(kù)是存儲(chǔ)設(shè)備并非全部連接到公共處理器的數(shù)據(jù)庫(kù)。它可以存儲(chǔ)在位于同一物理位置的多臺(tái)計(jì)算機(jī)中;或者可能分散在互連的計(jì)算機(jī)網(wǎng)絡(luò)上。與處理器緊密耦合并構(gòu)成單一數(shù)據(jù)庫(kù)系統(tǒng)的并行系統(tǒng)不同,分布式數(shù)據(jù)庫(kù)系統(tǒng)由松散耦合的站點(diǎn)組成,這些站點(diǎn)不共享任何物理組件。該定義本身部分來(lái)自與美國(guó)商務(wù)部相關(guān)的電信科學(xué)研究所。
這個(gè)定義實(shí)際上相當(dāng)狹窄。在“分布式數(shù)據(jù)庫(kù)”的一般標(biāo)題下,我至少會(huì)問(wèn)到其他三個(gè)用例:高可用性,集群數(shù)據(jù)庫(kù)和區(qū)塊鏈。維基百科的定義,高可用性和集群都適用于物聯(lián)網(wǎng)。此外,我認(rèn)為分布式數(shù)據(jù)庫(kù)的分片可以存在于同一臺(tái)物理計(jì)算機(jī)上。使數(shù)據(jù)庫(kù)分布式的原因是,各個(gè)分區(qū)由數(shù)據(jù)庫(kù)系統(tǒng)的單獨(dú)實(shí)例管理,而不是由這些分區(qū)的物理位置管理。第六節(jié)將對(duì)此進(jìn)行詳細(xì)介紹。
高可用性
要使數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)高可用性 (HA),它需要在單獨(dú)的硬件實(shí)例中實(shí)時(shí)維護(hù)物理數(shù)據(jù)庫(kù)的相同副本。通過(guò)維護(hù),我的意思是保持副本與主副本的一致性。在這種情況下,(至少)有兩個(gè)數(shù)據(jù)庫(kù)副本,我們稱之為主數(shù)據(jù)庫(kù)和從數(shù)據(jù)庫(kù)(有時(shí)稱為副本)。應(yīng)用于主數(shù)據(jù)庫(kù)的操作(即插入、更新、刪除操作)必須在從屬數(shù)據(jù)庫(kù)上復(fù)制,并且從站必須準(zhǔn)備好隨時(shí)將其角色更改為主數(shù)據(jù)庫(kù)。這稱為故障轉(zhuǎn)移。主站和副本通常部署在不同的物理系統(tǒng)上,但在電信中,常見的 HA 設(shè)置是機(jī)箱內(nèi)的多個(gè)板:主控制器板、備用控制器板和一些數(shù)量的線卡,每個(gè)線卡都為某種協(xié)議(BGP、OSPF 等)提供服務(wù)。在這里,主數(shù)據(jù)庫(kù)由主控制器板上的進(jìn)程維護(hù)。數(shù)據(jù)庫(kù)系統(tǒng)將更改復(fù)制到備用控制器板上的從數(shù)據(jù)庫(kù),該從屬數(shù)據(jù)庫(kù)具有相同的進(jìn)程,等待在主控制器板發(fā)生故障(或只是在熱插拔設(shè)置中被移除)時(shí)接管處理。在物聯(lián)網(wǎng)中,高可用性對(duì)于任務(wù)關(guān)鍵型工業(yè)系統(tǒng)是可取的,以保持網(wǎng)關(guān)的可用性,以及在云中,以確保即使在面對(duì)硬件故障時(shí)也可以繼續(xù)執(zhí)行實(shí)時(shí)分析。
集群數(shù)據(jù)庫(kù)
群集數(shù)據(jù)庫(kù)是在整個(gè)數(shù)據(jù)庫(kù)有多個(gè)保持同步的物理副本的數(shù)據(jù)庫(kù)。與 HA 的不同之處在于,數(shù)據(jù)庫(kù)的任何物理實(shí)例都可以修改,并且會(huì)將其修改復(fù)制到集群中的其他數(shù)據(jù)庫(kù)實(shí)例。這也稱為主-主配置,與 HA 的主-從配置相反。這就是數(shù)據(jù)庫(kù)集群實(shí)現(xiàn)之間的相似之處結(jié)束的地方。從廣義上講,有兩種實(shí)現(xiàn)模型:ACID和最終一致性。在 ACID 實(shí)現(xiàn)中,修改在兩階段提交協(xié)議中同步復(fù)制,以確保一旦提交,更改就會(huì)立即反映在數(shù)據(jù)庫(kù)的每個(gè)物理實(shí)例中。換句話說(shuō),所有數(shù)據(jù)庫(kù)實(shí)例始終是一致的。此體系結(jié)構(gòu)消除了發(fā)生沖突的可能性(或者,更確切地說(shuō),在事務(wù)成功提交到群集之前解決沖突)。使用最終一致性時(shí),可能會(huì)在原始節(jié)點(diǎn)將更改提交到數(shù)據(jù)庫(kù)很久之后異步復(fù)制更改。這意味著某種協(xié)調(diào)過(guò)程,以解決由兩個(gè)或多個(gè)節(jié)點(diǎn)發(fā)起的沖突更改。使用最終一致性,必須編寫應(yīng)用程序以應(yīng)對(duì)它們所附加到的數(shù)據(jù)庫(kù)的物理實(shí)例中存在過(guò)時(shí)數(shù)據(jù)的可能性。例如,考慮一個(gè)全球在線書商。庫(kù)存中可能有一本特定書籍的副本;紐約和悉尼的買家都會(huì)看到這本書有貨,兩者都可以把書放在購(gòu)物車?yán)锝Y(jié)賬。系統(tǒng)將不得不弄清楚誰(shuí)真正拿到了這本書,誰(shuí)的訂單被延期了。用戶已經(jīng)接受了這一點(diǎn)。但是,這種模式永遠(yuǎn)不適用于需要驗(yàn)證用戶是否訂閱了某種服務(wù)或擁有足夠資金的蜂窩電話網(wǎng)絡(luò)。這種類型的系統(tǒng)需要一致的數(shù)據(jù)庫(kù)視圖。由于 ACID 實(shí)現(xiàn)所需的同步復(fù)制的性質(zhì),水平可伸縮性受到限制,但實(shí)現(xiàn)非常簡(jiǎn)單(無(wú)需解決沖突)。最終一致性實(shí)現(xiàn)的可伸縮性相當(dāng)高,但復(fù)雜性也很高。集群實(shí)現(xiàn)在物聯(lián)網(wǎng)中比比皆是。例如,可以群集 IoT 網(wǎng)關(guān)以提高可伸縮性和可靠性。參見圖1。每個(gè)網(wǎng)關(guān)群集中的節(jié)點(diǎn)數(shù)適中,因此即時(shí)一致性和最終一致性模型都適用。群集可以處理來(lái)自邊緣設(shè)備的流量,而不是單個(gè)網(wǎng)關(guān)所能處理的流量,并且可靠性/可用性得到提高(即時(shí)一致性模型的可伸縮性固有限制不會(huì)在小型群集中發(fā)揮作用)。
區(qū)塊鏈
術(shù)語(yǔ)“分布式數(shù)據(jù)庫(kù)”通常與區(qū)塊鏈技術(shù)相關(guān)聯(lián)(比特幣是最知名的)。它與“分布式賬本”同義使用,后者更合適(在作者看來(lái))。我在區(qū)塊鏈技術(shù)的背景下使用術(shù)語(yǔ)分布式數(shù)據(jù)庫(kù)的問(wèn)題是,“分布式數(shù)據(jù)庫(kù)”意味著分布式數(shù)據(jù)庫(kù)管理系統(tǒng)。但區(qū)塊鏈中很少涉及數(shù)據(jù)庫(kù)管理系統(tǒng)。不是要詳細(xì)闡述這一點(diǎn),但重要的是要區(qū)分?jǐn)?shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)管理系統(tǒng)。數(shù)據(jù)庫(kù)只是數(shù)據(jù)的集合,這些數(shù)據(jù)可能是分布式的,也可能是不分布的。數(shù)據(jù)庫(kù)管理系統(tǒng)是管理數(shù)據(jù)庫(kù)的軟件。區(qū)塊鏈實(shí)際上是一個(gè)分布式數(shù)據(jù)庫(kù)。但是,如前所述,在創(chuàng)建/維護(hù)區(qū)塊鏈分布式賬本時(shí),很少涉及數(shù)據(jù)庫(kù)管理系統(tǒng)。
分區(qū)數(shù)據(jù)庫(kù)
維基百科定義“。..存儲(chǔ)在多臺(tái)計(jì)算機(jī)中,位于同一物理位置。..”是俗稱的數(shù)據(jù)庫(kù)分片。分片與 HA 和集群分布式數(shù)據(jù)庫(kù)之間的主要區(qū)別在于,每個(gè)物理數(shù)據(jù)庫(kù)實(shí)例(分片)僅包含所有數(shù)據(jù)的一小部分。所有分片共同表示單個(gè)邏輯數(shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)在許多物理分片中體現(xiàn)出來(lái)。我同意維基百科的定義,因?yàn)榉制恍枰鎯?chǔ)在多臺(tái)計(jì)算機(jī)中即可獲得分片的好處。從邏輯上講,目的是相同的:可伸縮性。分片是分布在各個(gè)服務(wù)器上,還是在單個(gè)服務(wù)器上進(jìn)行分區(qū)以利用多個(gè) CPU 或 CPU 內(nèi)核,這并不重要。在所有情況下,處理都是并行的。分片的物理分布方式是一個(gè)不重要的工件。例如,在我們自2012年以來(lái)進(jìn)行的STAC-M3發(fā)布的基準(zhǔn)測(cè)試中,我們利用了具有24個(gè)內(nèi)核的單個(gè)服務(wù)器,創(chuàng)建了72個(gè)分片,我們使用了4到6個(gè)服務(wù)器,每個(gè)服務(wù)器有16到22個(gè)內(nèi)核,創(chuàng)建了64到128個(gè)分片。在所有情況下,目標(biāo)都是使 I/O 通道飽和,以便將數(shù)據(jù)放入 CPU 內(nèi)核進(jìn)行處理。雖然STAC-M3是資本市場(chǎng)(刻度數(shù)據(jù)庫(kù))基準(zhǔn),但這些原則同樣適用于物聯(lián)網(wǎng)的大數(shù)據(jù)分析。物聯(lián)網(wǎng)數(shù)據(jù)絕大多數(shù)是時(shí)間序列數(shù)據(jù)(例如傳感器測(cè)量值),就像刻度數(shù)據(jù)庫(kù)是時(shí)間序列數(shù)據(jù)一樣。
對(duì)數(shù)據(jù)庫(kù)進(jìn)行分片意味著支持分布式查詢處理。每個(gè)分片都由其自己的數(shù)據(jù)庫(kù)服務(wù)器實(shí)例管理。由于每個(gè)分片/服務(wù)器都表示整個(gè)邏輯數(shù)據(jù)庫(kù)的一部分,因此任何分片返回的查詢結(jié)果都可能只是部分結(jié)果集,需要與所有其他分片/服務(wù)器的部分結(jié)果集合并,然后才作為完整的結(jié)果集呈現(xiàn)給客戶端應(yīng)用程序。如果數(shù)據(jù)以最佳方式在分片之間分布,則可以在單個(gè)分片上找到給定查詢的所有數(shù)據(jù),并且查詢可以分發(fā)到管理該分片的特定服務(wù)器實(shí)例。通常,必須支持這兩種方法。例如,考慮一個(gè)跨越多個(gè)園區(qū)的大型智能建筑物聯(lián)網(wǎng)部署,每個(gè)園區(qū)都有多棟建筑。我們可能會(huì)選擇在多個(gè)物理數(shù)據(jù)庫(kù)中分發(fā)有關(guān)每個(gè)園區(qū)的(分片)信息。如果我們想計(jì)算特定建筑物的某些指標(biāo)(例如,15分鐘窗口中的功耗),我們只需要查詢包含該建筑物數(shù)據(jù)的分片。但是,如果我們想為多個(gè)建筑物和/或跨校園計(jì)算相同的指標(biāo),那么我們需要將該查詢分發(fā)到許多分片/服務(wù)器,這就是并行性發(fā)揮作用的地方。每個(gè)服務(wù)器實(shí)例都與所有其他服務(wù)器實(shí)例并行處理其部分問(wèn)題。
數(shù)據(jù)庫(kù)分片還支持垂直可擴(kuò)展性(即能夠存儲(chǔ) 10 或 100 的 TB、PB 及以上)。要?jiǎng)?chuàng)建單個(gè) 100 TB 的邏輯數(shù)據(jù)庫(kù),我可以創(chuàng)建 50 個(gè) 2 TB 物理數(shù)據(jù)庫(kù)的實(shí)例。分布式數(shù)據(jù)庫(kù)系統(tǒng)通常支持“彈性”可伸縮性,允許我添加分片,這也可能意味著向分布式系統(tǒng)添加服務(wù)器,以便系統(tǒng)在垂直和水平維度上都是可伸縮的。垂直和水平可擴(kuò)展性對(duì)于生成大量數(shù)據(jù)的大型物聯(lián)網(wǎng)系統(tǒng)至關(guān)重要。您需要縱向可擴(kuò)展性來(lái)處理不斷增長(zhǎng)的數(shù)據(jù)量,并且需要水平可擴(kuò)展性來(lái)保持及時(shí)處理/分析數(shù)據(jù)的能力,因?yàn)閿?shù)據(jù)從 1TB 增長(zhǎng)到 100TB,再到 PB 級(jí)甚至更高。
物聯(lián)網(wǎng)復(fù)制
雖然嚴(yán)格來(lái)說(shuō),不是分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn),但如果我們不談?wù)撐锫?lián)網(wǎng)系統(tǒng)中的數(shù)據(jù)分布,我們將是失職的。物聯(lián)網(wǎng)生態(tài)系統(tǒng)通常由“邊緣”,“網(wǎng)關(guān)”和“云”組成,數(shù)據(jù)庫(kù)存在于所有位置。物聯(lián)網(wǎng)數(shù)據(jù)最初是在邊緣生成的,需要從那里分發(fā)到網(wǎng)關(guān),從網(wǎng)關(guān)分發(fā)到云。邊緣數(shù)據(jù)通常用于實(shí)時(shí)控制某些“事物”,例如在工業(yè)物聯(lián)網(wǎng)系統(tǒng)中打開或關(guān)閉螺線管。在企業(yè)層面,在許多情況下(如果不是大多數(shù)的話),物聯(lián)網(wǎng)系統(tǒng)的目標(biāo)之一是從數(shù)據(jù)中獲取和提取價(jià)值。通常,這意味著數(shù)據(jù)的某種“貨幣化”。這可以以提高效率或減少維護(hù)成本或工業(yè)環(huán)境中的停機(jī)時(shí)間的形式出現(xiàn),或者與客戶進(jìn)行更智能的互動(dòng),從而更有效地從錢包中提取資金。
物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)分發(fā)意味著將數(shù)據(jù)從邊緣通過(guò)一個(gè)或多個(gè)網(wǎng)關(guān)移動(dòng)到私有云或公共云。這種數(shù)據(jù)移動(dòng)充滿了它自己的問(wèn)題:
連接
邊緣設(shè)備可以處于脫機(jī)狀態(tài),無(wú)論是出于設(shè)計(jì)還是由于通信基礎(chǔ)結(jié)構(gòu)中的故障。例如,電池供電的邊緣設(shè)備在設(shè)計(jì)上處于脫機(jī)狀態(tài),并且僅按計(jì)劃連接到網(wǎng)關(guān)?;蛘?,它們可以是進(jìn)出網(wǎng)關(guān)或蜂窩塔范圍的移動(dòng)設(shè)備?;蛘?,通信鏈路可以簡(jiǎn)單地?cái)嚅_。在任何情況下,設(shè)備都必須具有將數(shù)據(jù)排隊(duì)以供以后傳輸?shù)闹悄堋?/p>
安全
安全性是這十年中物聯(lián)網(wǎng)系統(tǒng)的首要考慮因素,并且很可能在未來(lái)十年中一直存在。傳輸中的數(shù)據(jù)需要得到保護(hù)。這可以像使用 SSL/TLS 一樣簡(jiǎn)單。
帶寬
邊緣設(shè)備可用的通信通道的帶寬可能非常有限。例如,低功耗藍(lán)牙 (BLE) 為 1 或 2 兆位/秒 (Mbit/s)。Zigbee 的范圍為 20 到 250 千位每秒 (kbit/s)。這與10 Mbit/s時(shí)最慢的以太網(wǎng)相比。為了最大化可用帶寬,應(yīng)在將數(shù)據(jù)放入通信通道之前對(duì)其進(jìn)行壓縮。
范圍
物聯(lián)網(wǎng)系統(tǒng)設(shè)計(jì)人員需要考慮的一些問(wèn)題:是否會(huì)將所有數(shù)據(jù)從邊緣推送到云端?還是某些數(shù)據(jù)僅在邊緣有用?數(shù)據(jù)是在傳輸之前聚合,還是僅傳輸原始粒度數(shù)據(jù)?
在 eXtremeDB 中,我們已經(jīng)在主動(dòng)復(fù)制結(jié)構(gòu)?中預(yù)見并解決了這些問(wèn)題。
總之,術(shù)語(yǔ)分布式數(shù)據(jù)庫(kù)包括三種不同的數(shù)據(jù)庫(kù)系統(tǒng)安排,用于三個(gè)不同的目的。高可用性數(shù)據(jù)庫(kù)系統(tǒng)將 master 數(shù)據(jù)庫(kù)分發(fā)給一個(gè)或多個(gè)副本,其明確目的是在發(fā)生故障時(shí)保持系統(tǒng)的可用性。集群數(shù)據(jù)庫(kù)系統(tǒng)分發(fā)數(shù)據(jù)庫(kù)以實(shí)現(xiàn)大規(guī)模/全局可伸縮性(最終一致性)或用于在相對(duì)較少的節(jié)點(diǎn)(ACID)之間進(jìn)行協(xié)作計(jì)算。分片將邏輯數(shù)據(jù)庫(kù)分區(qū)為多個(gè)分片,以促進(jìn)并行處理和水平可擴(kuò)展性。所有功能都是部署可擴(kuò)展且可靠的物聯(lián)網(wǎng)系統(tǒng)不可或缺的一部分。
這些分布式數(shù)據(jù)庫(kù)機(jī)制通常結(jié)合使用。再次參考上面的圖 1,我們看到網(wǎng)關(guān)群集,群集中的每個(gè)節(jié)點(diǎn)都聚合來(lái)自一定數(shù)量的設(shè)備的數(shù)據(jù)。如果群集節(jié)點(diǎn)發(fā)生故障,則其所服務(wù)的設(shè)備可以連接到群集中的另一個(gè)網(wǎng)關(guān)并維護(hù)操作。在服務(wù)器級(jí)別,描述了一個(gè)分片數(shù)據(jù)庫(kù),每個(gè)分片從其中一個(gè)網(wǎng)關(guān)集群接收數(shù)據(jù)。分片共同表示單個(gè)邏輯數(shù)據(jù)庫(kù)。每個(gè)分片由一個(gè)主/副本 HA 對(duì)組成。這是可取的,因?yàn)槿绻麤]有 HA,如果任何分片發(fā)生故障,邏輯數(shù)據(jù)庫(kù)的完整性就會(huì)受到損害。
審核編輯:郭婷
-
云計(jì)算
+關(guān)注
關(guān)注
39文章
7994瀏覽量
142390 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2938文章
46990瀏覽量
403861 -
數(shù)據(jù)庫(kù)
+關(guān)注
關(guān)注
7文章
3983瀏覽量
67536
發(fā)布評(píng)論請(qǐng)先 登錄
一鍵部署無(wú)損網(wǎng)絡(luò):EasyRoCE助力分布式存儲(chǔ)效能革命
Ceph分布式存儲(chǔ)系統(tǒng)解析
物聯(lián)網(wǎng)網(wǎng)關(guān)在分布式光伏系統(tǒng)中的遠(yuǎn)程監(jiān)控配置實(shí)例
分布式存儲(chǔ)數(shù)據(jù)恢復(fù)—虛擬機(jī)上hbase和hive數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)案例
不用編程不用聯(lián)網(wǎng),PLC和儀表直接對(duì)SQL接數(shù)據(jù)庫(kù),有異常時(shí)還可先將數(shù)據(jù)緩存
基于物無(wú)線聯(lián)網(wǎng)的分布式光伏運(yùn)維解決方案
基于物無(wú)線聯(lián)網(wǎng)的分布式光伏運(yùn)維解決方案--安科瑞張?zhí)锾?/a>
Oracle推出創(chuàng)新數(shù)據(jù)庫(kù)服務(wù)
分布式云化數(shù)據(jù)庫(kù)有哪些類型
云數(shù)據(jù)庫(kù)是哪種數(shù)據(jù)庫(kù)類型?
基于ptp的分布式系統(tǒng)設(shè)計(jì)
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-分布式數(shù)據(jù)對(duì)象遷移數(shù)據(jù)文件資產(chǎn)遷移
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-分布式數(shù)據(jù)對(duì)象遷移數(shù)據(jù)權(quán)限與基礎(chǔ)數(shù)據(jù)
分布式光伏監(jiān)控系統(tǒng)在能源領(lǐng)域中的重要性
PingCAP推出TiDB開源分布式數(shù)據(jù)庫(kù)

分布式數(shù)據(jù)庫(kù)系統(tǒng)與物聯(lián)網(wǎng)的相關(guān)性
評(píng)論