chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

互聯(lián)網(wǎng)領域常見的數(shù)據(jù)庫架構方案

jf_uPRfTJDa ? 來源: 移動Labs ? 2023-08-25 10:39 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Labs 導讀

數(shù)據(jù)庫設計是數(shù)據(jù)庫系統(tǒng)中的重要組成部分。一個良好的數(shù)據(jù)庫可以給系統(tǒng)帶來清晰的數(shù)據(jù)統(tǒng)計與數(shù)據(jù)的詳細分析,同時給后續(xù)的開發(fā)、拓展和維護帶來極大的便捷。本文通過列舉出當下互聯(lián)網(wǎng)領域常見的數(shù)據(jù)庫架構方案,結合數(shù)據(jù)庫架構的設計原則,對各個方案場景初步淺析,幫助大家知曉各方案優(yōu)劣及適用場景;并結合實踐經(jīng)驗,給出各個方案后續(xù)典型的演化方向,供大家作為今后數(shù)據(jù)庫架構選型參照。

作者:薛建正

單位:中國移動智慧家庭運營中心智慧互聯(lián)產(chǎn)品部

Part 01數(shù)據(jù)庫架構原則

高可用

高可用指的是數(shù)據(jù)庫應盡可能地使其服務持續(xù)可用,以消除或最小化停機時間。這可以通過減少單點故障、故障切換解決方案、數(shù)據(jù)冗余等方式實現(xiàn)。

高性能

這指的是數(shù)據(jù)庫在查詢和數(shù)據(jù)操作上的處理速度。高性能數(shù)據(jù)庫系統(tǒng)能迅速響應查詢請求,甚至在處理大量數(shù)據(jù)時也能保持高性能。這在互聯(lián)網(wǎng)場景下尤為重要,因為用戶通常期望快速響應。

一致性

在數(shù)據(jù)庫領域,一致性指的是在任何給定時間點,所有的復制數(shù)據(jù)都必須相同。數(shù)據(jù)庫系統(tǒng)采取多種策略來保證一致性,比如操作的原子性(一個操作要么全部成功,要么全部失敗,不會出現(xiàn)部分完成的情況)和事務的隔離性(通過鎖和其他并發(fā)控制機制來防止多個事務交叉執(zhí)行產(chǎn)生的數(shù)據(jù)不一致問題)。

擴展性

擴展性指的是數(shù)據(jù)庫在增加硬件資源(如存儲和處理能力)時能有效提升性能的能力。水平擴展(增加更多服務器)和垂直擴展(增強單個服務器能力)是兩種常見的擴展策略。一個具有高擴展性的數(shù)據(jù)庫能夠應對數(shù)據(jù)增長和查詢量的增長,保證數(shù)據(jù)庫系統(tǒng)的性能和穩(wěn)定性。

Part 02常見的架構方案

方案一:主備架構,只有主庫提供讀寫服務,備庫冗余作故障轉移用

ae7d6940-4261-11ee-a2ef-92fbcf53809c.png

jdbc//vip:3306/xxdb

1、高可用分析:高可用,主庫掛了,keepalive(只是一種工具)會自動切換到備庫。這個過程對業(yè)務層是透明的,無需修改代碼或配置。

2、高性能分析:讀寫都操作主庫,很容易產(chǎn)生瓶頸。大部分互聯(lián)網(wǎng)應用讀多寫少,讀會先成為瓶頸,進而影響寫性能。另外,備庫只是單純的備份,資源利用率50%,這點方案二可解決。

3、一致性分析:讀寫都操作主庫,不存在數(shù)據(jù)一致性問題。

4、擴展性分析:無法通過加從庫來擴展讀性能,進而提高整體性能。

5、可落地分析:兩點影響落地使用。第一,性能一般,這點可以通過建立高效的索引和引入緩存來增加讀性能,進而提高性能。這也是通用的方案。第二,擴展性差,這點可以通過分庫分表來擴展。

方案二:雙主架構,兩個主庫同時提供服務,負載均衡

ae9a6e5a-4261-11ee-a2ef-92fbcf53809c.png

jdbc//vip:3306/xxdb

1、高可用分析:高可用,一個主庫掛了,不影響另一臺主庫提供服務。這個過程對業(yè)務層是透明的,無需修改代碼或配置。

2、高性能分析:讀寫性能相比于方案一都得到提升,提升一倍。

3、一致性分析:存在數(shù)據(jù)一致性問題。一致性解決方案。

4、擴展性分析:當然可以擴展成三主循環(huán),但筆者不建議(會多一層數(shù)據(jù)同步,這樣同步的時間會更長)。如果非得在數(shù)據(jù)庫架構層面擴展的話,擴展為方案四。

5、可落地分析:兩點影響落地使用。第一,數(shù)據(jù)一致性問題,一致性解決方案可解決問題。第二,主鍵沖突問題,ID統(tǒng)一地由分布式ID生成服務來生成可解決問題。

方案三:主從架構,一主多從,讀寫分離

aeaea79e-4261-11ee-a2ef-92fbcf53809c.png

jdbc//master-ip:3306/xxdb
jdbc//slave1-ip:3306/xxdb
jdbc//slave2-ip:3306/xxdb

1、高可用分析:主庫單點,從庫高可用。一旦主庫掛了,寫服務也就無法提供。

2、高性能分析:大部分互聯(lián)網(wǎng)應用讀多寫少,讀會先成為瓶頸,進而影響整體性能。讀的性能提高了,整體性能也提高了。另外,主庫可以不用索引,線上從庫和線下從庫也可以建立不同的索引(線上從庫如果有多個還是要建立相同的索引,不然得不償失;線下從庫是平時開發(fā)人員排查線上問題時查的庫,可以建更多的索引)。

3、一致性分析:存在數(shù)據(jù)一致性問題。請看,一致性解決方案。

4、擴展性分析:可以通過加從庫來擴展讀性能,進而提高整體性能。(帶來的問題是,從庫越多需要從主庫拉取binlog日志的端就越多,進而影響主庫的性能,并且數(shù)據(jù)同步完成的時間也會更長)

5、可落地分析:兩點影響落地使用。第一,數(shù)據(jù)一致性問題,一致性解決方案可解決問題。第二,主庫單點問題,筆者暫時沒想到很好的解決方案。注:思考一個問題,一臺從庫掛了會怎樣?讀寫分離之讀的負載均衡策略怎么容錯?

方案四:雙主+主從架構,看似完美的方案

aebcc5f4-4261-11ee-a2ef-92fbcf53809c.png

jdbc//vip:3306/xxdb
jdbc//slave1-ip:3306/xxdb
jdbc//slave2-ip:3306/xxdb

1、高可用分析:高可用。

2、高性能分析:高性能。

3、一致性分析:存在數(shù)據(jù)一致性問題。請看,一致性解決方案。

4、擴展性分析:可以通過加從庫來擴展讀性能,進而提高整體性能。(帶來的問題同方案二)

5、可落地分析同方案二,但數(shù)據(jù)同步又多了一層,數(shù)據(jù)延遲更嚴重。

Part 03一致性解決方案

第一類:主庫和從庫一致性解決方案

aedd3546-4261-11ee-a2ef-92fbcf53809c.png

注:圖中圈出的是數(shù)據(jù)同步的地方,數(shù)據(jù)同步(從庫從主庫拉取binlog日志,再執(zhí)行一遍)是需要時間的,這個同步時間內主庫和從庫的數(shù)據(jù)會存在不一致的情況。如果同步過程中有讀請求,那么讀到的就是從庫中的老數(shù)據(jù)。如下圖:

af0a9626-4261-11ee-a2ef-92fbcf53809c.png

既然知道了數(shù)據(jù)不一致性產(chǎn)生的原因,有下面幾個解決方案供參考:

1、直接忽略,如果業(yè)務允許延時存在,那么就不去管它。

2、強制讀主,采用主備架構方案,讀寫都走主庫。用緩存來擴展數(shù)據(jù)庫讀性能 。有一點需要知道,如果緩存掛了,可能會產(chǎn)生雪崩現(xiàn)象,不過一般分布式緩存都是高可用的。

af2514b0-4261-11ee-a2ef-92fbcf53809c.png

3、選擇讀主,寫操作時根據(jù)庫+表+業(yè)務特征生成一個key放到Cache里并設置超時時間(大于等于主從數(shù)據(jù)同步時間)。讀請求時,同樣的方式生成key先去查Cache,再判斷是否命中。若命中,則讀主庫,否則讀從庫。代價是多了一次緩存讀寫,基本可以忽略。

af43ae48-4261-11ee-a2ef-92fbcf53809c.png

4、半同步復制,等主從同步完成,寫請求才返回。就是大家常說的“半同步復制”semi-sync。這可以利用數(shù)據(jù)庫原生功能,實現(xiàn)比較簡單。代價是寫請求時延增長,吞吐量降低。

5、數(shù)據(jù)庫中間件,引入開源(mycat等)或自研的數(shù)據(jù)庫中間層。個人理解,思路同選擇讀主。數(shù)據(jù)庫中間件的成本比較高,并且還多引入了一層。

af5bbdf8-4261-11ee-a2ef-92fbcf53809c.png

第二類:DB和緩存一致性解決方案

af7b2daa-4261-11ee-a2ef-92fbcf53809c.png

先來看一下常用的緩存使用方式:

第一步:淘汰緩存;

第二步:寫入數(shù)據(jù)庫;

第三步:讀取緩存?返回:讀取數(shù)據(jù)庫;

第四步:讀取數(shù)據(jù)庫后寫入緩存注:如果按照這種方式,圖一,不會產(chǎn)生DB和緩存不一致問題;圖二,會產(chǎn)生DB和緩存不一致問題,即4.read先于3.sync執(zhí)行。如果不做處理,緩存里的數(shù)據(jù)可能一直是臟數(shù)據(jù)。解決方式如下:

af9b8ea6-4261-11ee-a2ef-92fbcf53809c.png

注:設置緩存時,一定要加上有效時間,以防延時淘汰緩存失敗的情況!

Part 04架構演變方案

架構演變一:方案一 -> 方案一+分庫分表 -> 方案二+分庫分表 -> 方案四+分庫分表;

架構演變二:方案一 -> 方案一+分庫分表 -> 方案三+分庫分表 -> 方案四+分庫分表;

架構演變三:方案一 -> 方案二 -> 方案四 -> 方案四+分庫分表;

架構演變四:方案一 -> 方案三 -> 方案四 -> 方案四+分庫分表;

Part 05結語

1、加緩存和索引是通用的提升數(shù)據(jù)庫性能的方式。

2、分庫分表帶來的好處是巨大的,但同樣也會帶來一些問題,詳見前日推文。

3、不管是主備+分庫分表還是主從+讀寫分離+分庫分表,都要考慮具體的業(yè)務場景。絕大部分的數(shù)據(jù)庫架構還是采用方案一和方案一+分庫分表,只有極少部分用方案三+讀寫分離+分庫分表。另外,阿里云提供的數(shù)據(jù)庫云服務也都是主備方案,要想主從+讀寫分離需要二次架構。

4、記住一句話:不考慮業(yè)務場景的架構都是耍流氓。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標題:淺析:數(shù)據(jù)庫之互聯(lián)網(wǎng)常用架構方案一覽及應用場景

文章出處:【微信號:5G通信,微信公眾號:5G通信】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    聯(lián)想將進軍互聯(lián)網(wǎng)

    互聯(lián)網(wǎng)電視領域,并將其與智能手機、平板電腦等同時列入聯(lián)想移動互聯(lián)網(wǎng)戰(zhàn)略。  本報記者牛穎惠  聯(lián)想集團持股49%  昨天,聯(lián)想集團宣布與SMG旗下新媒體公司百視通在上海成立名為“視云網(wǎng)絡科技”的合資企業(yè)
    發(fā)表于 03-18 10:48

    互聯(lián)網(wǎng)電視迅速崛起

    3月17日,聯(lián)想集團與上海廣播電視臺、東方傳媒集團有限公司簽署戰(zhàn)略合作協(xié)議,正式切入互聯(lián)網(wǎng)電視領域,并將其與智能手機、平板電腦等同時列入聯(lián)想移動互聯(lián)網(wǎng)戰(zhàn)略。2008年互聯(lián)網(wǎng)電視斬露頭角
    發(fā)表于 03-22 11:31

    工業(yè)互聯(lián)網(wǎng)

    系統(tǒng)操作提供全新視野。機器分析則為分析流程開辟新維度,各種物理方式之結合、行業(yè)特定領域的專業(yè)知識、信息流的自動化與預測能力相互結合可與現(xiàn)有的整套“大數(shù)據(jù)”工具聯(lián)手合作。最終,工業(yè)互聯(lián)網(wǎng)將涵蓋傳統(tǒng)方式與新的混合方式,通過先進的特定
    發(fā)表于 01-25 09:29

    工業(yè)互聯(lián)網(wǎng)

    工業(yè)互聯(lián)網(wǎng)是全球工業(yè)系統(tǒng)與高級計算、分析、感應技術以及互聯(lián)網(wǎng)連接融合的結果。它通過智能機器 間的連接并最終將人機連接,結合軟件和大數(shù)據(jù)分析,重構全球工業(yè)、激發(fā)生產(chǎn)力,讓世界更美好、更快速、更安全、更
    發(fā)表于 04-17 15:56

    誠征自動化(硬件、嵌入式)、互聯(lián)網(wǎng)、 數(shù)據(jù)庫、數(shù)據(jù)安全技術合伙人

    和手機客戶端,機器人具備互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)協(xié)同工作能力機器人在烹飪技術方面,領先國內知名同行,而且已經(jīng)實現(xiàn)了更低成本目前誠征自動化(硬件、嵌入式)、互聯(lián)網(wǎng)、數(shù)據(jù)庫、
    發(fā)表于 05-31 14:39

    互聯(lián)網(wǎng)與工業(yè)物聯(lián)網(wǎng)之間的區(qū)別與聯(lián)系

    通過對于海量數(shù)據(jù)的分析和利用,以起到對于一個工業(yè)物聯(lián)網(wǎng)應用場合的運作流程以及結果的優(yōu)化作用。通過簡單的描述,我們可以發(fā)現(xiàn)互聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)最根本區(qū)別在于,
    發(fā)表于 06-14 10:18

    什么是產(chǎn)業(yè)互聯(lián)網(wǎng)?

    2018年10月,騰訊宣傳進軍產(chǎn)業(yè)互聯(lián)網(wǎng);2019年9月,騰訊完成了史上最大的組織架構調整,新成立云與智慧產(chǎn)業(yè)事業(yè)群,正式發(fā)力產(chǎn)業(yè)互聯(lián)網(wǎng);2020年1月,騰訊發(fā)布《2020產(chǎn)業(yè)安全報告:產(chǎn)業(yè)
    發(fā)表于 01-18 11:40

    labview軟件連接云數(shù)據(jù)庫,實現(xiàn)文件管理,版本更新,物聯(lián)網(wǎng)搭建~~~

    本帖最后由 SevenLi8408 于 2021-1-4 13:10 編輯 互聯(lián)網(wǎng)時代,如何實現(xiàn)軟件的自動更新,物聯(lián)網(wǎng)搭建~~~步驟1:搭建一個云數(shù)據(jù)服務器。方案A: 付費的阿里
    發(fā)表于 12-28 09:44

    工業(yè)互聯(lián)網(wǎng)面臨的挑戰(zhàn)

    工業(yè)互聯(lián)網(wǎng)面臨的挑戰(zhàn)新一代工業(yè)控制網(wǎng)解決方案的重要性全光纖工業(yè)傳輸控制網(wǎng)的系統(tǒng)架構
    發(fā)表于 02-22 09:17

    圖模型和圖數(shù)據(jù)庫

    應用。圖模型與面向對象的模型相比更加能夠描述事物之間的數(shù)據(jù)脈絡(Data Context)。在互聯(lián)網(wǎng),物聯(lián)網(wǎng),智能制造,工業(yè)4.0 等諸多領域,采納了圖模型和圖
    發(fā)表于 09-02 07:18

    在ARM9上用輕型WEB服務器可以不接入互聯(lián)網(wǎng)

    小型數(shù)據(jù)庫SQlite。請問下,在ARM9linux系統(tǒng)平臺上 采用BOA 服務器,也使用數(shù)據(jù)庫SQlite,可以在不用接入互聯(lián)網(wǎng)的情況下,提供RJ45網(wǎng)口 接網(wǎng)線 到PC,此時PC可以 “脫網(wǎng)”訪問
    發(fā)表于 07-22 14:10

    ARM上實現(xiàn)不用接入互聯(lián)網(wǎng)的WEB服務器可以嗎

    小型數(shù)據(jù)庫SQlite。請問下,在ARM9linux系統(tǒng)平臺上 采用BOA 服務器,也使用數(shù)據(jù)庫SQlite,可以在不用接入互聯(lián)網(wǎng)的情況下,提供RJ45網(wǎng)口 接網(wǎng)線 到PC,此時PC可以 “脫網(wǎng)”訪問
    發(fā)表于 10-28 10:53

    基于互聯(lián)網(wǎng)的觸摸屏數(shù)據(jù)庫遠程監(jiān)控系統(tǒng)

      以生產(chǎn)中配方數(shù)據(jù)安全通信為例,介紹了一種基于互聯(lián)網(wǎng)的觸摸屏數(shù)據(jù)庫遠程安全傳輸與監(jiān)控系統(tǒng)。該系統(tǒng)將觸摸屏的通信功能與網(wǎng)絡安全通信模塊相結合,通過互聯(lián)網(wǎng)實現(xiàn)了對遠
    發(fā)表于 05-28 13:49 ?4093次閱讀
    基于<b class='flag-5'>互聯(lián)網(wǎng)</b>的觸摸屏<b class='flag-5'>數(shù)據(jù)庫</b>遠程監(jiān)控系統(tǒng)

    數(shù)據(jù)庫有哪些常見的應用結構數(shù)據(jù)庫應用結構的使用資料概述

    本文檔的主要內容詳細介紹的是數(shù)據(jù)庫有哪些常見的應用結構數(shù)據(jù)庫應用結構的使用資料概述 數(shù)據(jù)庫常見的應用結構有:1.集中式結構2.文件服務器結構
    發(fā)表于 10-31 16:57 ?11次下載
    <b class='flag-5'>數(shù)據(jù)庫</b>有哪些<b class='flag-5'>常見</b>的應用結構<b class='flag-5'>數(shù)據(jù)庫</b>應用結構的使用資料概述

    工業(yè)互聯(lián)網(wǎng)時代,我們?yōu)槭裁葱枰粋€時序數(shù)據(jù)庫?

    ,關鍵字:互聯(lián)網(wǎng)監(jiān)控系統(tǒng),大家就會發(fā)現(xiàn)小米、餓了嗎等互聯(lián)網(wǎng)巨頭也都在用時序數(shù)據(jù)庫實現(xiàn)企業(yè)級的互聯(lián)網(wǎng)監(jiān)控系統(tǒng)。更別提目前所有國內外主流工業(yè)互聯(lián)網(wǎng)
    的頭像 發(fā)表于 01-28 13:02 ?6487次閱讀
    工業(yè)<b class='flag-5'>互聯(lián)網(wǎng)</b>時代,我們?yōu)槭裁葱枰粋€時序<b class='flag-5'>數(shù)據(jù)庫</b>?