序言

最近花了很多時間在分布式存儲上面，不想在這個上面再花費很多時間了，所以用這篇文章做一個最后的總結。

在面對分布式存儲的時候，分為兩種角度，一種是客戶側，一種是運維側，客戶是上帝，所以不談上帝的操作，專注于運維側的系統(tǒng)構建。

其實所有的系統(tǒng)構建，都應該分成兩個緯度，一個是客戶緯度，專注于客戶體驗，進行各種定制化輸出；一個是運維緯度，專注于底層的運維，各種監(jiān)控數(shù)據，各種操作，都使用白屏的操作，而不是天天命令行操作，使用平臺層面，可以防止誤操作，系統(tǒng)扛了大部分的責任，也可以讓運維不用每天記憶那些***命令，***參數(shù)，減輕低等級的操作，讓大腦有更多的空間來想想其他的事情。。。例如，看看藍天白日黃昏。。。。

分布式存儲系統(tǒng)是為了解決單機存儲所存在的容量、性能等瓶頸，以及可用性、擴展性等方面的問題，通過把數(shù)據分散存儲在多臺存儲設備上，為大規(guī)模的存儲應用提供大容量、高性能、高可用、擴展性好的存儲服務。這一系列的文章介紹一種典型的分布式存儲系統(tǒng)的設計和實現(xiàn)，該系統(tǒng)已經服務大量的業(yè)務，達到了數(shù)百T的存儲量，經受了海量服務的考驗。

整體架構

系統(tǒng)的整體架構如下圖所示，其中邏輯層是存儲服務的使用方。系統(tǒng)由兩大部分組成，一部分是圖中數(shù)據倉庫包含的模塊，是直接提供數(shù)據存儲服務的核心部分，由接入層、數(shù)據層、配置運維中心組成；另一部分是輔助系統(tǒng)，主要負責系統(tǒng)的監(jiān)控、運維和運營備份系統(tǒng)、監(jiān)控系統(tǒng)、運維管理系統(tǒng)、用戶運營系統(tǒng)組成。

一個數(shù)據倉庫就是一個存儲集群，多個業(yè)務可以共享一個數(shù)據倉庫的資源，我們根據需求可以部署多個數(shù)據倉庫，輔助系統(tǒng)是所有數(shù)據倉庫共用的。

下面簡單介紹一下各個模塊的主要功能。

接入層

接入層主要是提供兩個功能，一是對邏輯層訪問接入層進行負載均衡；二是實現(xiàn)數(shù)據分片，即把訪問數(shù)據的請求轉發(fā)數(shù)據所在的數(shù)據層設備。

數(shù)據層

數(shù)據層就是存儲數(shù)據，存儲介質可以支持內存或SSD。讀寫服務是處理用戶的讀寫請求；同步模塊多份數(shù)據拷貝之間的主備同步；運維工具是用于執(zhí)行主備切換、死機恢復、擴容等運維操作。

配置運維中心

配置運維中心由3部分組成。配置中心負責整個倉庫的配置維護和下發(fā)；配額中心負責各個業(yè)務級別的容量、流量、CPU等資源的配額管理；運維中心用于自動或手動下發(fā)運維命令。

備份系統(tǒng)

備份系統(tǒng)負責整個系統(tǒng)所有業(yè)務的數(shù)據備份、回檔和恢復。流水中心會記錄所有寫操作的流水；任務中心管理和調度所有數(shù)據備份、回檔和恢復任務的執(zhí)行。

監(jiān)控系統(tǒng)

監(jiān)控系統(tǒng)對系統(tǒng)的關鍵信息和運行狀況進行上報和分析，對異常情況進行監(jiān)控和告警。打點上報是對系統(tǒng)的關鍵路徑、異常點等進行計數(shù)或狀態(tài)上報；多維上報是對打點上報的一個補充，上報了更多維度的信息。

運維管理系統(tǒng)

運維管理系統(tǒng)的使用者是系統(tǒng)運維人員，可以方便地進行業(yè)務管理和運維操作，如進行配置管理、故障管理、業(yè)務擴容等常用操作；還可以查看系統(tǒng)運行狀況和業(yè)務運營數(shù)據。

用戶運營系統(tǒng)

用戶管理系統(tǒng)的使用者是使用存儲服務的用戶，用戶通過該系統(tǒng)可以掌握所接入業(yè)務的運營數(shù)據，以及進行用戶級的業(yè)務管理和運維操作，如續(xù)費、擴容、數(shù)據清空、數(shù)據備份、數(shù)據恢復等。