hbase+hive分布式存儲(chǔ)數(shù)據(jù)恢復(fù)環(huán)境：
16臺(tái)某品牌R730XD服務(wù)器節(jié)點(diǎn)，每臺(tái)物理服務(wù)器節(jié)點(diǎn)上有數(shù)臺(tái)虛擬機(jī)，虛擬機(jī)上配置的分布式，上層部署hbase數(shù)據(jù)庫(kù)+hive數(shù)據(jù)倉(cāng)庫(kù)。

hbase+hive分布式存儲(chǔ)故障&初檢：
數(shù)據(jù)庫(kù)文件被誤刪除，數(shù)據(jù)庫(kù)無(wú)法使用。
通過(guò)現(xiàn)場(chǎng)對(duì)該分布式環(huán)境的初步檢測(cè)，發(fā)現(xiàn)虛擬機(jī)還可以正常啟動(dòng)，虛擬機(jī)里面的數(shù)據(jù)庫(kù)塊文件丟失。好在塊文件丟失之后沒(méi)有對(duì)集群環(huán)境寫(xiě)入數(shù)據(jù)，底層數(shù)據(jù)損壞可能性比較小。

hbase+hive分布式存儲(chǔ)數(shù)據(jù)恢復(fù)方案：
1、備份。
A、從物理服務(wù)器底層做備份，將設(shè)備斷電、關(guān)機(jī)。將所有磁盤(pán)編號(hào)后從服務(wù)器/存儲(chǔ)中取出。
B、從虛擬機(jī)層面?zhèn)浞?，通過(guò)網(wǎng)絡(luò)直接備份虛擬機(jī)底層磁盤(pán)文件。
C、北亞企安數(shù)據(jù)恢復(fù)中心準(zhǔn)備一臺(tái)服務(wù)器以只讀方式掛載服務(wù)器硬盤(pán)，對(duì)所有磁盤(pán)進(jìn)行扇區(qū)對(duì)扇區(qū)的全盤(pán)鏡像備份。
D、備份完成后提供詳細(xì)報(bào)告，內(nèi)容涉及所有磁盤(pán)的健康狀態(tài)和存在的壞道列表。
E、將服務(wù)器硬盤(pán)按照編號(hào)還原到原服務(wù)器/存儲(chǔ)設(shè)備中，之后數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對(duì)原始磁盤(pán)數(shù)據(jù)造成二次破壞。

2、基于鏡像文件分析塊文件結(jié)構(gòu)。
A、分析每個(gè)虛擬機(jī)磁盤(pán)的塊文件。
B、分析文件底層的聚合方式。
C、分析磁盤(pán)中數(shù)據(jù)分布情況。

3、分析Block文件key。
A、定位數(shù)據(jù)庫(kù)文件中的key信息。
B、提取并解析數(shù)據(jù)庫(kù)文件中key信息。
C、整合數(shù)據(jù)庫(kù)文件key信息。

4、拼接Block文件。
A、根據(jù)Block文件的key信息提取文件片段。
B、拼接Block文件的片段。
C、校驗(yàn)拼接后的Block文件的正確性。

5、導(dǎo)入Block文件。
A、校驗(yàn)提取出來(lái)的Block文件完整性和正確性。
B、把提取出來(lái)的Block文件導(dǎo)入到hbase和hive數(shù)據(jù)倉(cāng)庫(kù)中。

6、驗(yàn)證數(shù)據(jù)。
由用戶對(duì)數(shù)據(jù)進(jìn)行詳細(xì)驗(yàn)證。如果發(fā)現(xiàn)問(wèn)題則重新檢驗(yàn)上面的恢復(fù)流程。

審核編輯 黃宇