服務(wù)器存儲(chǔ)數(shù)據(jù)恢復(fù)環(huán)境：
某品牌MSA2000存儲(chǔ)，該存儲(chǔ)中有一組由8塊SAS硬盤(pán)（其中有一塊熱備盤(pán)）組建的RAID5陣列，raid5陣列上層劃分了6個(gè)lun，均分配給HP-Unix小型機(jī)使用，主要數(shù)據(jù)為oracle數(shù)據(jù)庫(kù)和OA服務(wù)端。

服務(wù)器存儲(chǔ)故障：
該MSA2000存儲(chǔ)RAID5陣列中2塊硬盤(pán)出現(xiàn)故障離線(xiàn)，陣列中只有一塊熱備盤(pán)，雖然熱備盤(pán)成功激活，RAID5陣列癱瘓，上層LUN無(wú)法使用，存儲(chǔ)不可用。

服務(wù)器存儲(chǔ)數(shù)據(jù)恢復(fù)過(guò)程：
1、收到故障存儲(chǔ)中所有磁盤(pán)后，由硬件工程師對(duì)所有磁盤(pán)做物理故障檢測(cè)，沒(méi)有發(fā)現(xiàn)有硬盤(pán)存在明顯物理故障，都可以正常讀取。使用壞道檢測(cè)工具檢測(cè)所有磁盤(pán)，也沒(méi)有發(fā)現(xiàn)有硬盤(pán)存在壞道。
2、將所有磁盤(pán)以只讀方式做扇區(qū)級(jí)全盤(pán)鏡像。鏡像完成后將所有磁盤(pán)還給用戶(hù)方，后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對(duì)原始磁盤(pán)數(shù)據(jù)造成二次破壞。

北亞企安數(shù)據(jù)恢復(fù)——LVM數(shù)據(jù)恢復(fù)

注：由于所有磁盤(pán)沒(méi)有檢測(cè)出存在明顯的物理故障或者壞道，所以可以判斷出磁盤(pán)離線(xiàn)的原因是讀寫(xiě)性能不穩(wěn)定。因?yàn)镸SA2000存儲(chǔ)中的raid控制器的磁盤(pán)檢查策略非常嚴(yán)格，一旦陣列中有磁盤(pán)性能不穩(wěn)定，控制器就將這些磁盤(pán)識(shí)別為壞盤(pán)并踢出RAID。一旦RAID中掉線(xiàn)的盤(pán)到超過(guò)該RAID級(jí)別所允許掉盤(pán)的最大數(shù)量，該RAID崩潰，上層基于RAID的LUN也將不可用。
3、MSA2000存儲(chǔ)的LUN都是基于RAID的。分析所有磁盤(pán)中數(shù)據(jù)，發(fā)現(xiàn)其中一塊盤(pán)的數(shù)據(jù)同其它盤(pán)不一樣，可以初步判斷這塊盤(pán)是熱備盤(pán)盤(pán)。分析每一塊硬盤(pán)中的數(shù)據(jù)，發(fā)現(xiàn)有一塊硬盤(pán)在同一個(gè)條帶上的數(shù)據(jù)和其他硬盤(pán)明顯不一樣，初步判斷此硬盤(pán)是先掉線(xiàn)的那塊磁盤(pán)。通過(guò)RAID校驗(yàn)程序?qū)@個(gè)條帶做校驗(yàn)，最終確定先掉線(xiàn)的那塊硬盤(pán)。分析Oracle數(shù)據(jù)庫(kù)頁(yè)在每個(gè)磁盤(pán)中的分布情況，并根據(jù)數(shù)據(jù)分布的情況獲取RAID的條帶大小，磁盤(pán)順序及數(shù)據(jù)走向等RAID的重要信息。根據(jù)分析出的RAID信息虛擬重組原始RAID。
4、分析LUN在RAID中的分配情況，以及LUN分配的數(shù)據(jù)塊MAP。將每一個(gè)LUN的數(shù)據(jù)塊分布MAP提取出來(lái)，北亞企安數(shù)據(jù)恢復(fù)工程師編寫(xiě)程序解析所有LUN的數(shù)據(jù)MAP，然后根據(jù)數(shù)據(jù)MAP導(dǎo)出所有LUN的數(shù)據(jù)。

北亞企安數(shù)據(jù)恢復(fù)——LVM數(shù)據(jù)恢復(fù)

5、分析所有導(dǎo)出的LUN，發(fā)現(xiàn)所有LUN中均包含HP-Unix的LVM信息。嘗試解析每個(gè)LUN中的LVM信息，一共發(fā)現(xiàn)三個(gè)LVM：一個(gè)LVM中劃分了一個(gè)LV，里面存放OA服務(wù)器端的數(shù)據(jù)；一個(gè)LVM中劃分了一個(gè)LV，里面存放臨時(shí)備份數(shù)據(jù)；剩余4個(gè)LUN組成一個(gè)LVM，只劃分了一個(gè)LV，里面存放Oracle數(shù)據(jù)庫(kù)文件。北亞企安數(shù)據(jù)恢復(fù)工程師編寫(xiě)LVM解釋程序，嘗試將所有LVM中的LV都解釋出來(lái)，但發(fā)現(xiàn)解釋過(guò)程中程序出錯(cuò)。
6、分析程序報(bào)錯(cuò)原因，開(kāi)發(fā)工程師debug程序出錯(cuò)的位置。文件系統(tǒng)工程師對(duì)恢復(fù)出來(lái)的LUN做檢測(cè)后發(fā)現(xiàn)存儲(chǔ)癱瘓導(dǎo)致LVM信息損壞。嘗試人工修復(fù)損壞的區(qū)域并同步修改程序，重新解析LVM邏輯卷。
7、搭建HP-Unix環(huán)境，將解釋出來(lái)的LV映射到HP-Unix并嘗試Mount文件系統(tǒng)，結(jié)果Mount文件系統(tǒng)出錯(cuò)。嘗試使用“fsck –F vxfs” 命令修復(fù)vxfs文件系統(tǒng)，修復(fù)完成后仍然無(wú)法掛載文件系統(tǒng)。懷疑vxfs文件系統(tǒng)的部分元數(shù)據(jù)可能被破壞，需要手工修復(fù)。
8、仔細(xì)分析解析出來(lái)的LV，根據(jù)VXFS文件系統(tǒng)的底層結(jié)構(gòu)校驗(yàn)此文件系統(tǒng)是否完整。經(jīng)過(guò)分析發(fā)現(xiàn)VXFS文件系統(tǒng)果然存在問(wèn)題，原來(lái)存儲(chǔ)癱瘓的時(shí)候VXFS文件系統(tǒng)正在執(zhí)行IO操作，導(dǎo)致部分文件系統(tǒng)元文件損壞。手工修復(fù)損壞的元文件，直到能夠正常解析VXFS文件系統(tǒng)。再次將修復(fù)好的LV掛載到HP-Unix小型機(jī)上，嘗試Mount文件系統(tǒng)，這回沒(méi)有報(bào)錯(cuò)，成功掛載。
9、在HP-Unix小型機(jī)上mount文件系統(tǒng)后，將所有用戶(hù)數(shù)據(jù)備份至指定磁盤(pán)空間。
部分文件目錄截圖：

北亞企安數(shù)據(jù)恢復(fù)——LVM數(shù)據(jù)恢復(fù)

10、使用Oracle數(shù)據(jù)庫(kù)文件檢測(cè)工具“dbv”檢測(cè)每個(gè)數(shù)據(jù)庫(kù)文件的完整性，經(jīng)過(guò)檢測(cè)沒(méi)有發(fā)現(xiàn)問(wèn)題。再使用北亞企安自主研發(fā)的Oracle數(shù)據(jù)庫(kù)檢測(cè)工具進(jìn)行檢測(cè)，發(fā)現(xiàn)部分?jǐn)?shù)據(jù)庫(kù)文件和日志文件校驗(yàn)不一致。由數(shù)據(jù)庫(kù)工程師對(duì)此類(lèi)文件進(jìn)行修復(fù)后再次校驗(yàn)，直到所有數(shù)據(jù)庫(kù)文件均通過(guò)校驗(yàn)為止。
11、將恢復(fù)出來(lái)的Oracle數(shù)據(jù)庫(kù)附加到原始生產(chǎn)環(huán)境的HP-Unix小型機(jī)中，嘗試啟動(dòng)Oracle數(shù)據(jù)庫(kù)，Oracle數(shù)據(jù)庫(kù)啟動(dòng)成功。

北亞企安數(shù)據(jù)恢復(fù)——LVM數(shù)據(jù)恢復(fù)

12、由用戶(hù)方配合，啟動(dòng)Oracle數(shù)據(jù)庫(kù)和OA服務(wù)端。通過(guò)本地安裝的OA客戶(hù)端數(shù)據(jù)記錄進(jìn)行驗(yàn)證，并且用戶(hù)方安排不同部門(mén)人員進(jìn)行遠(yuǎn)程驗(yàn)證。經(jīng)過(guò)仔細(xì)驗(yàn)證，確定恢復(fù)出來(lái)的數(shù)據(jù)完整可用，認(rèn)可本次數(shù)據(jù)恢復(fù)結(jié)果。本次數(shù)據(jù)恢復(fù)工作完成。

審核編輯 黃宇