服務器存儲數據恢復環(huán)境：
某品牌MSA2000存儲，該存儲中有一組由8塊SAS硬盤（其中有一塊熱備盤）組建的RAID5陣列，raid5陣列上層劃分了6個lun，均分配給HP-Unix小型機使用，主要數據為oracle數據庫和OA服務端。

服務器存儲故障：
該MSA2000存儲RAID5陣列中2塊硬盤出現故障離線，陣列中只有一塊熱備盤，雖然熱備盤成功激活，RAID5陣列癱瘓，上層LUN無法使用，存儲不可用。

服務器存儲數據恢復過程：
1、收到故障存儲中所有磁盤后，由硬件工程師對所有磁盤做物理故障檢測，沒有發(fā)現有硬盤存在明顯物理故障，都可以正常讀取。使用壞道檢測工具檢測所有磁盤，也沒有發(fā)現有硬盤存在壞道。
2、將所有磁盤以只讀方式做扇區(qū)級全盤鏡像。鏡像完成后將所有磁盤還給用戶方，后續(xù)的數據分析和數據恢復操作都基于鏡像文件進行，避免對原始磁盤數據造成二次破壞。

北亞企安數據恢復——LVM數據恢復

注：由于所有磁盤沒有檢測出存在明顯的物理故障或者壞道，所以可以判斷出磁盤離線的原因是讀寫性能不穩(wěn)定。因為MSA2000存儲中的raid控制器的磁盤檢查策略非常嚴格，一旦陣列中有磁盤性能不穩(wěn)定，控制器就將這些磁盤識別為壞盤并踢出RAID。一旦RAID中掉線的盤到超過該RAID級別所允許掉盤的最大數量，該RAID崩潰，上層基于RAID的LUN也將不可用。
3、MSA2000存儲的LUN都是基于RAID的。分析所有磁盤中數據，發(fā)現其中一塊盤的數據同其它盤不一樣，可以初步判斷這塊盤是熱備盤盤。分析每一塊硬盤中的數據，發(fā)現有一塊硬盤在同一個條帶上的數據和其他硬盤明顯不一樣，初步判斷此硬盤是先掉線的那塊磁盤。通過RAID校驗程序對這個條帶做校驗，最終確定先掉線的那塊硬盤。分析Oracle數據庫頁在每個磁盤中的分布情況，并根據數據分布的情況獲取RAID的條帶大小，磁盤順序及數據走向等RAID的重要信息。根據分析出的RAID信息虛擬重組原始RAID。
4、分析LUN在RAID中的分配情況，以及LUN分配的數據塊MAP。將每一個LUN的數據塊分布MAP提取出來，北亞企安數據恢復工程師編寫程序解析所有LUN的數據MAP，然后根據數據MAP導出所有LUN的數據。

北亞企安數據恢復——LVM數據恢復

5、分析所有導出的LUN，發(fā)現所有LUN中均包含HP-Unix的LVM信息。嘗試解析每個LUN中的LVM信息，一共發(fā)現三個LVM：一個LVM中劃分了一個LV，里面存放OA服務器端的數據；一個LVM中劃分了一個LV，里面存放臨時備份數據；剩余4個LUN組成一個LVM，只劃分了一個LV，里面存放Oracle數據庫文件。北亞企安數據恢復工程師編寫LVM解釋程序，嘗試將所有LVM中的LV都解釋出來，但發(fā)現解釋過程中程序出錯。
6、分析程序報錯原因，開發(fā)工程師debug程序出錯的位置。文件系統(tǒng)工程師對恢復出來的LUN做檢測后發(fā)現存儲癱瘓導致LVM信息損壞。嘗試人工修復損壞的區(qū)域并同步修改程序，重新解析LVM邏輯卷。
7、搭建HP-Unix環(huán)境，將解釋出來的LV映射到HP-Unix并嘗試Mount文件系統(tǒng)，結果Mount文件系統(tǒng)出錯。嘗試使用“fsck –F vxfs” 命令修復vxfs文件系統(tǒng)，修復完成后仍然無法掛載文件系統(tǒng)。懷疑vxfs文件系統(tǒng)的部分元數據可能被破壞，需要手工修復。
8、仔細分析解析出來的LV，根據VXFS文件系統(tǒng)的底層結構校驗此文件系統(tǒng)是否完整。經過分析發(fā)現VXFS文件系統(tǒng)果然存在問題，原來存儲癱瘓的時候VXFS文件系統(tǒng)正在執(zhí)行IO操作，導致部分文件系統(tǒng)元文件損壞。手工修復損壞的元文件，直到能夠正常解析VXFS文件系統(tǒng)。再次將修復好的LV掛載到HP-Unix小型機上，嘗試Mount文件系統(tǒng)，這回沒有報錯，成功掛載。
9、在HP-Unix小型機上mount文件系統(tǒng)后，將所有用戶數據備份至指定磁盤空間。
部分文件目錄截圖：

北亞企安數據恢復——LVM數據恢復

10、使用Oracle數據庫文件檢測工具“dbv”檢測每個數據庫文件的完整性，經過檢測沒有發(fā)現問題。再使用北亞企安自主研發(fā)的Oracle數據庫檢測工具進行檢測，發(fā)現部分數據庫文件和日志文件校驗不一致。由數據庫工程師對此類文件進行修復后再次校驗，直到所有數據庫文件均通過校驗為止。
11、將恢復出來的Oracle數據庫附加到原始生產環(huán)境的HP-Unix小型機中，嘗試啟動Oracle數據庫，Oracle數據庫啟動成功。

北亞企安數據恢復——LVM數據恢復

12、由用戶方配合，啟動Oracle數據庫和OA服務端。通過本地安裝的OA客戶端數據記錄進行驗證，并且用戶方安排不同部門人員進行遠程驗證。經過仔細驗證，確定恢復出來的數據完整可用，認可本次數據恢復結果。本次數據恢復工作完成。

審核編輯 黃宇