上週同事說檔案伺服器看不到資料
察看後發現伺服器上兩個由5顆2TB硬碟組成的RAID5都出了狀況
一個是突然掉了三顆整個掛掉 另一個掉了一顆顯示危險狀態
先把掉三顆的RAID5停掉 拆下來到另一台重掛上
經過心驚膽顫的兩天resync後 似乎就回魂了
現在的問題是掉一顆的那個RAID5
那上面有個很大很肥很重要的檔案 放著公司的所有專案資料
掛掉實在不是鬧著玩的事......
本來照理論 這時候就是補上一顆去rebuild就好
但我查了篇資料 說是raid5 rebuild 是很危險的
說如果這時raid5上其他硬碟的未始用空間有平常沒讀寫而沒發現的壞軌
rebuild時因為會整個掃一遍 就有可能讓這顆又被判定出局
也就是會面對掛掉兩顆的狀況 ....很多raid5是這樣掛掉的
因此我也不敢貿然就補一顆進去rebuild
先試著搬資料出來備份再說

先用了grsync 速度太慢
並發現之前用Ultracopier複製的檔案在一些大的影片檔經常會發生io錯誤
grsync備份到這些檔案就報錯然後停止.....
然後我就要把那個檔案砍掉再重跑一次grsync

不知道fsck能不能解決這個問題
但也不敢貿然使用 因為又查到一篇說在raid5上亂用fsck也是很危險-_-"

覺得這樣不是辦法 於是想說先把raid5停掉 硬碟拔下來
用再生籠之類的把硬碟都先備份一次
結果發現再生龍似乎很難支援soft raid的備份

另外找了個redo backup 一顆2T要27小時 跑起來又看不到進度
我這陣列沒辦法離線搞這麼久 所以再度放棄

接下來又找了FSArchiver 這東西可以直接裝在系統中用
但先是遇上權限問題 備份檔無法創建
查詢後好像是版本太舊的問題 但0.6.15找不到deb
編譯安裝又失敗 （少什麼bzip2之類的）
倒是找到一個圖形介面qt4-fsarchiver的deb
10.04跑不起來 但在12.04會動
裝好用命令執行fsarchiver看版本還是舊版
所以只好繼續用這個圖形介面

於是把這個10.04上的raid5用nfs掛到另一台12.04
但這樣好像沒辦法用fsarchiver的磁區複製
所以只好用他的 save directory功能來備份資料
剛跑還挺順利的 速度也挺快 大概都有50~80MB/s
但這樣弄出來是單一的壓縮檔 圖形介面又找不到切割檔案功能
而且似乎遇到之前那些壞檔會當掉
整個nfs掛掉 重啟nfs服務也是無效 兩台重開機全部重設才能繼續作業

現在我只能先避開可能有那些壞檔的資料夾
一個一個資料夾的做備份（有幾百個吧我猜=_=）......又要提心吊膽會不會又當掉

唉 這就是平常沒做備份的現世報啦 眾親友引以為戒啦 =_=

總之這就是目前的悲慘處理狀況 胡亂紀錄一下供大家參考
不知道各位有沒有比較好的作法可以建議小弟一下,救小弟於水火

先謝過大家 orz

現在的問題是掉一顆的那個RAID5

1. 最重要 5 顆 硬碟的 分割區的 superblock 一定不要 去 寫入 (讀出 風險較小)
2. 最好 每顆 硬碟 都用 dd 指令 整顆 硬碟 備存
最少 掉的那一顆 進一步處理前 先用 dd 指令 整顆 備存
3. 把下述 七個指令 結果 copy 貼上 http://paste.ubuntu.com
再把 網址 貼上來
3-0. sudo cat /proc/mdstat
3-1. sudo mdadm -D /dev/mdx # 假設你的 raid5 是 /dev/mdx
3-2. sudo mdadm -E /dev/sday # 假設你的 raid5 硬碟 是 /dev/sday
3-3. sudo mdadm -E /dev/sdby # 假設你的 raid5 硬碟 是 /dev/sdby
3-4. sudo mdadm -E /dev/sdcy # 假設你的 raid5 硬碟 是 /dev/sdcy
3-5. sudo mdadm -E /dev/sddy # 假設你的 raid5 硬碟 是 /dev/sddy
3-6. sudo mdadm -E /dev/sdey # 假設你的 raid5 硬碟 是 /dev/sdey
3-7. 請說明 /dev/sday /dev/sdby /dev/sdcy /dev/sddy /dev/sdey 扮演的角色
最好 看掉的那一顆 扮演什麼功能 來決定 如何 處理

http://paste.ubuntu.com/1265167/
就先不全貼了
我的raid5沒有熱備
有次重開後這顆sdc1會被當成spare掛進去
怕出事 手動標成faulty
sdc看smart確實有壞軌 還沒換上新的

dd的速度不知怎樣....

dd 的速度挺快的呀，我用的時可以達每秒 70MB/sec 5400轉的速度，這算很快了。

我用的時候是兩顆硬碟對拷，所以速度挺快的。

Version : 00.90.00

這是說 superblock 的版本是 00.90.00
共有 0.9 1.0 1.1 1.2 四種格式
記得 以後 要寫入 superblock
一定要把該 寫入指令 看清楚 如何表明 版本是 00.90.00 (預設是 1.2)
否則 就救不回來了
讀出 就不必擔心

Failed Devices : 1
Spare Devices : 1
1 1 0 0 1 faulty removed
5 5 8 33 5 spare /dev/sdc1

5 個硬碟裏有一個本來就是 備用
是不是 /dev/sdc1 是 備用的 ?
上面沒有東東
(與你剛建立 raid 5 時的記錄 比對)

註解

1. 你的 五個 硬碟 分割區 的 superblock 應該都是好的
sudo mdadm -D /dev/md1
如果有這一行
Persistence : Superblock is persistent
就表示 你的 superblock 應該都是好的
救回來的希望很大

2. 操作或程式執行時出錯的風險 縱使存在的
最重要 一定不要輕易使用 會寫入 superblock 的指令
如果你的 /dev/md1 有重要資料 把 5 個硬碟 用 dd 指令 備存
至少 /dev/sdc1 備存
可以降低風險

3. 因爲你的 5 個硬碟的 superblock 完整
假設 你的 /dev/sdc1 又剛好是 備用
你可以 先試試 下列方法 不會傷到 superblock
sudo mdadm -D --scan # /dev/md1 已存在情況
或
sudo mdadm -S /dev/md1 # 停用 /dev/md1
sudo mdadm -A --scan # /dev/md1 已停用情況
或
sudo mdadm /dev/md1 --re-add /dev/sdc1

4. 詳細參閱 這一篇
mdadm - manage MD devices aka Linux Software RAID

那顆並不是備用碟 確實是有壞軌才被raid5踢出去的
今天為了慶祝國慶 把伺服器關掉 四顆還是好的拆出來到別台做DD備份
用不壓縮的映象檔模式寫入另外買的四顆3TB硬碟
速度不錯 跑到90~110MB/s
本來是接在一個新買的便宜4bay esata外接盒同時做兩顆備份
但速度只有33mb/s ,看來便宜貨還是.....
只好都拆出來直接接主機板 六個sata插滿同時做3對3備份
每顆都有到100MB/s左右
DD順利跑完 應該也代表原來的其他硬碟應該沒啥問題?
就放膽把一顆新的2TB加進去rebuld了 看進度要跑20小時左右
希望順利跑完......

另外順便問個問題
我的另一個raid5現在裝在別台（PC_B）用NFS掛回來
檔案權限改777 擁有者是PC_B的主使用者
兩台都可讀寫
但掛在原來這台(PC_A)下的SMB
用其他電腦SMB進來只能讀不能寫
我試著在PC_B建了個和PC_A一樣名稱密碼的SMB使用者
但好像沒用...請問我該檢查什麼地方呢?
謝謝

就放膽把一顆新的2TB加進去rebuld了 看進度要跑20小時左右 希望順利跑完......

rebuild 可能會 寫入 superblock (猜的)
總之 希望你 幸運
如果沒成功 下次用 --re-add (因爲你的 superblock 是好的)

我的另一個raid5現在裝在別台（PC_B）用NFS掛回來
檔案權限改777 擁有者是PC_B的主使用者
兩台都可讀寫
但掛在原來這台(PC_A)下的SMB
用其他電腦SMB進來只能讀不能寫
我試著在PC_B建了個和PC_A一樣名稱密碼的SMB使用者
但好像沒用...請問我該檢查什麼地方呢?

1. exports 時 可以指定 ro (唯讀) rw (可讀可寫) 檢查一下 exports 指令 或 設定
2. 如果裏面 有 windows 作業系統 掛載指令 不太一樣
3. 如果 兩臺 (指 server 及 client) 都是 Ubuntu 詳讀
3-1. Network File System (NFS)
3-2. NFSv4Howto
3-3. SettingUpNFSHowTo

突然就好了 大概是有重開機的關係@_@"
重建進度24% 繼續等.....

不好意思想繼續問

用DD對硬碟做的備份檔
看dd的教學是可以直接掛成 /mnt/*之類的去用
但有沒有可能讓映像檔模擬成像是 /dev/sdxx的分區
再讓 mdadm去把這些/dev/sdxx去組回一個陣列呢?

我想這樣去備份資料出來可能安全一點.....
謝謝

突然就好了 大概是有重開機的關係@_@"

重開機 效果 跟
sudo mdadm -A --scan
差不多

重建進度24% 繼續等.....

你要執行
sudo cat /proc/mdstat
看看是否 有 5 個 U

用DD對映像檔做的備份檔

dd 的格式 :
dd [OPERAND]...
dd OPTION
不同的 運算字
決定是
BLOCKS
還是
BYTES
你舉的例子是 BYTES

補充
因爲 raid5 單碟 (未組成 raid 5 前) 無法 掛載
另外 要保存 分割區的 superblock
所以 要使用 BLOCKS 不可以使用 BYTES

詳讀這一篇
dd and cloning w/ubuntu