mdadm (raid5): entfernte Platte wieder einfügen

Beim Umstecken einer Festplatte bin ich leider unabsichtlich am Stecker einer Raid-Platte angekommen.

Diese wird nun als "removed" gekennzeichnet.

Code:

root@filer:/mnt# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90
  Creation Time : Fri Jan 15 01:13:23 2010
     Raid Level : raid5
     Array Size : 4395407616 (4191.79 GiB 4500.90 GB)
  Used Dev Size : 1465135872 (1397.26 GiB 1500.30 GB)
   Raid Devices : 4
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Feb  9 14:55:43 2010
          State : clean, degraded
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 256K

           UUID : aa6fd5f5:fdbfaba3:7cc4f564:e0529720 (local to host filer)
         Events : 0.1809

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1

Stoppen kann ich das Array nicht, weils "busy" ist.
Gemoutet ist es jedoch nicht.

Code:

root@filer:/mnt# mdadm -S /dev/md0
mdadm: fail to stop array /dev/md0: Device or resource busy

Wenns nicht gestoppt ist kann ichs leider auch nicht reassembeln.

Muss ich es nun recovern, oder gibts eine schnellere Möglichkeit?
Aufs Array wurde nicht geschrieben zu diesem Zeitpunkt.

Code:

root@filer:/mnt# mdadm --manage /dev/md0 --re-add /dev/sdb1  mdadm: Cannot open /dev/sdb1: Device or resource busy  

Bissl strange...die Platte ist ebenfalls nicht gemountet.

Code:

/dev/sda1 on / type ext4 (rw,errors=remount-ro)
proc on /proc type proc (rw)
none on /sys type sysfs (rw,noexec,nosuid,nodev)
none on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type tmpfs (rw,mode=0755)
none on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
none on /dev/shm type tmpfs (rw,nosuid,nodev)
none on /var/run type tmpfs (rw,nosuid,mode=0755)
none on /var/lock type tmpfs (rw,noexec,nosuid,nodev)
none on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)

Hab dazwischen mal rebootet...ev. sind jetzt die device Namen verschoben. -.-
Weil vorm reboot war sdb1 sdh1.

Jetzt wirds von der Reihenfolge her interessant.

SDA ist die Systemplatte.

edit

Code:

root@filer:/mnt# mount /dev/sd
sda   sda1  sda2  sda5  sdb   sdb1  sdc   sdc1  sdd   sdd1  sde   sde1

jetzt ist sdb scheinbar sde.

So...nochmal alle Kabel gecheckt und einen schlechten Kontakt behoben.

Code:

root@filer:/home/tom# mdadm --manage /dev/md0 --re-add /dev/sdb1
mdadm: re-added /dev/sdb1

root@filer:/home/tom# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90
  Creation Time : Fri Jan 15 01:13:23 2010
     Raid Level : raid5
     Array Size : 4395407616 (4191.79 GiB 4500.90 GB)
  Used Dev Size : 1465135872 (1397.26 GiB 1500.30 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Feb  9 16:00:01 2010
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 256K

 Rebuild Status : 0% complete

           UUID : aa6fd5f5:fdbfaba3:7cc4f564:e0529720 (local to host filer)
         Events : 0.1822

    Number   Major   Minor   RaidDevice State
       4       8       17        0      spare rebuilding   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1
root@filer:/home/tom# cat /proc/mdstat

Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdb1[4] sde1[3] sdc1[1] sdd1[2]
      4395407616 blocks level 5, 256k chunk, algorithm 2 [4/3] [_UUU]
      [>....................]  recovery =  0.1% (2172692/1465135872) finish=291.7min speed=83565K/sec

unused devices: <none>

Nein ist es nicht. Ich seh auch grad, dass spare devices jetzt 1 ist und die Nummer von sdb1 4 geworden ist.

...

Hab hier ebenfalls ein RAID5 in Software und ich bild mir ein bei mir ist auch 'spare' während des rebuilds gestanden. Warte einfach mal ab.

Gibt es keine. Wenn dein RAID einmal degraded ist, kommt es zum Rebuild, no matter what. (Wobei - kann schon sein, dass man md irgendwie dazu zwingen kann, den Rebuild auszulassen - nur hat man dann halt inkonsistente Daten auf der einen Platte, und koennte es auch gleich ganz lassen.)

Richtige Vorgehensweise in so einem Fall ist uebrigens: `mdadm $array --manage --remove detached` zum Rauswerfen der nicht mehr angeschlossenen Platte aus dem Array, dann die Platte wieder anstecken, dann `mdadm $array --manage --add $blockdevice` (wenn mdadm erkennt, dass das blockdevice einen Superblock hat, der es als Member des Arrays identifiziert, tut --add genau das selbe wie --re-add).

Das Problem stellt sich erneut, nur diesmal funktioniert die bereits erfolgreich durchgeführte Vorgehensweise nicht mehr.

Mittlerweile hat das Raid eine zusätzliche Festplatte erhalten, was schon einige Wochen her ist. Beim Transport von meiner Wohnung in Hgb nach Wieselburg scheint sich ein Kabel von einer Platte gelöst zu haben. Diese wurde dann als "removed" gekennzeichnet.
Also eh alles wie beim Fall oben.

Das Raid 5 sieht so aus:

Code:

root@filer:~# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90
  Creation Time : Fri Jan 15 01:13:23 2010
     Raid Level : raid5
     Array Size : 5860543488 (5589.05 GiB 6001.20 GB)
  Used Dev Size : 1465135872 (1397.26 GiB 1500.30 GB)
   Raid Devices : 5
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sun Jul  4 13:25:43 2010
          State : clean, degraded
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 256K

           UUID : aa6fd5f5:fdbfaba3:7cc4f564:e0529720 (local to host filer)
         Events : 0.3779297

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       49        1      active sync   /dev/sdd1
       2       8       33        2      active sync   /dev/sdc1
       3       8       65        3      active sync   /dev/sde1
       4       8       81        4      active sync   /dev/sdf1

Beim Versuch des Wiedereinfügens:

Code:

root@filer:~# mdadm --manage /dev/md0 --add /dev/sdb1
mdadm: Cannot open /dev/sdb1: Device or resource busy

Leider lässt sich (auch nach mehreren reboots) die fehlende Platte nicht mehr einhängen.
lsof zeigt keine Benutzung der Festplatte an. Sie ist (logischerweise) nicht gemountet und diesmal haben sich auch die devices nicht geändert.

Bissl nervenaufreibend...