Mixed mdadm-raid5 mit 4k Sektor-Platte?

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

25.10.2011 - 14:16

Code:

/dev/md0:
        Version : 00.90
  Creation Time : Thu Dec  2 00:10:20 2010

Habs halt seitdem laufen...

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

25.10.2011 - 16:16

Hab mich mal an diesem Eintrag angehalten und eine korrekte Formatierung hinbekommen.

Code:

Platte /dev/sdd: 1500.3 GByte, 1500301910016 Byte
202 Köpfe, 56 Sektoren/Spur, 259041 Zylinder, zusammen 2930277168 Sektoren
Einheiten = Sektoren von 1 × 512 = 512 Bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00059fce

   Gerät  boot.     Anfang        Ende     Blöcke   Id  System
/dev/sdd1            2048  2930277167  1465137560   fd  Linux raid autodetect

Geschafft mit fdisk -c -u /dev/sdX.

Hab eine primäre Partition erstellt mit den default values und mit "t" dann den type auf "fd" (linux raid autodetect) geändert. Anschließend mit "w" geschrieben.

Das updaten des Superblocks werd ich nach dem resync angehen.

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12071

25.10.2011 - 16:23

parted kann uebrigens mit `set <n> raid on` den FS-Type der Partiiton mit der Nummer n auf "fd", als "Linux RAID Autodetect", setzen - wie im Gentoo Wiki beschrieben. Ich hab's eben probiert.

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

31.10.2011 - 00:49

Hab grad keine Lust noch einen Thread zu öffnen, nur weil schon wieder ein Problem da ist...glaub langsam es ist mein Charma, oder was auch immer. :bash:

Hab gestern früh den Server mit "init 0" abgedreht (2 Minuten vorher war das System voll funktionsfähig) und vor ca. 1h ganz normal via Einschaltknopf gestartet.

Jetzt scheint das File System am mdadm Raid5 defekt zu sein.

Nachdem ein fsck.ext4 bzw. e2fsck aufs lv nich möglich ist:

Code:

root@filer:~# e2fsck -n /dev/vg_raid5/lv_raid5
e2fsck 1.41.11 (14-Mar-2010)
e2fsck: Das Gerät oder die Ressource ist belegt beim Versuch, /dev/vg_raid5/lv_raid5 zu öffnen
Ist das Dateisystem eingehängt or exklusiv von einem anderen Programm

geöffnet worden?

und ich wirklich nichts mehr entdecken kann das darauf zugreift (fs ist mit umount -l unmounted) dachte ich mir ich schau mir mal dmesg an...siehe da...

Das Raid selbst läuft fehlerfrei mit der neuen WD.

dmesg_173318.txt (downloaded 63x)

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12071

31.10.2011 - 07:26

Ein lazy umount heiszt nicht, dass das Filesystem ausgehaengt ist, sondern lediglich, dass beim naechstmoeglichen Zeitpunkt ausgehaengt wird, und keine neuen fds mehr darauf geoeffnet werden koennen. Das Symptom ist also nicht auszergewoehnlich.

Irgendwas scheint jedenfalls mit deiner Hardware nicht zu passen - deine Disks haben offenbar zum wiederholten Male Probleme mit NCQ-Writes.

Ich wuerde dir raten das fs offline (von einer Live-CD aus) zu fscken und die Queue Depth all deiner Platten auf 1 zu reduzieren.

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

31.10.2011 - 12:44

Ok...werd das mal versuchen.

Die NCQ-Writes schreib ich mal den SATA-Kabeln zu. Die betreffende Platte ist die neue WD.

edit: ganz vergessen...

Code:

[    0.000000] AMI BIOS detected: BIOS may corrupt low RAM, working around it.

whats this?

Bearbeitet von EG am 31.10.2011, 12:48

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

01.11.2011 - 11:07

Sodala...done! Hat super geklappt.

Jedoch ist jetzt halt wirklich sehr viel weg auch.
Hab natürlich von den wichtigen Daten ein Backup...leider nicht von meinen BlueRays die ich auf dem Server hatte zwecks DLNA zum TV.

testdisk als letzte Chance mir viel Arbeit zu ersparen?

whitegrey

Wirtschaftsflüchtling

Registered: Dec 2000
Location: Wien 1110
Posts: 7355

01.11.2011 - 20:06

hmm, ich glaube ich muss mich auch mal ordentlich in mdadm einlesen… hab vor ein paar Tagen mal temporär ein RAID 0 Set (2x 320Gb PATA) per Webmin erstellt für ein Drittbackup meiner Musiksammlung (kann ja nicht schaden

)…

Die Laufwerksverwaltung meldet mir ein misalignment aber das ignoriere ich einfach mal -> ist wie gesagt nur ein Drittbackup, die Datenrate ist für mich in Ordnung und für ein paar Wochen muss es reichen (dann setze ich mir ein "ordentliches" SATA-Raid mit mdadm auf).

gibt es dann zur Überwachung eigentlich empfehlenswerte GUI-Tools (ich fahre Xubuntu 11.10)?

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12071

01.11.2011 - 20:21

Zitat von whitegrey
gibt es dann zur Überwachung eigentlich empfehlenswerte GUI-Tools (ich fahre Xubuntu 11.10)?

`xterm -e watch cat /proc/mdstat`?

Systemueberwachung unter UNIX erfolgt traditionell per Mail - ist einfach das flexibelste System. mdmon macht das gerne fuer dich - der kann auch andere Programme ausfuehren, wenn Array-Events aufgefangen werden.

Warum man ein RAID0 grosz moitoren sollte, ist mir aber ehrlichgesagt schleierhaft. Da gibt's eh nur "alles OK" und "alles im O*sch" - und nichts dazwischen.

whitegrey

Wirtschaftsflüchtling

Registered: Dec 2000
Location: Wien 1110
Posts: 7355

01.11.2011 - 20:39

war für später gemeint - das RAID0 werd ich nicht überwachen - keine Sorge

(dürfte dann ein RAID1 und ein RAID5 werden)

hmm - würde da Growl o.Ä Sinn machen für Array-Events?
Der Rechner hat maximal LAN-Anbindung, ins Internet wird er nicht gelassen…

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12071

01.11.2011 - 21:06

Es gibt meine Wissens keinen growl-Port fuer GNU/Linux. Zudem ist es seit kurzem proprietaer, insofern kann man ohnehin nur noch davon abraten.

Da die meisten Systeme mit md-RAID ohnehin headless laufen, sehe ich ehrlich gesagt auch wenig Sinn fuer eine dieser lustig-bunten Monitoring-Anwendungen fuer's Systray, wie man sie tw. von den Windows-Treibern diverser Controller-Hersteller kennt. Das bedeutet nicht, dass es sowas nicht gibt (ich glaube mir ist sowas schon mal untergekommen) - aber ich halte das Konzept an sich fuer unnoetig. Du kannst natuerlich z. b. etwas wie Growl (auf einem GNU/Linux-Desktop dann wohl einen libnotify-faehigen MUA oder sowas) dazu einsetzen, dich bei von mdmon originierenden Nachrichten besonders ausmerksamkeitserregend zu benachrichtigen, aber prinzipiell wuerde ich beim guten RFC(2)822 bleiben

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

02.11.2011 - 01:33

Ich zähl das mal als ein nein... -.-
Naja eh wurscht...die wichtigen Dinge hab ich gesichert...die unwichtigen muss ich halt wieder holen. Zach is halt!

Kleine Warnung white:
mdadm Raids sind schon _sehr_ anfällig für troubles...hab meines jetzt seit 2009 und in den letzten Jahren wirklich oft Probleme damit gehabt.
Manchmal konnte natürlich mdadm nix dafür (SATA-Stecker sind z.B. einfach ein elendiger grind...dann fällt halt mal eine völlig intakte Platte aus dem Raid), bei anderen hats relativ Fehlerintollerant auf Situationen reagiert. Da half dann nur ein Backup.

Man muss wirklich irrsinnig aufpassen was man tut. Sehr viele Informationen im Netz sind schlichtweg falsch. Auch auf namhaften Seiten. Von diversen Foren würd ich dir auch abraten. Maximal Mailing Listen verwenden.

Ich bin langsam ziemlich genervt und ermüdet von den ewigen Spompanadeln.
Wenn ich heute nochmal die Wahl zwischen einem vernünftigen HW-Raidcontroller und einem mdadm-Raid hätte, würde ich mit ruhigem gewissen die Kohle für einen Controller investieren.

Sogar die onboard-Raid-Controller sind wesentlich stabiler als mdadm.
Hab da einige schon jahrelang laufen mit Raid0/1-Gschichten in Workstations ohne jegliche Probleme. So performant sind sie halt leider nicht.

deftenski

mit barockfelgen

Registered: May 2002
Location: back home
Posts: 1241

02.11.2011 - 09:05

vielleicht bist du auch nur die ausnahme von der regel

ich verwend mdadm-raids seit etlichen jahren, hab dabei os, mainboard und controller gewechselt, vergroeszert und verkleinert und nie wirklich probleme gehabt.

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12071

02.11.2011 - 10:10

@EG: Dann kauf bitte einfach irgendeinen tollen proprietaeren Controller, wo du dann glaubst, dass du damit superpipifein und problemlos "fahren" wirst, und verschone uns alle mit deinen Quenglereien und einfach voellig unfundierten Aussagen. Die Mehrzahl deiner Probleme sind direktes Resultat deiner eigenen Inkomptenz am Geraet.

whitegrey

Wirtschaftsflüchtling

Registered: Dec 2000
Location: Wien 1110
Posts: 7355

02.11.2011 - 10:14

kann sowas nicht auch daran liegen, dass es keine RAID-grade/Enterprise Platten waren (Eco/Green-Serie) :confused:

EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	25.10.2011 - 14:16 Code: `/dev/md0: Version : 00.90 Creation Time : Thu Dec 2 00:10:20 2010` Habs halt seitdem laufen...
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	25.10.2011 - 16:16 Hab mich mal an diesem Eintrag angehalten und eine korrekte Formatierung hinbekommen. Code: `Platte /dev/sdd: 1500.3 GByte, 1500301910016 Byte 202 Köpfe, 56 Sektoren/Spur, 259041 Zylinder, zusammen 2930277168 Sektoren Einheiten = Sektoren von 1 × 512 = 512 Bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x00059fce Gerät boot. Anfang Ende Blöcke Id System /dev/sdd1 2048 2930277167 1465137560 fd Linux raid autodetect` Geschafft mit fdisk -c -u /dev/sdX. Hab eine primäre Partition erstellt mit den default values und mit "t" dann den type auf "fd" (linux raid autodetect) geändert. Anschließend mit "w" geschrieben. Das updaten des Superblocks werd ich nach dem resync angehen.
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12071	25.10.2011 - 16:23 parted kann uebrigens mit `set <n> raid on` den FS-Type der Partiiton mit der Nummer n auf "fd", als "Linux RAID Autodetect", setzen - wie im Gentoo Wiki beschrieben. Ich hab's eben probiert.
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	31.10.2011 - 00:49 Hab grad keine Lust noch einen Thread zu öffnen, nur weil schon wieder ein Problem da ist...glaub langsam es ist mein Charma, oder was auch immer. Hab gestern früh den Server mit "init 0" abgedreht (2 Minuten vorher war das System voll funktionsfähig) und vor ca. 1h ganz normal via Einschaltknopf gestartet. Jetzt scheint das File System am mdadm Raid5 defekt zu sein. Nachdem ein fsck.ext4 bzw. e2fsck aufs lv nich möglich ist: Code: `root@filer:~# e2fsck -n /dev/vg_raid5/lv_raid5 e2fsck 1.41.11 (14-Mar-2010) e2fsck: Das Gerät oder die Ressource ist belegt beim Versuch, /dev/vg_raid5/lv_raid5 zu öffnen Ist das Dateisystem eingehängt or exklusiv von einem anderen Programm geöffnet worden?` und ich wirklich nichts mehr entdecken kann das darauf zugreift (fs ist mit umount -l unmounted) dachte ich mir ich schau mir mal dmesg an...siehe da... Das Raid selbst läuft fehlerfrei mit der neuen WD. dmesg_173318.txt (downloaded 63x)
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12071	31.10.2011 - 07:26 Ein lazy umount heiszt nicht, dass das Filesystem ausgehaengt ist, sondern lediglich, dass beim naechstmoeglichen Zeitpunkt ausgehaengt wird, und keine neuen fds mehr darauf geoeffnet werden koennen. Das Symptom ist also nicht auszergewoehnlich. Irgendwas scheint jedenfalls mit deiner Hardware nicht zu passen - deine Disks haben offenbar zum wiederholten Male Probleme mit NCQ-Writes. Ich wuerde dir raten das fs offline (von einer Live-CD aus) zu fscken und die Queue Depth all deiner Platten auf 1 zu reduzieren.
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	31.10.2011 - 12:44 Ok...werd das mal versuchen. Die NCQ-Writes schreib ich mal den SATA-Kabeln zu. Die betreffende Platte ist die neue WD. edit: ganz vergessen... Code: `[ 0.000000] AMI BIOS detected: BIOS may corrupt low RAM, working around it.` whats this? Bearbeitet von EG am 31.10.2011, 12:48
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	01.11.2011 - 11:07 Sodala...done! Hat super geklappt. Jedoch ist jetzt halt wirklich sehr viel weg auch. Hab natürlich von den wichtigen Daten ein Backup...leider nicht von meinen BlueRays die ich auf dem Server hatte zwecks DLNA zum TV. testdisk als letzte Chance mir viel Arbeit zu ersparen?
whitegrey Wirtschaftsflüchtling Registered: Dec 2000 Location: Wien 1110 Posts: 7355	01.11.2011 - 20:06 hmm, ich glaube ich muss mich auch mal ordentlich in mdadm einlesen… hab vor ein paar Tagen mal temporär ein RAID 0 Set (2x 320Gb PATA) per Webmin erstellt für ein Drittbackup meiner Musiksammlung (kann ja nicht schaden )… Die Laufwerksverwaltung meldet mir ein misalignment aber das ignoriere ich einfach mal -> ist wie gesagt nur ein Drittbackup, die Datenrate ist für mich in Ordnung und für ein paar Wochen muss es reichen (dann setze ich mir ein "ordentliches" SATA-Raid mit mdadm auf). gibt es dann zur Überwachung eigentlich empfehlenswerte GUI-Tools (ich fahre Xubuntu 11.10)?
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12071	01.11.2011 - 20:21 Zitat von whitegrey gibt es dann zur Überwachung eigentlich empfehlenswerte GUI-Tools (ich fahre Xubuntu 11.10)? `xterm -e watch cat /proc/mdstat`? Systemueberwachung unter UNIX erfolgt traditionell per Mail - ist einfach das flexibelste System. mdmon macht das gerne fuer dich - der kann auch andere Programme ausfuehren, wenn Array-Events aufgefangen werden. Warum man ein RAID0 grosz moitoren sollte, ist mir aber ehrlichgesagt schleierhaft. Da gibt's eh nur "alles OK" und "alles im O*sch" - und nichts dazwischen.
whitegrey Wirtschaftsflüchtling Registered: Dec 2000 Location: Wien 1110 Posts: 7355	01.11.2011 - 20:39 war für später gemeint - das RAID0 werd ich nicht überwachen - keine Sorge (dürfte dann ein RAID1 und ein RAID5 werden) hmm - würde da Growl o.Ä Sinn machen für Array-Events? Der Rechner hat maximal LAN-Anbindung, ins Internet wird er nicht gelassen…
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12071	01.11.2011 - 21:06 Es gibt meine Wissens keinen growl-Port fuer GNU/Linux. Zudem ist es seit kurzem proprietaer, insofern kann man ohnehin nur noch davon abraten. Da die meisten Systeme mit md-RAID ohnehin headless laufen, sehe ich ehrlich gesagt auch wenig Sinn fuer eine dieser lustig-bunten Monitoring-Anwendungen fuer's Systray, wie man sie tw. von den Windows-Treibern diverser Controller-Hersteller kennt. Das bedeutet nicht, dass es sowas nicht gibt (ich glaube mir ist sowas schon mal untergekommen) - aber ich halte das Konzept an sich fuer unnoetig. Du kannst natuerlich z. b. etwas wie Growl (auf einem GNU/Linux-Desktop dann wohl einen libnotify-faehigen MUA oder sowas) dazu einsetzen, dich bei von mdmon originierenden Nachrichten besonders ausmerksamkeitserregend zu benachrichtigen, aber prinzipiell wuerde ich beim guten RFC(2)822 bleiben
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	02.11.2011 - 01:33 Ich zähl das mal als ein nein... -.- Naja eh wurscht...die wichtigen Dinge hab ich gesichert...die unwichtigen muss ich halt wieder holen. Zach is halt! Kleine Warnung white: mdadm Raids sind schon _sehr_ anfällig für troubles...hab meines jetzt seit 2009 und in den letzten Jahren wirklich oft Probleme damit gehabt. Manchmal konnte natürlich mdadm nix dafür (SATA-Stecker sind z.B. einfach ein elendiger grind...dann fällt halt mal eine völlig intakte Platte aus dem Raid), bei anderen hats relativ Fehlerintollerant auf Situationen reagiert. Da half dann nur ein Backup. Man muss wirklich irrsinnig aufpassen was man tut. Sehr viele Informationen im Netz sind schlichtweg falsch. Auch auf namhaften Seiten. Von diversen Foren würd ich dir auch abraten. Maximal Mailing Listen verwenden. Ich bin langsam ziemlich genervt und ermüdet von den ewigen Spompanadeln. Wenn ich heute nochmal die Wahl zwischen einem vernünftigen HW-Raidcontroller und einem mdadm-Raid hätte, würde ich mit ruhigem gewissen die Kohle für einen Controller investieren. Sogar die onboard-Raid-Controller sind wesentlich stabiler als mdadm. Hab da einige schon jahrelang laufen mit Raid0/1-Gschichten in Workstations ohne jegliche Probleme. So performant sind sie halt leider nicht.
deftenski mit barockfelgen Registered: May 2002 Location: back home Posts: 1241	02.11.2011 - 09:05 vielleicht bist du auch nur die ausnahme von der regel ich verwend mdadm-raids seit etlichen jahren, hab dabei os, mainboard und controller gewechselt, vergroeszert und verkleinert und nie wirklich probleme gehabt.
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12071	02.11.2011 - 10:10 @EG: Dann kauf bitte einfach irgendeinen tollen proprietaeren Controller, wo du dann glaubst, dass du damit superpipifein und problemlos "fahren" wirst, und verschone uns alle mit deinen Quenglereien und einfach voellig unfundierten Aussagen. Die Mehrzahl deiner Probleme sind direktes Resultat deiner eigenen Inkomptenz am Geraet.
whitegrey Wirtschaftsflüchtling Registered: Dec 2000 Location: Wien 1110 Posts: 7355	02.11.2011 - 10:14 kann sowas nicht auch daran liegen, dass es keine RAID-grade/Enterprise Platten waren (Eco/Green-Serie)

Mixed mdadm-raid5 mit 4k Sektor-Platte?

Forum Index > Software > Linux and other OS

EG

EG

COLOSSUS

EG

COLOSSUS

EG

EG

whitegrey

COLOSSUS

whitegrey

COLOSSUS

EG

deftenski

COLOSSUS

whitegrey