"Taranis" RAID-6 Array: 54.5TB (War: "Helios" RAID-6: 5.45TB + Update auf ~11TB)

Xan

Legend
So say we all

Registered: Jul 2000
Location: Wien
Posts: 7676

25.01.2010 - 18:36

läuft das mdadm raid mit standard einstellungen?
ich denke da kann er durch etwas tuning noch mehr rausholen. COLOSSUS hat vor einiger zeit ein paar empfehlungen gepostet. die haben bei mir fast eine verdopplung der leseleistung gebracht.

GrandAdmiralThrawn

XP Nazi

Registered: Aug 2000
Location: BRUCK!
Posts: 3701

25.01.2010 - 18:50

Jo, läuft Default. Er wollte sich die Arbeit nicht antun, unterschiedliche Einstellungen durchzutesten.

Wobei seine sequentiellen Werte da eh schon ned so weit von dem weg sind, was man maximal bei einem RAID-5 Stripe über 4 Disks erreichen können sollte, wenn man noch das werte Gesetz des abnehmenden Ertrags beachtet..

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12082

25.01.2010 - 18:52

Kann vermutlich trotzdem nicht schaden: http://johannes.truschnigg.info/blo...-Software-RAID5

GrandAdmiralThrawn

XP Nazi

Registered: Aug 2000
Location: BRUCK!
Posts: 3701

25.01.2010 - 20:03

Hab's ihm weitergegeben.

So, und um mal dem NTFS bei meinem 3ware RAID auf den Zahn zu fühlen... Ich hab am Controller 64kB Stripesize und am NTFS 4kB Blocksize.

Ein bisserl zusammengekürzt, den Output (dd die gleiche Blocksize gegeben, wie eben das Filesystem auch nutzt):

D:\>timethis dd.exe bs=4k if=D:\0_ADVDWORKDIR\Vidocq\VIDOCQ\BDMV\STREAM\00005
.m2ts of=NUL

rawwrite dd for windows version 0.5.
Written by John Newbigin <jn@it.swin.edu.au>
This program is covered by the GPL. See copying.txt for details
TimeThis : Elapsed Time : 00:01:07.203

Und so groß ist das File in Bytes:

D:\>dir D:\0_ADVDWORKDIR\Vidocq\VIDOCQ\BDMV\STREAM\00005.m2ts
05.01.2010 20:43 19.357.163.520 00005.m2ts

Daraus ergeben sich ziemlich genau 275MB/sec.

Edit: Die BluRay hab ich original und kanns auf Anfrage auch belegen, nur daß sich hier niemand aufregt oder so. :rolleyes:

Bearbeitet von GrandAdmiralThrawn am 25.01.2010, 20:06

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8972

27.01.2010 - 12:18

so.. welcome to the 3ware family..
hab mir jetzt auch einen 9650SE bestellt nachdem mir meine odyssee schon so auf den zeiger ging..
ursprünglich wollte ich mit 4 1TB platten ein software raid5 im windows erstellen. die umsetzung lief aber nicht sehr gut..

erstellt war das array schnell. weniger schnell war die synchronisierung für die das system fast geschlagene 2 tage brauchte.
als ich am 2. tag leichtsinnigerweise den SMART status checken wollte und HDTune startete blieb der prozess hängen. ebenso wie der explorer und kurz darauf das komplette system.
also reboot und.... datenträger wird synchronisiert.. 0% YAY nochmal 2 tage :bash:

nach diesen 2 tagen wollte ich wohl ebenso leichtsinnigerweise das array mal durchbenchen. also HDTach gestartet und.. er erkennt das array an sich nicht sondern listet mir nur die einzelplatten auf. mir kommt bereits jetzt eine dunkle ahnung..
ein kurzer blick in die datenträgerverwaltung und... datenträger wird synchronisiert.. 0%

fazit: nachdem ich das keyboard mit den bissspuren ausgewechselt hatte wurde der bestellknopf gedrückt.

GrandAdmiralThrawn

XP Nazi

Registered: Aug 2000
Location: BRUCK!
Posts: 3701

26.02.2010 - 20:27

So, etwas, das eigentlich noch gefehlt hat, möchte ich noch nachreichen: Ein Schreibtest unter halbwegs realen (sequentiellen) Bedingungen. Da sequentielle Schreibvorgänge bei mir gang und gäbe sind, sollte dies sehr repräsentativ sein.

Schön, daß dd.exe ein /dev/zero eingebaut hat. Meine Velociraptor ist nämlich viel zu langsam (!), um die Schreibleistung vom RAID-6 unter realen Bedingungen zu testen. Es gibt zwar ein hauseigenes "NUL" (/dev/null quasi) Device im Windows, aber scheinbar kein ZERO.

Ok, wir testen mit dd, Blockgröße 4kB (NTFS Clustersize = 4kB), 5.242.880 Blocks:

D:\>timethis dd.exe bs=4k count=5242880 if=/dev/zero of=D:\test.nul

rawwrite dd for windows version 0.5.
Written by John Newbigin <jn@it.swin.edu.au>
This program is covered by the GPL. See copying.txt for details
TimeThis : Elapsed Time : 00:01:40.156

Filegröße 20GB:

D:\>dir d:\test.nul
26.02.2010 20:09 21.474.836.480 test.nul

Und hieraus ergeben sich knappe 205MB/sec an satter Schreibleistung, und das nicht roh, sondern direkt am Filesystem!

Das gefällt! :cool:

Bearbeitet von GrandAdmiralThrawn am 26.02.2010, 21:35

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19722

14.09.2010 - 08:58

Habe ein recht ähnliches Setup im Moment und endlich genug Zeit gehabt die alten Daten auszulagern um das RAID zu erstellen.

Controller: LSI 3ware Escalade 9650SE-8LPML mit BBU-Modul
Discs: 8 x Hitachi DeskStar 7K2000

Und das alles in einem kleinen schnuckeligen LianLi PC60+

Controller ist auf "Balanced" eingestellt, da im Performance-Modus die BBU abgeschalten wird und ich diese jedoch nutzen will. Die Angst Performance zu verlieren ist mir im Moment aber egal, die Leistung reicht mir für ein RAID 5 völlig

Master99

verträumter realist

Registered: Jul 2001
Location: vie/grz
Posts: 12689

14.09.2010 - 09:10

sowas von owned

Vinci

hatin' on summer

Registered: Jan 2003
Location: Wien
Posts: 5823

14.09.2010 - 09:16

Kurze Frage zu diesen multi-lance Kabeln... hoff ich darf den Thread nutzen

Ich hab derzeit nen Arc 1220 mit 6xSata Platten laufen, die alle einzeln via Sata Kabel am Controller hängen. Kann ich jetzt problemlos auf multi-lance Kabel umsteigen oder wars das dann mim Raid?

Viper780

Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 50094

14.09.2010 - 11:35

sehr sexy System die Hitachi platten sollen ja durch die geringe zugriffszeit sehr flott sein. also so ein Raid würd mir auch gefallen

was ist der große vorteil von Raid-6 gegenüber Raid-5?
EDIT: ahja habs schon, eine Paritätsplatte mehr, somit kein Datenverlust beim Ausfall von 2 platten, dafür langsamer beim schreiben und mehr CPU Leistung beim lesen.

Bearbeitet von Viper780 am 14.09.2010, 11:39

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12082

14.09.2010 - 11:37

Du hast die Paritaetsdaten so ueber die Disken verteilt, dass dir zwei gleichzeitig ausfallen koennen, und das Array immer noch (degraded) funktioniert. Dafuer verlierst du halt auch zwei beteiligte Platten Nettokapzitaet.

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

14.09.2010 - 11:58

Nanana daisho...das ist ja mal ein ordentliches Raid!
Betreibst du das auf deiner Windows 7 Workstation?

Turrican

Legend
Amiga500-Fan

Registered: Jul 2002
Location: Austria,Stmk.
Posts: 23260

14.09.2010 - 12:27

wow, das sind echt sehr feine werte die da erreicht werden.

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19722

14.09.2010 - 13:11

@EvilGohan: Ja, ist mein 0815 Sys

Datengrab halt für sämtliche CD/DVD/BDs, ist auch nett wenn man dann davon jederzeit fernsehen und zocken kann ohne dauernd Disks wechseln zu müssen

RAID 6 würde mich bei der Anzahl an Platten und deren Größe schon anlachen (statistisch gesehen wäre es aufgrund der möglichen Ausfallsrate vermutlich intelligenter), aber eine komplette Platte weg schmerzt halt auch etwas. (und mehr Festplatten passen beim besten Willen nicht mehr rein. Neben dem BD-Laufwerk sind da noch ein 5in3 Festplattenkäfig drin, am unteren vorderen Lüfter sitzen zwei Platten (ober- und unterhalb der GraKa, da gehen sich die Anschlüsse gerade noch aus) sowie im zweiten 3,5" Schacht. Im ersten ist ein 2in1 Schuber für zwei 2,5" Platten ... da hocken zwei SSDs drin auf die bald das OS migriert wird. (die aktuelle Intel G1 liegt derweil zwischen Kabeln herum

)

kA ob ich die "alten" (Samsung F1) Platten verkaufe oder über einen eSATA-Käfig extern betreibe (jetzt ist der Onboard-Controller ja wieder total frei).

Viper780

Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 50094

14.09.2010 - 13:20

warum hast als Datengrab so flotte und eher laute HDDs genommen?

Xan Legend So say we all Registered: Jul 2000 Location: Wien Posts: 7676	25.01.2010 - 18:36 läuft das mdadm raid mit standard einstellungen? ich denke da kann er durch etwas tuning noch mehr rausholen. COLOSSUS hat vor einiger zeit ein paar empfehlungen gepostet. die haben bei mir fast eine verdopplung der leseleistung gebracht.
GrandAdmiralThrawn XP Nazi Registered: Aug 2000 Location: BRUCK! Posts: 3701	25.01.2010 - 18:50 Jo, läuft Default. Er wollte sich die Arbeit nicht antun, unterschiedliche Einstellungen durchzutesten. Wobei seine sequentiellen Werte da eh schon ned so weit von dem weg sind, was man maximal bei einem RAID-5 Stripe über 4 Disks erreichen können sollte, wenn man noch das werte Gesetz des abnehmenden Ertrags beachtet..
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12082	25.01.2010 - 18:52 Kann vermutlich trotzdem nicht schaden: http://johannes.truschnigg.info/blo...-Software-RAID5
GrandAdmiralThrawn XP Nazi Registered: Aug 2000 Location: BRUCK! Posts: 3701	25.01.2010 - 20:03 Hab's ihm weitergegeben. So, und um mal dem NTFS bei meinem 3ware RAID auf den Zahn zu fühlen... Ich hab am Controller 64kB Stripesize und am NTFS 4kB Blocksize. Ein bisserl zusammengekürzt, den Output (dd die gleiche Blocksize gegeben, wie eben das Filesystem auch nutzt): D:\>timethis dd.exe bs=4k if=D:\0_ADVDWORKDIR\Vidocq\VIDOCQ\BDMV\STREAM\00005 .m2ts of=NUL rawwrite dd for windows version 0.5. Written by John Newbigin <jn@it.swin.edu.au> This program is covered by the GPL. See copying.txt for details TimeThis : Elapsed Time : 00:01:07.203 Und so groß ist das File in Bytes: D:\>dir D:\0_ADVDWORKDIR\Vidocq\VIDOCQ\BDMV\STREAM\00005.m2ts 05.01.2010 20:43 19.357.163.520 00005.m2ts Daraus ergeben sich ziemlich genau 275MB/sec. Edit: Die BluRay hab ich original und kanns auf Anfrage auch belegen, nur daß sich hier niemand aufregt oder so. Bearbeitet von GrandAdmiralThrawn am 25.01.2010, 20:06
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8972	27.01.2010 - 12:18 so.. welcome to the 3ware family.. hab mir jetzt auch einen 9650SE bestellt nachdem mir meine odyssee schon so auf den zeiger ging.. ursprünglich wollte ich mit 4 1TB platten ein software raid5 im windows erstellen. die umsetzung lief aber nicht sehr gut.. erstellt war das array schnell. weniger schnell war die synchronisierung für die das system fast geschlagene 2 tage brauchte. als ich am 2. tag leichtsinnigerweise den SMART status checken wollte und HDTune startete blieb der prozess hängen. ebenso wie der explorer und kurz darauf das komplette system. also reboot und.... datenträger wird synchronisiert.. 0% YAY nochmal 2 tage nach diesen 2 tagen wollte ich wohl ebenso leichtsinnigerweise das array mal durchbenchen. also HDTach gestartet und.. er erkennt das array an sich nicht sondern listet mir nur die einzelplatten auf. mir kommt bereits jetzt eine dunkle ahnung.. ein kurzer blick in die datenträgerverwaltung und... datenträger wird synchronisiert.. 0% fazit: nachdem ich das keyboard mit den bissspuren ausgewechselt hatte wurde der bestellknopf gedrückt.
GrandAdmiralThrawn XP Nazi Registered: Aug 2000 Location: BRUCK! Posts: 3701	26.02.2010 - 20:27 So, etwas, das eigentlich noch gefehlt hat, möchte ich noch nachreichen: Ein Schreibtest unter halbwegs realen (sequentiellen) Bedingungen. Da sequentielle Schreibvorgänge bei mir gang und gäbe sind, sollte dies sehr repräsentativ sein. Schön, daß dd.exe ein /dev/zero eingebaut hat. Meine Velociraptor ist nämlich viel zu langsam (!), um die Schreibleistung vom RAID-6 unter realen Bedingungen zu testen. Es gibt zwar ein hauseigenes "NUL" (/dev/null quasi) Device im Windows, aber scheinbar kein ZERO. Ok, wir testen mit dd, Blockgröße 4kB (NTFS Clustersize = 4kB), 5.242.880 Blocks: D:\>timethis dd.exe bs=4k count=5242880 if=/dev/zero of=D:\test.nul rawwrite dd for windows version 0.5. Written by John Newbigin <jn@it.swin.edu.au> This program is covered by the GPL. See copying.txt for details TimeThis : Elapsed Time : 00:01:40.156 Filegröße 20GB: D:\>dir d:\test.nul 26.02.2010 20:09 21.474.836.480 test.nul Und hieraus ergeben sich knappe 205MB/sec an satter Schreibleistung, und das nicht roh, sondern direkt am Filesystem! Das gefällt! Bearbeitet von GrandAdmiralThrawn am 26.02.2010, 21:35
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19722	14.09.2010 - 08:58 Habe ein recht ähnliches Setup im Moment und endlich genug Zeit gehabt die alten Daten auszulagern um das RAID zu erstellen. Controller: LSI 3ware Escalade 9650SE-8LPML mit BBU-Modul Discs: 8 x Hitachi DeskStar 7K2000 Und das alles in einem kleinen schnuckeligen LianLi PC60+ Controller ist auf "Balanced" eingestellt, da im Performance-Modus die BBU abgeschalten wird und ich diese jedoch nutzen will. Die Angst Performance zu verlieren ist mir im Moment aber egal, die Leistung reicht mir für ein RAID 5 völlig
Master99 verträumter realist Registered: Jul 2001 Location: vie/grz Posts: 12689	14.09.2010 - 09:10 sowas von owned
Vinci hatin' on summer Registered: Jan 2003 Location: Wien Posts: 5823	14.09.2010 - 09:16 Kurze Frage zu diesen multi-lance Kabeln... hoff ich darf den Thread nutzen Ich hab derzeit nen Arc 1220 mit 6xSata Platten laufen, die alle einzeln via Sata Kabel am Controller hängen. Kann ich jetzt problemlos auf multi-lance Kabel umsteigen oder wars das dann mim Raid?
Viper780 Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 50094	14.09.2010 - 11:35 sehr sexy System die Hitachi platten sollen ja durch die geringe zugriffszeit sehr flott sein. also so ein Raid würd mir auch gefallen was ist der große vorteil von Raid-6 gegenüber Raid-5? EDIT: ahja habs schon, eine Paritätsplatte mehr, somit kein Datenverlust beim Ausfall von 2 platten, dafür langsamer beim schreiben und mehr CPU Leistung beim lesen. Bearbeitet von Viper780 am 14.09.2010, 11:39
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12082	14.09.2010 - 11:37 Du hast die Paritaetsdaten so ueber die Disken verteilt, dass dir zwei gleichzeitig ausfallen koennen, und das Array immer noch (degraded) funktioniert. Dafuer verlierst du halt auch zwei beteiligte Platten Nettokapzitaet.
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	14.09.2010 - 11:58 Nanana daisho...das ist ja mal ein ordentliches Raid! Betreibst du das auf deiner Windows 7 Workstation?
Turrican Legend Amiga500-Fan Registered: Jul 2002 Location: Austria,Stmk. Posts: 23260	14.09.2010 - 12:27 wow, das sind echt sehr feine werte die da erreicht werden.
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19722	14.09.2010 - 13:11 @EvilGohan: Ja, ist mein 0815 Sys Datengrab halt für sämtliche CD/DVD/BDs, ist auch nett wenn man dann davon jederzeit fernsehen und zocken kann ohne dauernd Disks wechseln zu müssen RAID 6 würde mich bei der Anzahl an Platten und deren Größe schon anlachen (statistisch gesehen wäre es aufgrund der möglichen Ausfallsrate vermutlich intelligenter), aber eine komplette Platte weg schmerzt halt auch etwas. (und mehr Festplatten passen beim besten Willen nicht mehr rein. Neben dem BD-Laufwerk sind da noch ein 5in3 Festplattenkäfig drin, am unteren vorderen Lüfter sitzen zwei Platten (ober- und unterhalb der GraKa, da gehen sich die Anschlüsse gerade noch aus) sowie im zweiten 3,5" Schacht. Im ersten ist ein 2in1 Schuber für zwei 2,5" Platten ... da hocken zwei SSDs drin auf die bald das OS migriert wird. (die aktuelle Intel G1 liegt derweil zwischen Kabeln herum ) kA ob ich die "alten" (Samsung F1) Platten verkaufe oder über einen eSATA-Käfig extern betreibe (jetzt ist der Onboard-Controller ja wieder total frei).
Viper780 Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 50094	14.09.2010 - 13:20 warum hast als Datengrab so flotte und eher laute HDDs genommen?

"Taranis" RAID-6 Array: 54.5TB (War: "Helios" RAID-6: 5.45TB + Update auf ~11TB)

Forum Index > Hardware > Komponenten > Storage & Memory

Xan

GrandAdmiralThrawn

COLOSSUS

GrandAdmiralThrawn

Umlüx

GrandAdmiralThrawn

daisho

Master99

Vinci

Viper780

COLOSSUS

EG

Turrican

daisho

Viper780