RAID 5 Stripe Size / NTFS Block Size

.dcp

notamodbuthot

Registered: Jul 2002
Location: new
Posts: 8881

02.06.2009 - 16:08

ich hab zwar schon google bemüht, aber es scheiden sich die geister an der frage. da verlass ich mich lieber auf erfahrungsberichte von oc.at'lern

meine 4x1,5TB wd green sind gestern gekommen. diese sollen als raid 5 im fileserver zusammengeschlossen werden. os ist server2008 (64bit)

die dateien sind zu 85% größer 100MB.

die frage: welche stripe und block sizes soll ich verwenden? NTFS hat standardmäßig 4kb afair. als stipe size fürs raid5 werden meist 128kb vorgeschlagen.

einfach so lassen? performance ist mir nicht sooo wichtig, da eh nur übers gbit netzwerk auf die files zugegriffen wird (60mb/s reichen schon dicke).
nur zuviel platz will ich natürlich auch nicht verschenken (sollte wegen der masse an sehr großen dateien aber nicht das problem sein, denke ich).

tia
.dcp

Bearbeitet von .dcp am 03.06.2009, 09:11

semteX

begehrt die rostschaufel

Registered: Oct 2002
Location: Pre
Posts: 14594

02.06.2009 - 16:11

als ob die paar kb das kraut fett machn => mit 128 machst sicher nix falsch, zu klein ist halt eher deppat

.dcp

notamodbuthot

Registered: Jul 2002
Location: new
Posts: 8881

02.06.2009 - 16:46

nix für ungut, aber solche kommentare sind nicht hilfreich (und wahrscheinlich auch nicht auf fundiertes wissen zurückzuführen).

dass es "das kraut nicht fett macht", mag ja sein, das sehe ich ähnlich. aber es wäre einfach mal schön zu wissen, was "richtig" wäre. und etwas richtig zu machen schadet nie

ENIAC

Do you Voodoo

Registered: Sep 2003
Location: Klosterneuburg
Posts: 1761

02.06.2009 - 17:07

Also wenn du viele kleine Dateien, etwa MS Office Dateien (doc, xls udgl...) oder kleinere Textfiles abspeichern willst ist es anzuraten, eine kleinere Stripe Size zu wählen! -> Diese kleinere Stripe Size bewirkt, dass die Zugriffsgeschwindigkeit für kleinere Files erhöht wird und bezweckt außerdem, dass nicht unnötig Speicherplatz verschwendet wird!

Bsp.: Wennst 128kb einstellst und ein Word Dokument mit 20kb abspeicherst nimmt das Dokument 128kb anstatt 20kb ein!!!

Für deine Zwecke (große Dateien wie Videos und udgl.) ist eine größere Stripe Size anzuraten! Erstens fällt es, wie schon gesagt wurde, nicht ins Gewicht (Speicherplatzverschwendung) und zweitens erhöhst bzw. optimierst du die sequenzielle Lesegeschwindigkeit!

Fazit: Ich rate dir eine Stripe Size von 64 oder 128kb zu verwenden.

hth
Rene

Viper780

Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 49945

02.06.2009 - 17:09

"richtig" gibts nicht.

es ist immer ein kompromiss zw. verschenkten Platz und Geschwindigkeit und je nach Anwendung und Daten erreichst du irgend wann mal ein Plateau.

mit 128kb machst nix falsch, 512kb werden auch nicht schaden

Smut

Moderator
takeover &amp; ether

Registered: Feb 2003
Location: VIE
Posts: 16837

02.06.2009 - 17:58

würde auch 128kb nehmen aufgrund der größe des RAIDs, die restore time fällt auch kürzer aus als wenn du 64kb blöcke nimmst. persönlich würde ich eher die 64kb nehmen, hab aber mehr kleinere files.

Indigo

raub_UrhG_vergewaltiger

Registered: Mar 2001
Location: gigritzpotschn
Posts: 6690

02.06.2009 - 18:10

first of all: stripe size != block size

generell tendiert man dazu die stripe size so groß wie möglich zu machen (erhöht grundsätzlich die geschwindigkeit bei sequenziellen übertragungen) und die filesystem block size würde ich anhand der darauf zu speichernden daten wählen (kleine files --> kleinere blocks, überwiegend große files --> große blocks)

Smut

Moderator
takeover &amp; ether

Registered: Feb 2003
Location: VIE
Posts: 16837

02.06.2009 - 18:23

welche blocksize würdest dann für ntfs vorschlagen wenn man eine stripsize von z.b. 128k hernimmt und davon ausgeht, dass die meisten files 100mb haben? default hat man bei NTFS ca. 4k, was ja ansich nicht schlecht ist, da ohnehin auf filesystem ebene keine parität berechnet/geschrieben werden muss.

Indigo

raub_UrhG_vergewaltiger

Registered: Mar 2001
Location: gigritzpotschn
Posts: 6690

02.06.2009 - 18:25

wenn ich weis ich hab vorwiegend 100MB files dann nehm ich als blocksize das grösste das ich einstellen kann

.dcp

notamodbuthot

Registered: Jul 2002
Location: new
Posts: 8881

02.06.2009 - 22:39

ich brauche das system ja nicht so bald produktiv, da mein alter server noch läuft.

wenn jemand konkrete vorschläge hat, wüde ich auch verschiedene settings testen, bei 6tb wird das builden aber etwas länger dauern

also standard wären:
Stripe / Cluster
128kb / 4kb

dann würde ich noch testen:

512kb / 64kb
256kb / 32kb

ich hab in einem forum gelesen, dass disk director von acronis verschiedene clustergrößen simulieren kann und anzeigt, wie viel platz auf dem laufwerk verloren/gewonnen werden könnte, mit unterschiedlichen clustergrößen. werd ich auch mal ausprobieren.

danke erstmal an alle.

hab mit disk director mal die lage gecheckt:

von daher wärs mir schon egal, ob ich jez 1,5gb oder 10gb an die clustersize verliere.

edit2: ich habs doch richtig verstanden: ntfs clustersize wirkt sich hauptsächlich auf den nutzbaren speicherplatz aus, weniger auf die performance. die abstahierte stripesize des arrays hat nur einen einfluss auf die performance, nicht auf den overhead beim speichern von daten?

Bearbeitet von .dcp am 02.06.2009, 23:13

.dcp

notamodbuthot

Registered: Jul 2002
Location: new
Posts: 8881

03.06.2009 - 09:27

Zitat von ENIAC
Also wenn du viele kleine Dateien, etwa MS Office Dateien (doc, xls udgl...) oder kleinere Textfiles abspeichern willst ist es anzuraten, eine kleinere Stripe Size zu wählen! -> Diese kleinere Stripe Size bewirkt, dass die Zugriffsgeschwindigkeit für kleinere Files erhöht wird und bezweckt außerdem, dass nicht unnötig Speicherplatz verschwendet wird!

Bsp.: Wennst 128kb einstellst und ein Word Dokument mit 20kb abspeicherst nimmt das Dokument 128kb anstatt 20kb ein!!!

laut diesem forenpost ist das eben nicht der fall:

http://storageadvisors.adaptec.com/...ht-stripe-size/

Zitat
Smaller stripes sizes will definitely NOT affect drive space. Heck, the OS doesn’t even know that striping is occuring (assuming it’s happening on a hardware RAID card) so there’s no way that it could affect drive space. I suppose that someone like Microsoft could write RAID code that was tightly integrated into the filesystem, but as far as I know that hasn’t happened.

So, to your question, no, having a 4KB file (for example) residing on part of one stripe does not preclude a different file from residing on the remaining part of the stripe.

Indigo

raub_UrhG_vergewaltiger

Registered: Mar 2001
Location: gigritzpotschn
Posts: 6690

03.06.2009 - 09:38

Zitat von .dcp
edit2: ich habs doch richtig verstanden: ntfs clustersize wirkt sich hauptsächlich auf den nutzbaren speicherplatz aus, weniger auf die performance. die abstahierte stripesize des arrays hat nur einen einfluss auf die performance, nicht auf den overhead beim speichern von daten?

you got it!

.dcp

notamodbuthot

Registered: Jul 2002
Location: new
Posts: 8881

03.06.2009 - 11:01

gut, dann werde ich zu großen stripe/clustergrößen greifen. testen werd ich aber 2-3 verschiedene settings, wenn ich zeit habe

danke schonmal

EG

thinking with portals

Registered: May 2004
Location: 11**
Posts: 3918

03.06.2009 - 11:06

Würd mich freuen, wenn du Benchmarks über das Raid machen könntest mit den Unterschiedlichen Block/Stripe-Größen.

Welchen Controller verwendest du?

.dcp

notamodbuthot

Registered: Jul 2002
Location: new
Posts: 8881

03.06.2009 - 11:10

es hat leider nur für einen hostcontroller ohne eigenen prozzi gereicht

cpu ist ein e1400 (2x2ghz)

http://geizhals.at/deutschland/a209002.html

.dcp notamodbuthot Registered: Jul 2002 Location: new Posts: 8881	02.06.2009 - 16:08 ich hab zwar schon google bemüht, aber es scheiden sich die geister an der frage. da verlass ich mich lieber auf erfahrungsberichte von oc.at'lern meine 4x1,5TB wd green sind gestern gekommen. diese sollen als raid 5 im fileserver zusammengeschlossen werden. os ist server2008 (64bit) die dateien sind zu 85% größer 100MB. die frage: welche stripe und block sizes soll ich verwenden? NTFS hat standardmäßig 4kb afair. als stipe size fürs raid5 werden meist 128kb vorgeschlagen. einfach so lassen? performance ist mir nicht sooo wichtig, da eh nur übers gbit netzwerk auf die files zugegriffen wird (60mb/s reichen schon dicke). nur zuviel platz will ich natürlich auch nicht verschenken (sollte wegen der masse an sehr großen dateien aber nicht das problem sein, denke ich). tia .dcp Bearbeitet von .dcp am 03.06.2009, 09:11
semteX begehrt die rostschaufel Registered: Oct 2002 Location: Pre Posts: 14594	02.06.2009 - 16:11 als ob die paar kb das kraut fett machn => mit 128 machst sicher nix falsch, zu klein ist halt eher deppat
.dcp notamodbuthot Registered: Jul 2002 Location: new Posts: 8881	02.06.2009 - 16:46 nix für ungut, aber solche kommentare sind nicht hilfreich (und wahrscheinlich auch nicht auf fundiertes wissen zurückzuführen). dass es "das kraut nicht fett macht", mag ja sein, das sehe ich ähnlich. aber es wäre einfach mal schön zu wissen, was "richtig" wäre. und etwas richtig zu machen schadet nie
ENIAC Do you Voodoo Registered: Sep 2003 Location: Klosterneuburg Posts: 1761	02.06.2009 - 17:07 Also wenn du viele kleine Dateien, etwa MS Office Dateien (doc, xls udgl...) oder kleinere Textfiles abspeichern willst ist es anzuraten, eine kleinere Stripe Size zu wählen! -> Diese kleinere Stripe Size bewirkt, dass die Zugriffsgeschwindigkeit für kleinere Files erhöht wird und bezweckt außerdem, dass nicht unnötig Speicherplatz verschwendet wird! Bsp.: Wennst 128kb einstellst und ein Word Dokument mit 20kb abspeicherst nimmt das Dokument 128kb anstatt 20kb ein!!! Für deine Zwecke (große Dateien wie Videos und udgl.) ist eine größere Stripe Size anzuraten! Erstens fällt es, wie schon gesagt wurde, nicht ins Gewicht (Speicherplatzverschwendung) und zweitens erhöhst bzw. optimierst du die sequenzielle Lesegeschwindigkeit! Fazit: Ich rate dir eine Stripe Size von 64 oder 128kb zu verwenden. hth Rene
Viper780 Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 49945	02.06.2009 - 17:09 "richtig" gibts nicht. es ist immer ein kompromiss zw. verschenkten Platz und Geschwindigkeit und je nach Anwendung und Daten erreichst du irgend wann mal ein Plateau. mit 128kb machst nix falsch, 512kb werden auch nicht schaden
Smut Moderator takeover &amp; ether Registered: Feb 2003 Location: VIE Posts: 16837	02.06.2009 - 17:58 würde auch 128kb nehmen aufgrund der größe des RAIDs, die restore time fällt auch kürzer aus als wenn du 64kb blöcke nimmst. persönlich würde ich eher die 64kb nehmen, hab aber mehr kleinere files.
Indigo raub_UrhG_vergewaltiger Registered: Mar 2001 Location: gigritzpotschn Posts: 6690	02.06.2009 - 18:10 first of all: stripe size != block size generell tendiert man dazu die stripe size so groß wie möglich zu machen (erhöht grundsätzlich die geschwindigkeit bei sequenziellen übertragungen) und die filesystem block size würde ich anhand der darauf zu speichernden daten wählen (kleine files --> kleinere blocks, überwiegend große files --> große blocks)
Smut Moderator takeover &amp; ether Registered: Feb 2003 Location: VIE Posts: 16837	02.06.2009 - 18:23 welche blocksize würdest dann für ntfs vorschlagen wenn man eine stripsize von z.b. 128k hernimmt und davon ausgeht, dass die meisten files 100mb haben? default hat man bei NTFS ca. 4k, was ja ansich nicht schlecht ist, da ohnehin auf filesystem ebene keine parität berechnet/geschrieben werden muss.
Indigo raub_UrhG_vergewaltiger Registered: Mar 2001 Location: gigritzpotschn Posts: 6690	02.06.2009 - 18:25 wenn ich weis ich hab vorwiegend 100MB files dann nehm ich als blocksize das grösste das ich einstellen kann
.dcp notamodbuthot Registered: Jul 2002 Location: new Posts: 8881	02.06.2009 - 22:39 ich brauche das system ja nicht so bald produktiv, da mein alter server noch läuft. wenn jemand konkrete vorschläge hat, wüde ich auch verschiedene settings testen, bei 6tb wird das builden aber etwas länger dauern also standard wären: Stripe / Cluster 128kb / 4kb dann würde ich noch testen: 512kb / 64kb 256kb / 32kb ich hab in einem forum gelesen, dass disk director von acronis verschiedene clustergrößen simulieren kann und anzeigt, wie viel platz auf dem laufwerk verloren/gewonnen werden könnte, mit unterschiedlichen clustergrößen. werd ich auch mal ausprobieren. danke erstmal an alle. hab mit disk director mal die lage gecheckt: von daher wärs mir schon egal, ob ich jez 1,5gb oder 10gb an die clustersize verliere. edit2: ich habs doch richtig verstanden: ntfs clustersize wirkt sich hauptsächlich auf den nutzbaren speicherplatz aus, weniger auf die performance. die abstahierte stripesize des arrays hat nur einen einfluss auf die performance, nicht auf den overhead beim speichern von daten? Bearbeitet von .dcp am 02.06.2009, 23:13
.dcp notamodbuthot Registered: Jul 2002 Location: new Posts: 8881	03.06.2009 - 09:27 Zitat von ENIAC Also wenn du viele kleine Dateien, etwa MS Office Dateien (doc, xls udgl...) oder kleinere Textfiles abspeichern willst ist es anzuraten, eine kleinere Stripe Size zu wählen! -> Diese kleinere Stripe Size bewirkt, dass die Zugriffsgeschwindigkeit für kleinere Files erhöht wird und bezweckt außerdem, dass nicht unnötig Speicherplatz verschwendet wird! Bsp.: Wennst 128kb einstellst und ein Word Dokument mit 20kb abspeicherst nimmt das Dokument 128kb anstatt 20kb ein!!! laut diesem forenpost ist das eben nicht der fall: http://storageadvisors.adaptec.com/...ht-stripe-size/ Zitat Smaller stripes sizes will definitely NOT affect drive space. Heck, the OS doesn’t even know that striping is occuring (assuming it’s happening on a hardware RAID card) so there’s no way that it could affect drive space. I suppose that someone like Microsoft could write RAID code that was tightly integrated into the filesystem, but as far as I know that hasn’t happened. So, to your question, no, having a 4KB file (for example) residing on part of one stripe does not preclude a different file from residing on the remaining part of the stripe.
Indigo raub_UrhG_vergewaltiger Registered: Mar 2001 Location: gigritzpotschn Posts: 6690	03.06.2009 - 09:38 Zitat von .dcp edit2: ich habs doch richtig verstanden: ntfs clustersize wirkt sich hauptsächlich auf den nutzbaren speicherplatz aus, weniger auf die performance. die abstahierte stripesize des arrays hat nur einen einfluss auf die performance, nicht auf den overhead beim speichern von daten? you got it!
.dcp notamodbuthot Registered: Jul 2002 Location: new Posts: 8881	03.06.2009 - 11:01 gut, dann werde ich zu großen stripe/clustergrößen greifen. testen werd ich aber 2-3 verschiedene settings, wenn ich zeit habe danke schonmal
EG thinking with portals Registered: May 2004 Location: 11** Posts: 3918	03.06.2009 - 11:06 Würd mich freuen, wenn du Benchmarks über das Raid machen könntest mit den Unterschiedlichen Block/Stripe-Größen. Welchen Controller verwendest du?
.dcp notamodbuthot Registered: Jul 2002 Location: new Posts: 8881	03.06.2009 - 11:10 es hat leider nur für einen hostcontroller ohne eigenen prozzi gereicht cpu ist ein e1400 (2x2ghz) http://geizhals.at/deutschland/a209002.html

RAID 5 Stripe Size / NTFS Block Size

Forum Index > Hardware > Komponenten > Storage & Memory

.dcp

semteX

.dcp

ENIAC

Viper780

Smut

Indigo

Smut

Indigo

.dcp

.dcp

Indigo

.dcp

EG

.dcp