Encrypted LVM over Raid5 - Seite 2

Seite 2 von 4 - Forum: Linux and other OS auf overclockers.at

URL: https://www.overclockers.at/linux/encrypted_lvm_over_raid5_213573/page_2 - zur Vollversion wechseln!

EG schrieb am 28.01.2010 um 23:46

Ah... :rolleyes: :bash:

Natürlich...eh vollkommen logisch

Hier mal ohne Cache:

Code:

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test1gb of=/dev/null
2097152+0 DatensÃ¤tze ein
2097152+0 DatensÃ¤tze aus
1073741824 Bytes (1,1 GB) kopiert, 3,27652 s, 328 MB/s

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test1gb of=/dev/null
2097152+0 DatensÃ¤tze ein
2097152+0 DatensÃ¤tze aus
1073741824 Bytes (1,1 GB) kopiert, 3,23793 s, 332 MB/s

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test1gb of=/dev/null
2097152+0 DatensÃ¤tze ein
2097152+0 DatensÃ¤tze aus
1073741824 Bytes (1,1 GB) kopiert, 3,24094 s, 331 MB/s

Also ich bin grad schwer beeindruckt von den Werten und äußerst zufrieden.

330MByte/s sind ein ausgezeichneter Wert für ein Raid5 imho.

edit: Der write

Code:

1GB File erstellen
root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb3 bs=1000k count=1024
1024+0 DatensÃ¤tze ein
1024+0 DatensÃ¤tze aus
1048576000 Bytes (1,0 GB) kopiert, 7,46874 s, 140 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb4 bs=1000k count=1024
1024+0 DatensÃ¤tze ein
1024+0 DatensÃ¤tze aus
1048576000 Bytes (1,0 GB) kopiert, 2,1931 s, 478 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb5 bs=1000k count=1024
1024+0 DatensÃ¤tze ein
1024+0 DatensÃ¤tze aus
1048576000 Bytes (1,0 GB) kopiert, 2,08506 s, 503 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb6 bs=1000k count=1024
1024+0 DatensÃ¤tze ein
1024+0 DatensÃ¤tze aus
1048576000 Bytes (1,0 GB) kopiert, 6,74904 s, 155 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb7 bs=1000k count=1024
1024+0 DatensÃ¤tze ein
1024+0 DatensÃ¤tze aus
1048576000 Bytes (1,0 GB) kopiert, 7,02901 s, 149 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb7 bs=1000k count=1024
1024+0 DatensÃ¤tze ein
1024+0 DatensÃ¤tze aus
1048576000 Bytes (1,0 GB) kopiert, 2,23494 s, 469 MB/s

Hier sind die Ergebnisse teilweise sehr verschieden...frag mich woher diese große Abweichung kommt?

COLOSSUS schrieb am 28.01.2010 um 23:58

Ich wuerde auf jeden Fall mit Samplegroeszen testen, die die Groesze deines Arbeitsspeichers um ein Vielfaches uebersteigen. Den VFS-Cache gibt es ja auch fuer writes; die Daten werden erst dann tatsaechlich auf das Medium rausgeschrieben, wenn ein pdflush-Kernelthread es fuer genehm erachtet.

deftenski schrieb am 29.01.2010 um 00:04

nur so als Richtwert: ich hatte mit 3 F1 1000GB im Raid5 knapp 200MB/s aufs LV, aufs cryptdevice (aes-xts-plain) noch ~65MB/s (CPU ist ein Athlon 64 3500+)

EG schrieb am 29.01.2010 um 00:14

Ok also das sind Welten. Dafür, dass in diversen "Fachforen" von kaum merk- und messbaren Geschwindigkeitseinbußen geredet wird...

Hab jetzt mal deinen Rat angeommen und 8GB-Files zum "Benchen" verwendet. Diese sind 1. doppelt so groß wie mein Arbeitsspeicher und 2. auch gleich ein guter Test für reale Bedingungen!

Hier mal die Reads:

Code:

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test8gb of=/dev/null
16384000+0 DatensÃ¤tze ein
16384000+0 DatensÃ¤tze aus
8388608000 Bytes (8,4 GB) kopiert, 25,4301 s, 330 MB/s
root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test8gb of=/dev/null
16384000+0 DatensÃ¤tze ein
16384000+0 DatensÃ¤tze aus
8388608000 Bytes (8,4 GB) kopiert, 25,2653 s, 332 MB/s
root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test8gb of=/dev/null
16384000+0 DatensÃ¤tze ein
16384000+0 DatensÃ¤tze aus
8388608000 Bytes (8,4 GB) kopiert, 25,1732 s, 333 MB/s

Ganz klar die Stärke des Raids....sogar um ca. 30MB/s schneller als deine Werte Colo?

Dafür komm ich write nicht and deine 270MB/s ran!

Code:

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test8gb bs=1024k count=8000
8000+0 DatensÃ¤tze ein
8000+0 DatensÃ¤tze aus
8388608000 Bytes (8,4 GB) kopiert, 42,5629 s, 197 MB/s
root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test8gb2 bs=1024k count=8000
8000+0 DatensÃ¤tze ein
8000+0 DatensÃ¤tze aus
8388608000 Bytes (8,4 GB) kopiert, 40,4076 s, 208 MB/s
root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test8gb3 bs=1024k count=8000
8000+0 DatensÃ¤tze ein
8000+0 DatensÃ¤tze aus
8388608000 Bytes (8,4 GB) kopiert, 41,2809 s, 203 MB/s

edit: Weil meine Softwareschutz und Urheberrechtsklausur morgen mich grad garned anschaut auch noch der hdparm Benchmark:

Code:

root@filer:/mnt/lvmraid5# hdparm -tT /dev/lvm-raid/lvm0

/dev/lvm-raid/lvm0:
 Timing cached reads:   2648 MB in  2.00 seconds = 1323.58 MB/sec
 Timing buffered disk reads:  954 MB in  3.03 seconds = 314.46 MB/sec
root@filer:/mnt/lvmraid5# hdparm -tT /dev/lvm-raid/lvm0

/dev/lvm-raid/lvm0:
 Timing cached reads:   2754 MB in  2.00 seconds = 1376.72 MB/sec
 Timing buffered disk reads:  958 MB in  3.00 seconds = 319.19 MB/sec
root@filer:/mnt/lvmraid5# hdparm -tT /dev/lvm-raid/lvm0

/dev/lvm-raid/lvm0:
 Timing cached reads:   2726 MB in  2.00 seconds = 1363.18 MB/sec
 Timing buffered disk reads:  952 MB in  3.01 seconds = 316.60 MB/sec

COLOSSUS schrieb am 29.01.2010 um 09:32

Zitat von EvilGohan
Ok also das sind Welten. Dafür, dass in diversen "Fachforen" von kaum merk- und messbaren Geschwindigkeitseinbußen geredet wird...

Dort geht man ja meistens von vergleichsweise langsamen Storage-Backends aus - wenn du auf eine einzige Platte oder RAID1 schreibst, ist es ja nicht so tragisch, wenn du statt 100MiB/s nur noch 90MiB/s durchkriegst. Wenn du statt 250MiB/s nur noch 90MiB durchkriegst - das ist schon deutlich aergerlicher. Insgesamt ist das alles aber eh nicht so tragisch, weil der GBit-Uplink ziemlich sicher der limitierende Faktor wird. Mehr als 125MiB/s Durchsatz sind nur Zierde bzw. Reserve nach oben - und mit dem entsprechenden Cipher (neue Intel Core-CPUs z. B. haben ja AES-Hardwarebeschleunigungseinheiten mit dabei) sind diese wohl auch mit LUKS zu knacken.

Zitat von EvilGohan
Hab jetzt mal deinen Rat angeommen und 8GB-Files zum "Benchen" verwendet. Diese sind 1. doppelt so groß wie mein Arbeitsspeicher und 2. auch gleich ein guter Test für reale Bedingungen!
[…]
Ganz klar die Stärke des Raids....sogar um ca. 30MB/s schneller als deine Werte Colo?
[…]

Jo, wenn du meine Tipps befolgt hast, ist dieses Verhalten auch zu erwarten

Wie genau die Geschwindigkeitsunterschiede im Detail zu Stande kommen, ist schwer zu sagen - es gibt einfach zu viele beeinflussende Faktoren (angefangen von der Kernelkonfiguration und -version - das macht oft mehr aus als man meinen moechte - bis hin zum Acoustic Management der verwendeten Platten, etc.). Jedenfalls kannst du mit deinem Durchsatz zufrieden sein, wuerde ich sagen

DJ_FedAss schrieb am 27.02.2010 um 21:27

Nachdem ich auch ein RAID5 System habe und gerade Performanceoptimierungen durchführe brauch ich eure Hilfe.

Derzeit habe ich 8x500Gb Samsung Platten verteilt über 1 PCI, 1PCIe und Onboard Controller angeschlossen.
Ich hab jetzt noch 2 Anschlüsse frei die ich zum Raid erweitern nutzen kann.

Performancemässig bin ich auf 120Mb, bzw. 20-30Mb über CIFS. (Dateisystem ist ext3)

Meine Frage, limitieren mich die Platten oder etwas anderes? (CPU A64 3500+)
Gibt es eine andere Möglichkeit die Daten schneller auf Windows Rechner zu bringen?

Ist es klug mit den beiden 500er Platten das Array zu resizen oder sollte ich eine größere HDD anhängen?
Problem ist, dass ich physikalisch an dem System keine Platten mehr dranhängen kann wenn die beiden 500er eingebunden sind.

Sollte ich bzw. kann ich beim Dateisystem Performance rausholen oder sollte ich auf ein anderes umsteigen?

Auf dem Array liegen hauptsächlich größere Dateien (ISOs) aber auch Fotos und Mp3s.

COLOSSUS schrieb am 27.02.2010 um 21:32

CIFS ist bei mir auch saulahm, mit den CIFS-Clients aus dem Linux-Kernel und Windows XP Pro komme ich nicht ueber 30MiB/s. smbclient aus Samba 3.4.6 schafft maximal 60MiB/s bei meinem Setup (NFS4: ~115MiB/s). Ich fuerchte es geht einfach nicht (viel) schneller.

Um mir die anderen Fragen jetzt ausreichend durch den Kopf gehen zu lassen bin ich gerade viel zu schlimm vollgegessen und muede, sorry

DJ_FedAss schrieb am 27.02.2010 um 21:46

smb unter xp und win7 macht soweit ich das jetzt sehe keinen Performanceunterschied.

nfs4 mit win7 geht ja nicht oder?

Ja verdau mal in Ruhe, hat ja keinen Stress ;-)

COLOSSUS schrieb am 27.02.2010 um 21:49

Windows 7 (ab Professional) hat angeblich einen NFS4-tauglichen NFS-Client mit dabei, mangels Lizenz fuer dieses Betriebssystem konnte ich das bisher aber weder verifizieren noch testen. Wenn du das kannst, lass mich bitte von den Ergebnissen erfahren!

userohnenamen schrieb am 27.02.2010 um 21:53

ein Dienst für NFS kann auf jeden Fall nachinstalliert werden, mehr kann ich dazu jetzt aber leider ned beitragen mangels fehlendem NFS

DJ_FedAss schrieb am 28.02.2010 um 14:38

Ich denke heute ist die Macht nicht mit mir.
Brings weder unter Linux noch unter Windows zusammen.

Am Windows Hobel hab ich folgenden Error:

Am Netbook (Ubuntu 9.10 Netbook Edition)schreibt er mir:

mount.nfs4: No such device.

Bin nach dem HowTo von dieser Seite vorgegangen:

https://help.ubuntu.com/community/NFSv4Howto

NFS Server ohne Kerberos (Dienst startet ohne zu meckern)

Wo hab ich den Hund drinnen?

COLOSSUS schrieb am 28.02.2010 um 14:53

Was gibt dir denn `exportfs -v` auf dem NFS-Server?
Was gibt dir `showmount -e dein-fs-server-hier`, wenn du es auf einem der potentiellen Clients ausfuehrst?

DJ_FedAss schrieb am 28.02.2010 um 15:16

Weiß weder ob das gut oder schlecht ist :-)

COLOSSUS schrieb am 28.02.2010 um 16:36

Du versuchst deinen exports eh auf dem Rechner zu mounten, der auf seinem LAN-Interface die 192.168.1.100 gebunden hat, richtig?

(PS: Bitte in Zukunft text pasten, keine Screenshots anhaengen.)

DJ_FedAss schrieb am 28.02.2010 um 16:49

Hat die IP auf dem WLAN Interface, funktioniert aber über LAN genausowenig.

Hab auch schon die ganze Range unter /etc/exports aufgenommen.

Leider ohne Erfolg.