Encrypted LVM over Raid5

Ah...

Natürlich...eh vollkommen logisch

Hier mal ohne Cache:

Code:

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test1gb of=/dev/null
2097152+0 Datensätze ein
2097152+0 Datensätze aus
1073741824 Bytes (1,1 GB) kopiert, 3,27652 s, 328 MB/s

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test1gb of=/dev/null
2097152+0 Datensätze ein
2097152+0 Datensätze aus
1073741824 Bytes (1,1 GB) kopiert, 3,23793 s, 332 MB/s

root@filer:/mnt/lvmraid5# sync; echo 3 > /proc/sys/vm/drop_caches
root@filer:/mnt/lvmraid5# dd if=test1gb of=/dev/null
2097152+0 Datensätze ein
2097152+0 Datensätze aus
1073741824 Bytes (1,1 GB) kopiert, 3,24094 s, 331 MB/s

Also ich bin grad schwer beeindruckt von den Werten und äußerst zufrieden.

330MByte/s sind ein ausgezeichneter Wert für ein Raid5 imho.

edit: Der write

Code:

1GB File erstellen
root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb3 bs=1000k count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1048576000 Bytes (1,0 GB) kopiert, 7,46874 s, 140 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb4 bs=1000k count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1048576000 Bytes (1,0 GB) kopiert, 2,1931 s, 478 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb5 bs=1000k count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1048576000 Bytes (1,0 GB) kopiert, 2,08506 s, 503 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb6 bs=1000k count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1048576000 Bytes (1,0 GB) kopiert, 6,74904 s, 155 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb7 bs=1000k count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1048576000 Bytes (1,0 GB) kopiert, 7,02901 s, 149 MB/s

root@filer:/mnt/lvmraid5# dd if=/dev/zero of=test1gb7 bs=1000k count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1048576000 Bytes (1,0 GB) kopiert, 2,23494 s, 469 MB/s

Hier sind die Ergebnisse teilweise sehr verschieden...frag mich woher diese große Abweichung kommt?

nur so als Richtwert: ich hatte mit 3 F1 1000GB im Raid5 knapp 200MB/s aufs LV, aufs cryptdevice (aes-xts-plain) noch ~65MB/s (CPU ist ein Athlon 64 3500+)

Zitat von EvilGohan

Ok also das sind Welten. Dafür, dass in diversen "Fachforen" von kaum merk- und messbaren Geschwindigkeitseinbußen geredet wird...

Dort geht man ja meistens von vergleichsweise langsamen Storage-Backends aus - wenn du auf eine einzige Platte oder RAID1 schreibst, ist es ja nicht so tragisch, wenn du statt 100MiB/s nur noch 90MiB/s durchkriegst. Wenn du statt 250MiB/s nur noch 90MiB durchkriegst - das ist schon deutlich aergerlicher. Insgesamt ist das alles aber eh nicht so tragisch, weil der GBit-Uplink ziemlich sicher der limitierende Faktor wird. Mehr als 125MiB/s Durchsatz sind nur Zierde bzw. Reserve nach oben - und mit dem entsprechenden Cipher (neue Intel Core-CPUs z. B. haben ja AES-Hardwarebeschleunigungseinheiten mit dabei) sind diese wohl auch mit LUKS zu knacken.

Zitat von EvilGohan

Hab jetzt mal deinen Rat angeommen und 8GB-Files zum "Benchen" verwendet. Diese sind 1. doppelt so groß wie mein Arbeitsspeicher und 2. auch gleich ein guter Test für reale Bedingungen!
[…]
Ganz klar die Stärke des Raids....sogar um ca. 30MB/s schneller als deine Werte Colo?
[…]

Jo, wenn du meine Tipps befolgt hast, ist dieses Verhalten auch zu erwarten Wie genau die Geschwindigkeitsunterschiede im Detail zu Stande kommen, ist schwer zu sagen - es gibt einfach zu viele beeinflussende Faktoren (angefangen von der Kernelkonfiguration und -version - das macht oft mehr aus als man meinen moechte - bis hin zum Acoustic Management der verwendeten Platten, etc.). Jedenfalls kannst du mit deinem Durchsatz zufrieden sein, wuerde ich sagen

CIFS ist bei mir auch saulahm, mit den CIFS-Clients aus dem Linux-Kernel und Windows XP Pro komme ich nicht ueber 30MiB/s. smbclient aus Samba 3.4.6 schafft maximal 60MiB/s bei meinem Setup (NFS4: ~115MiB/s). Ich fuerchte es geht einfach nicht (viel) schneller.

Um mir die anderen Fragen jetzt ausreichend durch den Kopf gehen zu lassen bin ich gerade viel zu schlimm vollgegessen und muede, sorry

Windows 7 (ab Professional) hat angeblich einen NFS4-tauglichen NFS-Client mit dabei, mangels Lizenz fuer dieses Betriebssystem konnte ich das bisher aber weder verifizieren noch testen. Wenn du das kannst, lass mich bitte von den Ergebnissen erfahren!

Ich denke heute ist die Macht nicht mit mir.
Brings weder unter Linux noch unter Windows zusammen.

Am Windows Hobel hab ich folgenden Error:



Am Netbook (Ubuntu 9.10 Netbook Edition)schreibt er mir:

mount.nfs4: No such device.

Bin nach dem HowTo von dieser Seite vorgegangen:

https://help.ubuntu.com/community/NFSv4Howto

NFS Server ohne Kerberos (Dienst startet ohne zu meckern)

Wo hab ich den Hund drinnen?

Weiß weder ob das gut oder schlecht ist :-)

Hat die IP auf dem WLAN Interface, funktioniert aber über LAN genausowenig.

Hab auch schon die ganze Range unter /etc/exports aufgenommen.

Leider ohne Erfolg.