Master99
verträumter realist
|
Hat jemand hier Erfahrungen mit prof. SAN/iSCSI Storage-Systemen?
Ich hab hier zwei HP P2000 G3 die mittels 2x10GBit einen ML350 füttern. der zweite P2000 ist via 2xSAS in den Controller des ersten P2000 verbunden... beide Raid6 Verbunde (12x3TB) werden dann mittels iSCSI in den Win2008r2 Server eingebunden und über SMB/CIFS weiter im Netz geshared.
Allerdings ist die Performance nicht wirklich da wo sie IMHO sein müsste (<200MB/s bei großen sequentiellen Dateien) und vor allem unkonstant.
Wenn ich z.b. direkt am Server vom ersten RAID aufs zweite kopiere bekomm ich ne Kopierrate von 150-200MByte/s, andersrum aber nur rd. 70MByte/s. Das kuriose ist, dass sich das ganze alle paar Stunden dreht und es dann genau umgedreht sein kann bei gleichem Testfile also auf einmal ist die eine Richtung schnell und die andere langsam
als Testfile dienen mehrere GB ( > 7GB ) große Videofiles, Caching kanns also eher nicht sein.
Einzige Verbindung zum Server zu den Testaugenblicken ist ne RDP-Verbindung.
A) was kanns da haben? B) sollte die Peak-Performance nicht ohnehin um einiges besser sein bei so einer Hardware? das Raid6 wird wohl ordentlich runterziehen, aber wenn ich mir anschaue, dass ich mit nem mobo, softwareraid und 5 platten >300MB/s schaffe sollte das hier wohl auch drinnen sein oder? oder zumindest konstante 200 wären ja auch schon ein anfang....
Bearbeitet von Master99 am 27.03.2013, 12:45
|
Master99
verträumter realist
|
'lustigerweise' bekomme ich von nem clientrechner (per gbit anbunden) konstantere ergebnisse... da hab ich immer egal ob drauf lesend oder schreibend (auf ein volume versteht sich) meist >= 100 MB/s
wohingegen ich bei nem kopiervorgang zwischen den beiden enclosures gerade auf heiße 55 MB/s komme. ist der controller so lahm?
Bearbeitet von Master99 am 27.03.2013, 17:39
|
davebastard
Vinyl-Sammler
|
bei sowas wirds ja einen support vertrag geben => bei hp nachfragen
hab selber nur erfahrungen mit emc
|
Master99
verträumter realist
|
ja die herren die uns das verkauft haben kommen eh morgen ins haus... allerdings ist mein vertrauen in ihre kompetenz nicht unendlich groß.
mir fehlt selber aber das wissen damit ich das ganze objektiv beurteilen kann. deswegen würd ich gerne mal wissen was überhaupt realistische ansprüche an so ein system wären.
und hp selber macht nicht wirklich angaben auf der hompage (bzw. ist die hompage ohnehin so unübersichtlich, das es schwer ist da überhaupt irgendwas nützliches zu finden)
|
Smoldi
rape diem
|
Du solltest dir mit 12x3TB nicht zuviel erwarten was die Performance angeht. Ich hab hier ein 10x2TB RAID6 (über SAS angebunden) bei der Hand und komme auf ~200MB schreibend und ~300MB lesend (sequentiell). Die größeren Platten machen das nicht unbedingt besser. Von HP gibts anscheinend ein Performance Tool, vielleicht kriegst du da ein paar Metriken raus. Sind "die Herren" von HP Techniker oder die Verkäufer? Wie ich das erlebt habe, kannst du die Sales-Typen gleich wieder heimschicken und einen Techniker verlangen
|
davebastard
Vinyl-Sammler
|
mich verwundern halt die 55mb/s das ist schon recht wenig imho.
|
Smoldi
rape diem
|
Ist halt die Frage was genau da limitiert. Das RAID6 an sich kanns ja wohl kaum sein. Bei einer Kopie von Enclosure zu Enclosure fährt er, soweit ich das verstanden habe: Enclosure#2 --> SAS --> Enclosure #1 --> iSCSI --> Host --> iSCSI --> Enclosure #1 --> SAS --> Enclosure #2 .
Ich könnte mir schon vorstellen, dass da der Hund irgendwo dazwischen begraben liegt, aber mit iSCSI hab ich keine Erfahrung. Mich irritiert auch, dass sich das anders verhält, wenn #1 auf #2 oder umgekehrt kopiert.
|
Master99
verträumter realist
|
thx, hab das tool gerade mal laufen gelassen, aber das zeigt wie befürchtet nicht wirklich was an weil auf dem controller noch eine alte firmware von 2011 rennt und das performance-monitoring erst mit ner späteren version eingeführt worden ist. ist das z.b. normal das ein vdisk scrub täglich läuft und dabei 20h braucht? hp schreibt was von einer 'run in background' möglichkeit, die gibts aber in der firmware auch nicht. priority des scrubs steht btw. auf high.... im best practice steht weiters das man für video streaming die caching-einstellungen anpassen soll, steht aber auf default. so 'kleinigkeiten' spiegeln halt den gesamteindruck wieder den ich von der ganzen IT geschichte hier habe. es steht zwar massenhaft ordentliches zeug da, aber so wirklich stimmig konfiguriert ist das IMHO nicht. weder server noch clients wurden auf video bzw. große datenmengen optimiert (superchunks...). statt in den switches ein paar regeln zu definieren um zwei netzwerke + management zu trennen gibts für ne handvoll an endgeräten 3 verschiedene physikalische netze.... überwachung / monitoring null... ich tu mir halt schwer das ganze zu überblicken und zu beurteilen, weil es einfach zusammen mit dem (imho) unübersichtlichen server2008r2 und den zig hp tools (auf die ich nur teilweise zugriff habe) und eigenheiten ein unheimlich weitreichendes und komplexes thema ist. meine kernaufgabe in dem betrieb hat btw. eigentlich nichts mit IT administration zu tun... aber unser 'admin' ist halt gelernter fließenleger und hat von vielen dingen oft noch weniger plan als ich *lol* @ 55MB/s: ja das will mir nicht eingehen an was das liegen kann... innerhalb von ein paar stunden ändert sich das einfach dramatisch ohne das irgendwer sonst auf die daten/server zugreift, siehe screenshots wenn das zweite chassis (E) das per SAS am controller des ersten (D) langsamer wäre könnt ichs ja verstehen (hardwaretechnische limitierungen z.b.), aber es WECHSELT alle paar stunden.  die herren sind btw. morgen sowohl der techniker der uns betreut als auch ein verkäufer/systemplaner.
Bearbeitet von Master99 am 27.03.2013, 18:47
|
davebastard
Vinyl-Sammler
|
Ich könnte mir schon vorstellen, dass da der Hund irgendwo dazwischen begraben liegt, aber mit iSCSI hab ich keine Erfahrung. Mich irritiert auch, dass sich das anders verhält, wenn #1 auf #2 oder umgekehrt kopiert. die iscsi verbindung verwendet doch die 2 x 10 GBit afaik. sicher wirds verluste geben aber nicht soviel dass da nicht mal mehr ein 1 GBit über bleibt. sollen sich einfach die hp typen anschauen und wenns die nicht wissen, dann sollens einen techniker fragen. edit: wenn die iscsi verbindung nur 1 GBit verwendet würd das erklären warums 55mb/s sind. 2*55*8 = 880MBit edit2: doch ned weil dann dürft es nicht manchmal schneller sein
Bearbeitet von davebastard am 27.03.2013, 18:54
|
Master99
verträumter realist
|
Ist halt die Frage was genau da limitiert. Das RAID6 an sich kanns ja wohl kaum sein. Bei einer Kopie von Enclosure zu Enclosure fährt er, soweit ich das verstanden habe: Enclosure#2 --> SAS --> Enclosure #1 --> iSCSI --> Host --> iSCSI --> Enclosure #1 --> SAS --> Enclosure #2 .
Ich könnte mir schon vorstellen, dass da der Hund irgendwo dazwischen begraben liegt, aber mit iSCSI hab ich keine Erfahrung. Mich irritiert auch, dass sich das anders verhält, wenn #1 auf #2 oder umgekehrt kopiert. fast, wenn ich vom zweiten aufs erste was kopiere ist der datenfluss laut meinem verständnis: Enclosure#2 --> SAS --> Enclosure #1 --> iSCSI --> Host --> iSCSI --> Enclosure #1 die iSCSI verbindung vom controller von enclosure #1 ist 2x10GBit. und mit weiteren 2x10GBit gehts dann weiter zum Switch (HP ProCurve 24x) ... dann weiter per GBit auf die restlichen clients die bis zu 110MB schaffen (lesend und schreibend)
Bearbeitet von Master99 am 27.03.2013, 18:53
|
Smoldi
rape diem
|
Mein Ratschlag: Renn! Permanent scrubben ist auch nicht normal. Das wirkt sich normal verheerend auf die Performance aus. Schau, dass du jemanden von HP ans Rohr kriegst, die sollen das richten. Ich würde so eine IT-Infrastruktur nicht angreifen, wenn sie nicht in deinen Verantwortungsbereich fällt. edit: Ahja ich hab von #2 auf #2 kopiert  Würde aber auch SAS und iSCSI ausschließen und mich auf den Controller konzentrieren. Klingt als wäre der suboptimal konfiguriert.
Bearbeitet von Smoldi am 27.03.2013, 18:58
|
Master99
verträumter realist
|
wegrennen, ja wenn es so einfach wäre.... bin vom chef beauftragt worden das ganze ein wenig zu überblicken und ein konzept (ausgehend von der anwendungsseite) für datenzugriff/verwaltung usw. zu entwickeln. (ist ein audio- und videopostproduktionsbetrieb)
und weil es eben nicht rund läuft muss ich jetzt tiefer graben....
ich hab ja ein gutes überblickswissen, weiß was hardware- und softwaretechnisch möglich ist.... aber was mir fehlt ist eben detailwissen wie man das ganze genau konfiguriert.
wenn ich jetzt also wen anderen hol zur betreuung hab ich nen riesen aufwand und erst nicht die sicherheit nicht den nächsten wappler zu engagieren.
werd mich mal direkt an hp wenden...
ich hab gerade innerhalb vom enclosure #1 (also was DIREKT am server hängt) was kopiert, da schaff ich grad heiße 70MB/s
innerhalb enclosure #2 (also mit 2x SAS strecken dazwischen) sinds 200MB/s.
SAS und iSCSI kann ich also wirklich abhaken.
Bearbeitet von Master99 am 27.03.2013, 19:16
|
Master99
verträumter realist
|
ich werd mir morgen mit dem techniker gleich mal controller vornehmen... hab in der doku zu den neuen versionen ein paar punkte gesehen die hier mit rein spielen könnten. wollt da nur nichts ohne absprache mit dem techniker machen...
werde dann berichten.
|
Crash Override
BOfH
|
Ganz ehrlich: Die werte sind eine Katastrophe. Ich habe bei uns gerade ein Backupserver aufgebaut aus den Teilen: http://geizhals.at/eu/?cat=WL-266206Als Betriebssystem kommt OmniOS zum Einsatz und die Platten Sind als RAIDZ3 konfiguriert mit Hot Spare. Also 8 Datenplatten plus 3 für Redundanz. Da es sich um einen Backupserver handelt sind die IOs fast irrelevant und entsprechen denen einer einzelnen Platte. Sequentiell kann dieser Server intern aber mit über 1GB/s schreiben und mit ca. 2GB/s lesen. Da nur 2 Gbit Netzwerkkarten vorhanden sind und die Leitung zu den Rechenzentren, in denen die VMWare Farm steht die hier gesichert wird nur 1Gbit breit ist komme ich per NFS nur auf ca. 120MB/s aber gleichzeitig lesend und schreibend.
|
davebastard
Vinyl-Sammler
|
Ganz ehrlich: Die werte sind eine Katastrophe. Ich habe bei uns gerade ein Backupserver aufgebaut aus den Teilen: http://geizhals.at/eu/?cat=WL-266206
Als Betriebssystem kommt OmniOS zum Einsatz und die Platten Sind als RAIDZ3 konfiguriert mit Hot Spare. Also 8 Datenplatten plus 3 für Redundanz. Da es sich um einen Backupserver handelt sind die IOs fast irrelevant und entsprechen denen einer einzelnen Platte. Sequentiell kann dieser Server intern aber mit über 1GB/s schreiben und mit ca. 2GB/s lesen. Da nur 2 Gbit Netzwerkkarten vorhanden sind und die Leitung zu den Rechenzentren, in denen die VMWare Farm steht die hier gesichert wird nur 1Gbit breit ist komme ich per NFS nur auf ca. 120MB/s aber gleichzeitig lesend und schreibend. das selbst aufbauen oft schneller ist, ist aber kein geheimnis. nur in den wenigsten business umgebungen macht das wirklich sinn. meistens kauft man halt doch lieber alles aus einer hand wegen dem wartungsvertrag und der garantie.
|