"Taranis" RAID-6 Array: 54.5TB (War: "Helios" RAID-6: 5.45TB + Update auf ~11TB)

So schlimm finde ich die gar nicht. Hauptgrund war eigentlich der Preis, weil sie damals die günstigsten 2-TB-Disks waren und dabei auch noch schnell.

So, 5 Jahre später geht's jetzt weiter.

Da ich dieses Mal mehr als eine Verdoppelung der Kapazität und den 3ware 9650SE-8LPML aus Leistungsgründen auch ned mehr weiternutzen wollte, stand ein kompletter Neubau an, der jetzt schon das ganze 2015er Jahr in Anspruch genommen hat, so ganz langsam über die Zeit alles zusammengekauft.

Zudem hat der 3ware/LSI/Avago Controller ja mittlerweile nicht nur 3 Firmen gesehen die ihn mit Software versorgen sollten, jetzt ist er auch endgültig EOL.

Traditionell wechselt bei einem Controllertausch auch der Name des Blockdevices, beim Promise SuperTrak PATA RAID-5 noch "Polaris", bei den zwei 3ware Arrays "Helios" wird es jetzt zu "Taranis", in Anlehnung an ein EVE Online Quote zum gleichnamigen nach einem keltischen Gott benannten Interceptor:

The taranis is a ship for angry men or people who prefer to deal in absolutes. None of that cissy boy, "we danced around a bit, shot some ammo then ran away LOL", or, "I couldn't break his tank so I left", crap. It goes like this:

You fly Taranis. A fight starts. Someone dies.
-Ein Taranis Pilot

Aus Platzgründen mußte damit nach über 15 Jahren treuen Dienstes auch der EYE-2020 Panzer weichen, selbiger wurde durch einen Lian-Li PC-A79B ersetzt. Da hab ich Mal einen Geschmack davon bekommen, was für ein lächerlicher WITZ Aluminium eigentlich im Vergleich zu ordentlichem, dickem Stahl ist. Aber gut, es wurde einfach Zeit für bessere Belüftung und endlich Mal ein Kabelmanagement, daß seinen Namen auch verdient hat.

Den Tower hab ich eh anderorts schon gepostet, aber hier nochmal, der schön noctuafizierte PC A-79B für's DAS Storage, außen zuerst:


(Der Tower ist mit einem Teac FD-CR8 bestückt, also echtes FDD+Kartenleser, dazu drei Blu-Ray Brenner für paralleles BD Ripping und 4 x Chieftec SST-2131SAS Hotswap Bays für in Summe 12 Einschübe)

Die Chieftec SST-2131SAS wurden hier gewählt, weil's in Verbindung mit einem Areca RAID Controller Error Reporting per Front-LED zulassen, ein Feature, das ich unbedingt wollte. Hier nicht auf I²C Basis, sondern mit einfach LED Kathodenheadern. Der Controller kann ja beides. Aber zuerst mehr vom Aufbau, hier ein paar frühe Pix:


(Die Bays wurden mit Noctua NF-A8 FLX bestückt, und wir sehen ein mit 2GB Intel SLC bestücktes Flash Battery Backupmodul mit 22 Farad Kapazität, das Areca ARC-1883BA-T100 bzw. ARC-1883-CAP, bereits am ARC-1883ix-12 angeschlossen)

Mehr Interieur in einer ebenso noch früheren Phase des Baus:


(Ein Xeon X5690 sitzt hier unter einem Noctua NH-D15, die Graka ist hier nur eine Mockup-580er Classified Ultra von SVGA, Netzteil ein per USB überwachbares Corsair AX1200i)


(Angle Shots)


(So sieht der massive Kabelsalat hinten aus, und das Netzteil wurde mit einem extra Stahlnetzgitter präpariert, damit keine Schrauben reinfallen können; Es saugt von oben an, damit ich den lästig zu wartenden Filter im Boden nicht dauernd putzen muß)

Hintern:


(Damit kein Staub durch offene Bereiche angesaugt werden kann, und damit alle Luft durch Filter gezwungen wird, wurden alle entsprechenden Öffnungen isoliert)

Seitenwand:


(Auch hier nur Noctuas, mit ultrafeinen Filtern von Silverstone, da geht kein Korn durch, und die Schlitze zwischen Lüfterrahmen und Metall wurden wie schon bei den Bays und Casefans isoliert, damit keine Luft von der Seite innen angesaugt wird)

Das wichtige war es für mich dann, daß die Disks in Zukunft nicht würden verstauben können. Ich hab' nämlich am Aufstellort eine relativ hohe Staubbelastung, daher gehen die Bays so wie sie daherkommen gar nicht:


(Die Chieftec SST-2131SAS ist zwar gut verarbeitet, schön aus Stahl und mit stabilen Trays, aber sie ist auch löchrig wie Schwein. Für einen gefilterten und klimatisierten Serverraum passt das, für meine Anwendung eine Katastrophe)

Daher mußte da richtig Arbeit reingesteckt werden, ich habe mich hier für Stahlnetzfilter mit 0.2mm Maschenweite und 0.12mm Drahtstärke entschieden, gibt's als Meterware:


(Stahlnetzfilter zur Einbringung in die SST-2131SAS, Münzen zum Größenvergleich, mit bloßem Auge ist das Netz aus geschätzt 30-50cm nicht mehr als solches erkennbar)

Zerlegt ist so ein Tray leider kein leichter Kandidat für Filterbestückungen, weil er in mehrere Kammern aufgeteilt ist (die Filter sollten innen rein), wofür ich zuallererst Schablonen anfertigen mußte, um konstante Qualität beim Ausschneiden der Stahlnetze sicherzustellen:


(Direkt groß sind die Kammern nicht, das würde grade im Falle von Stahlnetz eine arge Futzlerei werden. Die Schablonen machen's deutlich einfacher, schneller und streßfreier)

Und so sieht die Arbeit aus:


(Das Einsetzen der Filter war eine haarsträubende und extrem zeitraubende Arbeit. Die Netze dürfen nie zu groß sein, weil es sich sonst wölben würde, zu klein geht logischerweise auch nicht. Hier war Präzision im Sub-mm-Bereich gefragt)

Am Anfang war die Paßgenauigkeit noch nicht zu 100% perfekt, das wurde dann besser je mehr Trays ich abgearbeitet habe, aber auch bei Tray #1 war das Resultat halbwegs passabel. Die Gitter wurden btw. mittels Superkleber verklebt. Das ist lösbar genug und hält dennoch hinreichend:


(Eingesetzte Filter)

Von vorne und zusammengebaut:


(Eingesetzte Filter)

Natürlich waren nicht nur die Trays zu "befiltern", sondern auch der Rest der Bay, das sah dann so aus, hier noch in einem nicht ganz perfekten Erstversuch:


(Filtereinsatz und Klebstoffaushärtung für die Frames der Bays selbst)

Das Endprodukt des mehrtägigen Blödsinns sieht dann im Falle einer der vier Bays so aus:


(Eine fertig mit Stahlnetzfiltern bestückte SST-2131SAS Hotplug Bay)

Ajo, wird Zeit über den Controller selbst zu reden, es handelt sich um einen Areca ARC-1883ix-12 mit FBM Modul, ausgestattet mit 2GB DDR-III/1866 ECC Cache. Als XOR RAID Engine dient ein auf 1.2GHz getakteter PowerPC 476 Dualcore Chip, der mehr als schnell (und jo: auch heiß!) genug ist:


(Der Areca ARC-1883ix-12 ist mit einem relativ großen Kühlkörper bestückt, da vor allem der hoch getaktete PPC476 und der 12Gbps SAS Expanderchip ordentlich heizen)

Die Wahl fiel aus mehrfachen Gründen auf diesen Controller, von denen ich einige kurz aufzählen möchte:

• Ethernet Port für Out-of-Band Management, unabhängig vom OS: Webserver direkt am Controller integriert! Daher keine Management Software nötig, nur ein winziger Treiber!
• Status-/Error-LED Kathodenheader für Error Reporting an der Bay
• SAS/12Gbps und SATA/6Gbps Support, zudem PCIe 3.0, 2.0 und 1.1
• Sehr guter Support für zig Betriebssysteme inkl. NT 5.1 SCSIPort und NT 5.2 StorPort, Linux, BSD, Solaris usw.
• Ordentlich Leistung (bis aufs Areca Multiarrayproblem, aber das kümmert mich nicht)
• Keine künstlichen HDD Größenlimitierungen, sondern einfach volles 64-bit LBA
• 4Kn Support
• Quelloffener Treiber und API für Programmierer

Der API ist es im übrigen auch zu verdanken, daß Zugriffe auf S.M.A.R.T. kein Problem darstellen müssen, in SmartMonTools ist das schon länger implementiert und funktioniert auch sauber, hier zu sehen anhand einer kurz angeschlossenen Seagate Cheetah SAS Disk:


(Ein neueres smartctl bzw. ein entsprechender Daemon kann ohne Probleme auf einzelne Disks am Areca ARC-1883ix-12 zugreifen, auch das war ein Kaufargument)

Zwecks der Gaudi hatte ich Mal 12 Stück Seagate Cheetah 15k.6 bzw. 15k.7 von der Arbeit drin, die durfte ich mir dankenswerterweise leihen.

Leider hat sich dabei ein massives Problem gezeigt, entweder mit den Bays oder der schnell zurechtgestoppelten Stromverkabelung, es kam im speziellen in einem Tray zu ständigem Powerdown/-up einer Disk, manchmal erwischte es auch eine weitere Disk. Bei intensiven Tests ließ sich das Problem in reduzierter Form auch in einer weiteren Bay nachstellen.

Selbst in Idle waren nicht ganz logische Aktivitäten (Köpfe "zucken" rum?!) bei den Disks bemerkbar. Benchmarks waren in reduzierter Form mit 11 statt 12 Disks dennoch möglich, wenn auch mit tlw. kurzen Aussetzern.

Getestet wurde während Init, normal, und bei RAID-6 im degraded Mode mit 2 gezogenen Disks. Das ganze mit 4k, 64k und 1M Blockgrößen rein sequentiell, was meinem Nutzungsprofil entspricht, sind natürlich nur schnelle vorab-Tests. RAID-0 Tests mit 8 Disks + Write sind dabei, weil die jemand in einem anderen Forum wollte.

RAID-0: (zwecks da Gaudi, ohne 4k Writes, weil HDTune Pro dabei crashte)


(RAID-0 mit 8 Cheetah 15k Disks, 64kiB Stripe Blocksize, v.l.n.r.: 4k, 64k HDTune default und 1M Reads)


(RAID-0 mit 8 Cheetah 15k Disks, 64kiB Stripe Blocksize, v.l.n.r.: 64k, 512k HDTune Pro default und 1M Writes)

RAID-6 Normalbetrieb:


(RAID-6 mit 11 Cheetah 15k Disks, 64kiB Blocksize, v.l.n.r.: 4k, 64k HDTune default, 1M Reads)

RAID-6 während der Hintergrundinitialisierung des Arrays:


(RAID-6 während Init mit 11 Cheetah 15k Disks, 64kiB Blocksize, v.l.n.r.: 4k, 64k HDTune default, 1M Reads)

RAID-6 im 2-Disk degraded Mode:


(RAID-6 bei 2 "defekten" Platten mit 11 Cheetah 15k Disks, 64kiB Blocksize, v.l.n.r.: 4k, 64k HDTune default, 1M Reads)

Mit den Hitachi UltraStar 7K6000 kommen Ergebnisse dann erst später. Trotz der Probleme lasse ich den RAID-6 Array mit denen grade syncen, die "Hänger" sind bei denen weit weniger offensichtlich und problematisch als bei den Cheetahs. Vielleicht doch was mit'm Strom...

Der Sync dauert jedenfalls, aber ich habe dem Trumm (weil's ja im Hintergrund synced) bereits per diskpart eine ordentlich ausgerichtete GPT Partition verpaßt und selbige verschlüsselt und mit NTFS formatiert, mit 16kiB Blockgröße wegen des Adressraums (2³² × 16 / 1073741824 = 64TiB Adressraum, grade genug für den 54.5TiB Array).

Leider war ich doch nicht motiviert genug wie geplant auf FreeBSD UNIX umzusteigen (die Faulheit ist eine Dreckssau), aber jo, so irgendwie schauts halt aus in meinem "wohlgereiften" OS:


(NTFS Verschlüsselung/EFS, Kompression und Defrag funktionieren bei dieser Blockgröße leider nicht mehr, da ist ja ab 4kiB Schluß, wird aber wohl auch nicht mehr gebraucht)

So, das wär's Mal. Jetzt bleibt abzusehen ob das Powerproblem verschwindet wenn Mal alles sauber und ohne zig Y-Stecker verkabelt ist. Aktuell gehts ja nicht anders, weil beide Arrays zugleich angeschlossen sind.

Sieht man hier zwar nicht "richtig", weil die Disks da noch ned drin sind, aber vorstellen kann man sich das schon Mal:



20 Platten, 1 SSD, 3 BDs und ein FDD auf einmal, dafür hat auch das dicke Corsair zuwenig Anschlüsse, daher die Y-Stecker *******erei.

Heiß laufen tun die Disks da drin auch ned zu knapp, bei ~29°C Raumtemperatur zum Test sehe ich da bis zu 54°C an den Disks via S.M.A.R.T., das wird noch ein Spaß werden bei der irren Packdichte, da kann ja nigendwo Luft zwischen den Platten durch.

Na Mal sehen wie's weitergeht, jetzt sync ich den Mist Mal zu Ende, dann kommt rsync+diff dran was die Datenmigration angeht, und dann schaun wir Mal weiter wegen Stabilität und Benchmarks...

Edit: Ajo, Bilder der 6TB HGST Ultrastar 7K6000 SAS/12Gbps gibt's auch erst später. Wen's interessiert: Ich habe die Disks gewählt, weil ich Seagate ned traue, und Hitachis Helium irgendwie erst recht nicht. Also "klassische" 5-Platter airfilled Disks mit 10 Köpfen. Im Prinzip die selbe Technik, die ich mit den 8 1TB 7K1000 Deskstars und den 8 2TB A7K2000 Ultrastars auch schon drin hatte und habe..

Nice

Zitat von GrandAdmiralThrawn

Ajo, Bilder der 6TB HGST Ultrastar 7K6000 SAS/12Gbps gibt's auch erst später. Wen's interessiert: Ich habe die Disks gewählt, weil ich Seagate ned traue, und Hitachis Helium irgendwie erst recht nicht. Also "klassische" 5-Platter airfilled Disks mit 10 Köpfen. Im Prinzip die selbe Technik, die ich mit den 8 1TB 7K1000 Deskstars und den 8 2TB A7K2000 Ultrastars auch schon drin hatte und habe..

Ich glaub das war nicht die schlechteste Entscheidung

12 x 6TB
holy mothership of storage

ich finds geil


ich hoffe dass dir bei den temperaturen die platten nicht aussteigen. bei mir in der firma sterben die (zugegeben seagates) wie die fliegen...

seagate, oder seagate nicht.. naja, wo sterben seagates NICHT wie fliegen?

ich hatte erst diesen sommer wieder einen ausfall in meinem privatserver zu beklagen (4x 3TB Barracudas). und auch in der dicken EMC in der firma stecken seagates von denen alle paar monate mal eine die segel streicht...

dafür sinds halt meistens (nicht immer) billig. hab mich mit GAT eh schon zur genüge darüber unterhalten. die alternative zu teuren HGST platten wäre es, einfach seagates im 20er pack zu kaufen und die ausfälle hinzunehmen

Holy Shit.
Wieviel kostet dich das ganze Projekt, hast du ungefähre Zahlen?

Glaub ich sollte mein NAs mit der 2GB WPlatte auch mal gegen was Neues tauschen.

ahja GAT das hatte ich vergessen:

Zitat von userohnenamen

zeit is es worden mal wieder was krankes von dir zu lesen