Selbstbau-NAS Probleme und Fragen...

Meiner Meinung nach ist derzeit ZFS die Wahl. Warum?

Meine Anforderungen:
Redundanz mit einer Paritätplatte (entspricht RAID5)
Open Source
Dateintegrität durch Prüfsummen gedeckt

Es gibt meines Wissens derzeit 3 Dateisysteme die Prüfsummen über die Dateien bilden soferne die Volumens redundant sind. Das sind: ReFS von Microsoft, btrfs auf Linux und ZFS.

ReFS gibts es für Windows Server (evtl Win8.1??) aber es gibt nur gespiegelte Volumes (Berichtungung falls ich falsch liege). Kein OpenSource - kommt daher für mich nicht in Frage.

btrfs ist immer noch experimentiell und RAID5,6 als testing. Siehe https://btrfs.wiki.kernel.org/index...s_filesystem.3F
Das traue ich mich nicht.

ZFS ist ausgereift, die freie Version 28 eigentlich schon "alt". Da ich etwas stabiles will und raid5 haben will, habe ich mich dafür entschieden.

Wozu Prüfsummen über die Dateien und was bringt das: Ich habe 3 Files die durch "digitalen Verschleiß" also bit-rot beschädigt wurden. OK, 3 Stk von >1Mio sind nicht viel, wenn das mp3s sind ist es egal, wenn das aber zB die ersten Bilder des neugeborenen Kindes sind ist das anders. Mit den Prüfsummen können die 3 genannten Filesystem die beschädigten Daten erkennen und reparieren. Bei raidz hat man eben eine Redundanzebene, bei raidz2 2, bei raidz3 eben 3.
edit/ Zu bit-rot gibts etliches im Netz. Gerade bei Consumer Festplatten mit Fehleraten von 1 Fehler pro 10^14 Bits (das sind knapp 12TB geschriebene Daten!!!) ist das bei heutigen Datenmengen nicht mehr so unwahrscheinlich. /edit

ZFS ist auf der Console saueinfach zu administrieren und man findet Tonnen von Howtos im Netz. Das geringste Problem auf meinem Debian Wheezy oder FreeBSD9.2 System ist das ZFS. Wenn du schonmal Samba, einen email Server oder gar bind auf Debian zum Laufen gebracht hast, machst du ZFS einhändig mit verbundenen Augen.

Auf Linux ist http://zfsonlinux.org die erste Adresse.

Warum kein ZFS: ZFS ist ja von Sun entwickelt worden die von Oracle übernommen wurden. Oracle hat ZFS zur "Verschlußssache" erklärt und Weiterentwicklungen gibts nur noch für Solaris. Ob jetzt zB Verschlüsselung und andere Features die es für Solaris gab irgendwann mal in die freie Version übergeht steht in den Sternen.
Siehe http://en.wikipedia.org/wiki/ZFS

noch ein letztes edit: ZFS und auch die anderen Filesysteme sind sehr speicherhungrig (Richtwert ZFS 1GB pro 1 TB installierten Plattenspeicher) und ECC Ram wird empfohlen. Wenn du das System selber bauen willst und ECC Ram einsetzen willst, bleibt dir nur eine alte AMD CPU (bis AM3) mit Asus Board als Billiglösung (viele Asus Consumer Boards hatten ECC Unterstützung - siehe Manuals) oder i3 (einige i3, nicht alle - siehe intel), Xeon, Opteron mit Workstation oder Serverboard.

Nur keine Sorge: RAID - egal wie auch immer realisiert - ist kein Backup. Ich hab ein komplettes Backup im Haus und die wichtigsten Daten (immerhin ~1,5TB) zusätzlich außer Haus. Aber wer garantiert, dass die Daten im Backup integer sind und nicht bereits beschädigt? Silent Data Corruption ist nämlich silent. Ich hab bisher 3 Files entdeckt - ich will nicht wissen wie viele es wirklich sind.
Datenintegrität ist für mich das wichtigste - der Rest ist mir eher wurscht und ZFS hat eigentlich außer dem Ramdurst keine wirklichen Nachteile. Kein Soft- oder HardwareRAID kann Datenintegrität sichern. Das können nur die genannten Dateisysteme.

wenn man keine ausfallsicherheit benötigt (im sinne von dauerbetrieb auch bei HDD-ausfall) halte ich raid sowieso für unnötig bzw unnötig kompliziert für den heimgebrauch, da tuts ein snapshot auch, und ZFS und diese ganzen spielchen machts doch nur noch umständlicher... imho , klar wenn man ein fertiges system wie freenas o.ä. aufsetzt fällt das ned ins gewicht weil man sich da selbst nicht viel damit beschäftigen muss(?)

snapraid z.b. speichert auch hashes und kann einzelne defekte dateien wiederherstellen.
ausser natürlich die daten ändern sich ständig, dann macht ein snapshot wenig sinn.

Um mal wieder zum Thema zurück zu kommen...

Meinen Fehlkauf, das Qnap TS-412 Nas bekomme ich scheinbar sowieso nicht los. Falsches Gerät gekauft, und dann noch zu teuer. Naja, selber schuld.

Ohne jetzt noch extra Geld zu versammeln, und dann ein Gerät sinnlos herum stehen zu haben, habe ich jetzt alles wie folgend gelöst.

Qnap TS-412 hat
4x 3TB auf Raid 5 und wird rein zum Backupen der Daten verwendet.

im PC auf dem ich die Bilder Bearbeite und den Speed brauche, habe ich 2x 3tb auf Raid0.

das Qnap dient somit als
Backup-Gerät (für PC1, Laptop#1, Laptop#2 und dem PC meiner mutter welcher per VPN daher kommt)
Printserver
VPN-Server
DL-Gerät


Die täglichen Backups sind so getimed das sie zu verschiedenen Tageszeiten passieren, nur so werden die Backupzeiten erträglich gemacht.

Zitat von spunz

Gerade beim Backup ist die Laufzeit doch egal? Du wirst ja nicht jeden Tag 20-30Gb neue Daten umkopieren?

Nö, das nicht.. Aber bis das teil abgleicht was schon gesichert ist, und was noch zu sichern ist.. Und dann das verschieben... Wenn ich von einer Hochzeit heim komme hab ich gleich mal ~100gb mehr zeug. Und das wird kommendes Jahr wohl noch mehr, weil Filmen dazu kommt.

@hachigatsu:

1. Ich muß spunz recht geben. Für das Backup muß das doch ausreichen? 100GB pro Tag sind gradmal gute 1MB/sek. Dh. selbst wenn du täglich eine 100GB Photosession hinlegst, muß das doch lockerst im Backup landen.
Imho paßt da was nicht. Poste mal wie schnell das Qnap wirklich ist.
Bei mir sind es zwar nur 20GB pro Photosession, aber die gehen sogar in ein Online Backup!
Fazit: Da ist was faul, wir könnten helfen aber du müßtest mal mit Infos rausrücken.

2. Ein RAID0 ist verlockend aber das ist sagen wir mal auch spannend. Ich nehme an, du verdienst mit den Bildern dein Geld? Dann hau doch 2 zusätzliche 3TB Platten ins System und fahr RAID10. Kostet ~230€ abzgl Mwst.

3. Ich hab 2 "Serverchen": Das alte ist ein Intel NAS mit Celeron und 512MB Ram und das schafft mit RAID5 50-70MB/sek. Mein HP N54L mit ZFS raidz und lz4 Kompression über Samba 90MB/sek (ich nehme an da ist das Limit eine der GBit Netzwerkkarten). Ich bearbeite meine Photos am Server. RAW verlustfrei kompr. 14bit aus der D700 - das sind ca 15MB pro Bild.
Filme am Server zu bearbeiten geht nicht - dafür reicht die Geschwindigkeit von Gbit imho nicht aus. Dh. dein Ansatz die Daten am PC zu belassen und automatisch auf dein NAS zu übertragen ist für dich sicher optimal. Ich würde nur die Datensicherheit am PC erhöhen und ein automatisches Backup zB robocopy drauf starten.

4. 6TB ist nicht unbedingt viel. Wenn Filme dazukommen wird das schnell explodieren. Dh. entweder du löscht Daten, oder du muß dir nächstes Jahr eine richtige Lösung überlegen (und evtl. deine Preise erhöhen).

@denne: Jeder wie er/sie/es will. Wer Daten verloren hat denkt über Backup nach, wer dann korrupte Daten im Backup hat denkt über Datensicherheit nach.

@Iinfix: ZFS ist weniger umständlich als irgendein besch..eidenes FakeRAID zusammenzuklicken oder gar ein Windows oder md RAID. Ein RAIDz (~RAID5) aus 4 Platten mit dem Namen storage:
zpool create storage raidz disk1 disk2 disk3 disk4
Und alles ist fertig. RAID, Filesystem eingerichtet und "formatiert", ... ganz schön kompliziert.

Zitat von downhillschrott

@hachigatsu:

1. Ich muß spunz recht geben. Für das Backup muß das doch ausreichen? 100GB pro Tag sind gradmal gute 1MB/sek. Dh. selbst wenn du täglich eine 100GB Photosession hinlegst, muß das doch lockerst im Backup landen.
Imho paßt da was nicht. Poste mal wie schnell das Qnap wirklich ist.
Bei mir sind es zwar nur 20GB pro Photosession, aber die gehen sogar in ein Online Backup!
Fazit: Da ist was faul, wir könnten helfen aber du müßtest mal mit Infos rausrücken.

2. Ein RAID0 ist verlockend aber das ist sagen wir mal auch spannend. Ich nehme an, du verdienst mit den Bildern dein Geld? Dann hau doch 2 zusätzliche 3TB Platten ins System und fahr RAID10. Kostet ~230€ abzgl Mwst.

3. Ich hab 2 "Serverchen": Das alte ist ein Intel NAS mit Celeron und 512MB Ram und das schafft mit RAID5 50-70MB/sek. Mein HP N54L mit ZFS raidz und lz4 Kompression über Samba 90MB/sek (ich nehme an da ist das Limit eine der GBit Netzwerkkarten). Ich bearbeite meine Photos am Server. RAW verlustfrei kompr. 14bit aus der D700 - das sind ca 15MB pro Bild.
Filme am Server zu bearbeiten geht nicht - dafür reicht die Geschwindigkeit von Gbit imho nicht aus. Dh. dein Ansatz die Daten am PC zu belassen und automatisch auf dein NAS zu übertragen ist für dich sicher optimal. Ich würde nur die Datensicherheit am PC erhöhen und ein automatisches Backup zB robocopy drauf starten.

4. 6TB ist nicht unbedingt viel. Wenn Filme dazukommen wird das schnell explodieren. Dh. entweder du löscht Daten, oder du muß dir nächstes Jahr eine richtige Lösung überlegen (und evtl. deine Preise erhöhen).

öhhh

ich weiss jetzt gerade nicht wo das Problem ist?

NAS auf Raid 5 -> secure!
Tägliches Backup - differentiell

Im HauptPC Raid0, wiels flinker als Raid 5 ist und ja sowieso aufs NAS täglich sichert. Selbst bei einem Defekt hab ich nochmal genau den selben bestand aufm NAS.

Bzgl video, das liegt noch in der schwebe... Womögliche lösche ich die zu grossen Sachen auch einfach sobald sie der Kunde erhalten hat. Das ich mir die tausenden Bilder meiner Hochzeiten behalte ist anscheinend sowieso abnormal, wenn ich da mit den Kollegen so drüber rede. Die löschen das zeug sobald ein Jahr vorbei ist. ICH KANN DAS NICHT *g*
Hab da wohl Verlustängste oder so.


Wenns Qnap zu eng wird kann ich ja bei Zeiten einfach ein weiteres Qnap ins Netz hängen. Ist ein echter vorteil bei den teilen.


5D MKIII bilder haben ~25-30mb/bild.

hab heuer relativ viele ausgaben generiert, jetzt muss i wieder a bissl sparen
5D MKIII
50mm f1.2
100D
3x 430ex
2x Laptops
NAS (was ein fehlkauf war)
nexus5
DNP DS40 drucker
und und und +g+

jetzt muss i sparen