REQ: Datengrab

Crash Override

BOfH

Registered: Jun 2005
Location: Germany
Posts: 2951

03.08.2014 - 23:36

Ohne ECC ist ZFS zu gefährlich, denn bei einem Speicherfehler würde das System bei einm Scrub alle Daten kaputtreparieren (Oder beim Lesen/Schreiben).

Ich würd mir noch das Board ansehen: http://geizhals.at/asrock-c2550d4i-a1040154.html

Die beste ZFS Performance hast du bei Omnios, da gibt es als Weboberfläche napp-it.
Nur Solarisderivate können den ZFS internen CIFS Server nutzen, die BSD Abkömmlinge brauchen Samba. Samba ist erstens deutlich langsamer und zweitens ünterstützt es keine ACL, daher kann man die Windowsberechtigungen nicht 1:1 übertragen.

master_burn

Editor
Loading . . 40% . . . 50%

Registered: Jul 2001
Location: near Quasi
Posts: 2472

04.08.2014 - 00:35

Zitat von Crash Override
Ohne ECC ist ZFS zu gefährlich, denn bei einem Speicherfehler würde das System bei einm Scrub alle Daten kaputtreparieren (Oder beim Lesen/Schreiben).

eben nicht - weil zfs mit prüfsummen arbeitet und dateisystemfehler damit ausgeschlossen sind - bei bedarf such ich dir gerne den recht umfassenden artikel dazu raus

master blue

Mr. Anderson

Registered: Oct 2000
Location: 2340, 2352, 1200
Posts: 8580

04.08.2014 - 00:50

Ich bin da defintiv bei Crash Override. ZFS bietet Schutz vor Dateisystemfehlern, jedoch nicht vor Bitflips im RAM. Eben weil ZFS mit Prüfsumme arbeitet, beginnt es bei defektem RAM lauter Datenmüll zu produzieren und korrumpiert im schlimmsten Fall alles.

Bis auf den Stromverbrauch sehe ich beim oben verlinkten Board keine Vorteile. Soviele SATA Anschlüsse werde ich niemals benötigen und preislich ist gegenüber der anderen Kombi nicht viel um. Zumal ich mit dem i3 auch noch AES Encryption machen könnte.

Bearbeitet von master blue am 04.08.2014, 00:57

master_burn

Editor
Loading . . 40% . . . 50%

Registered: Jul 2001
Location: near Quasi
Posts: 2472

04.08.2014 - 01:26

@zfs: hab nochmal nachgelesen und es ist im prinzip eh logisch.

ABER

Dass ein RAM Riegel der beim einbau nicht defekt ist (testen sollte man neuen ram immer!) dann später defekt wird ist im soho bereich quasi ausgeschlossen - dass eine festplatte ausfällt oder der blitz einschlägt ist viel wahrscheinlicher

diverse Hersteller geben den mtbf mit 300 000h an, das sind über 30 Jahre - bis dahin hat man schon mehrmals das system geupdated - ich für meinen fall hab das geld für ein serverboard und server cpu, nur damit ich ecc ram verwenden kann nicht rumliegen

InfiX

she/her

Registered: Mar 2002
Location: Graz
Posts: 14195

04.08.2014 - 01:36

Zitat von master_burn
Dass ein RAM Riegel der beim einbau nicht defekt ist (testen sollte man neuen ram immer!) dann später defekt wird ist im soho bereich quasi ausgeschlossen - dass eine festplatte ausfällt oder der blitz einschlägt ist viel wahrscheinlicher

da wär ich mir nicht so sicher:

Zitat
Studies by IBM in the 1990s suggest that computers typically experience about one cosmic-ray-induced error per 256 megabytes of RAM per month.

http://en.wikipedia.org/wiki/Cosmic..._on_electronics

...man bedenke, dass bauteile inzwischen mit deutlich kleineren prozessen gefertigt werden und damit imho wohl auch empfindlicher geworden sind.

http://lambda-diode.com/opinion/ecc-memory
http://lambda-diode.com/opinion/ecc-memory-2

Bearbeitet von InfiX am 04.08.2014, 01:42

master_burn

Editor
Loading . . 40% . . . 50%

Registered: Jul 2001
Location: near Quasi
Posts: 2472

04.08.2014 - 01:53

Geb dir in jedem Fall recht, aber wenn das wirklich so schlimm wäre und sich so gravierend auswirken würde, hätten wir alle ständig kaputte dateien - is mir noch nie untergekommen - defekte daten hatte ich immer nur durch dateisystemfehler

on topic: mblue sucht ja ein "datengrab" - also denke ich dass hier zu 90% nur gelesen wird. da sollten sich fehler in grenzen halten

aber lass ma die diskussion - ich denke mblue hat sich eh für ecc entschieden

InfiX

she/her

Registered: Mar 2002
Location: Graz
Posts: 14195

04.08.2014 - 02:09

ist mir ehrlich gesagt schon öfter untergekommen... ich speichere eigentlich fast seit beginn meiner "PC-zeit" alles was ich irgendwann mal gemacht hab und etliche bilder aus dem internet (teilweise sicher über 15 jahre alt).

würde ich heute alles durchschauen würd ich bestimt dutzende bilder mit artefakten und fehlern finden, passiert immer wieder mal, wurde ja auch schon etliche male von alten hdds auf neue kopiert und hier und da gibts halt mal unerkannte fehler.

keine ahnung wie schwer sich das auf dauer auf ein raid system auswirken kann, ich bin generell kein fan von raid und versuche meine daten so zu halten, dass wenn wirklich mal was hops geht wenigstens nur ein teil betroffen ist.

ich sehe raid nur als performance und hoch-verfügbarkeitslösung, aber keinesfalls als sicherheit aber das ist nur imho und so

.

aber @topic: ECC bringt in dem fall natürlich auch nur bedingt was weil der fehler wohl schon beim kopiervorgang vom eigenen PC aus passieren kann, das hat dann zwar keine auswirkung aufs raid, aber trotzdem kann irgendwo was korrupt sein, ohne dass man es merkt.

Bearbeitet von InfiX am 04.08.2014, 02:13

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19688

04.08.2014 - 09:47

Zitat von master_burn
Geb dir in jedem Fall recht, aber wenn das wirklich so schlimm wäre und sich so gravierend auswirken würde, hätten wir alle ständig kaputte dateien - is mir noch nie untergekommen - defekte daten hatte ich immer nur durch dateisystemfehler

So schlimm ist es zum Glück ja nicht, im Privatbereich ist so eine enorme Datensicherheit auch nicht immer notwendig.

Bei Firmenservern die 24/7/365 laufen müssen und wo ein Ausfall gleich mal -$ bedeutet, oder für korrupte Daten gehaftet werden muss ist das halt was anderes.

Ein paar umgefallene Bits quer über das Dateisystem verstreut machen ja nicht automatisch ganze Dateien kaputt. Das passiert ja nur wenn irgendwo unglücklich z.B. der Header einer Datei unbrauchbar gemacht wird. Ansonsten äußert sich das vielleicht in einem falschen Pixel in einer Bilddatei, oder einem anderen Symbol in einer Word Datei ... whatever. "Beobachtet" hätte ich es auch noch nicht, kann also nicht sagen wie tragisch das ganze wirklich ist.

master blue

Mr. Anderson

Registered: Oct 2000
Location: 2340, 2352, 1200
Posts: 8580

04.08.2014 - 10:23

Preislich ist zwischen ECC und non-ECC nicht viel um. In meinem Fall mit ITX sind es runde 200 €, je nachdem wieviel man für ein non-ECC Board ausgibt. Der RAM-Anteil dieser 200 € sind rund 40 €. Das teure ist das Board, RAM ist vernachlässigbar und CPU bedarf es auch keiner speziellen (es gibt sogar Celerons, die ECC unterstützen).
Ist man nicht auf ITX fixiert oder nimmt ein günstigeres ITX Board (z.B. http://geizhals.at/asus-p9d-i-90sb0...0-a1011305.html) sind es schon nur mehr zwischen 100 bis 150 € die ECC mehr kostet. In Anbetracht der Kosten für die restlichen Komponenten (4x 4TB) fällt das kaum ins Gewicht.

XeroXs

doh

Registered: Nov 2000
Location: Lieboch
Posts: 10331

04.08.2014 - 11:24

Prüfen eigentlich so Consumergeräte (QNAP, Synology) (regelmäßig geplant oder manuell getriggert) die Datenintegrität?

rad1oactive

knows about the birb

Registered: Jul 2005
Location: Virgo Superclust..
Posts: 12550

04.08.2014 - 13:50

afair kannst das schedulen, ja.

issue

Rock and Stone, brother!

Registered: Feb 2003
Location: Linz
Posts: 3644

04.08.2014 - 14:09

Zitat von Crash Override
Ohne ECC ist ZFS zu gefährlich, denn bei einem Speicherfehler würde das System bei einm Scrub alle Daten kaputtreparieren (Oder beim Lesen/Schreiben).

Ich würd mir noch das Board ansehen: http://geizhals.at/asrock-c2550d4i-a1040154.html

Die beste ZFS Performance hast du bei Omnios, da gibt es als Weboberfläche napp-it.
Nur Solarisderivate können den ZFS internen CIFS Server nutzen, die BSD Abkömmlinge brauchen Samba. Samba ist erstens deutlich langsamer und zweitens ünterstützt es keine ACL, daher kann man die Windowsberechtigungen nicht 1:1 übertragen.

Hast du das Board am laufen? Sieht interessant aus. Laeufts ootb mit freeNas?

InfiX

she/her

Registered: Mar 2002
Location: Graz
Posts: 14195

04.08.2014 - 14:20

Zitat von master blue
Bis auf den Stromverbrauch sehe ich beim oben verlinkten Board keine Vorteile. Soviele SATA Anschlüsse werde ich niemals benötigen und preislich ist gegenüber der anderen Kombi nicht viel um. Zumal ich mit dem i3 auch noch AES Encryption machen könnte.

der Avoton unterstützt übrigens auch AES
http://ark.intel.com/products/77982...-Cache-2_40-GHz

creative2k

Phase 2.5

Registered: Jul 2002
Location: Vienna
Posts: 8370

04.08.2014 - 14:55

Zitat von master blue
...
Welche der beiden Platten? 7200 schneller 5900, andererseits eine Deathstar...
HGST Deskstar NAS oder Seagate Surveillance
Auch nicht uninteressant: http://www.extremetech.com/extreme/...ble-hard-drives

Ich hab mir vor 1-2 Monaten 8x die 4TB Deskstar NAS Platten gekauft. Laufen jetzt nicht 24/7 aber bisher nicht ein einziges Problem. Es war nichtmal eine DOA, da hatte ich bei WD und Samsung (damals noch getrennt) weitaus schlechtere Erfahrungen wo ab und zu mal ne Platte DOA kam oder nach paar Tagen das Zeitliche segnete.

Also kurz gesagt: ich kann die Deskstar Platten bisher empfehlen. (Ausserdem haben die ehemals Hitachi Platten die geringste Ausfallrate)

Crash Override BOfH Registered: Jun 2005 Location: Germany Posts: 2951	03.08.2014 - 23:36 Ohne ECC ist ZFS zu gefährlich, denn bei einem Speicherfehler würde das System bei einm Scrub alle Daten kaputtreparieren (Oder beim Lesen/Schreiben). Ich würd mir noch das Board ansehen: http://geizhals.at/asrock-c2550d4i-a1040154.html Die beste ZFS Performance hast du bei Omnios, da gibt es als Weboberfläche napp-it. Nur Solarisderivate können den ZFS internen CIFS Server nutzen, die BSD Abkömmlinge brauchen Samba. Samba ist erstens deutlich langsamer und zweitens ünterstützt es keine ACL, daher kann man die Windowsberechtigungen nicht 1:1 übertragen.
master_burn Editor Loading . . 40% . . . 50% Registered: Jul 2001 Location: near Quasi Posts: 2472	04.08.2014 - 00:35 Zitat von Crash Override Ohne ECC ist ZFS zu gefährlich, denn bei einem Speicherfehler würde das System bei einm Scrub alle Daten kaputtreparieren (Oder beim Lesen/Schreiben). eben nicht - weil zfs mit prüfsummen arbeitet und dateisystemfehler damit ausgeschlossen sind - bei bedarf such ich dir gerne den recht umfassenden artikel dazu raus
master blue Mr. Anderson Registered: Oct 2000 Location: 2340, 2352, 1200 Posts: 8580	04.08.2014 - 00:50 Ich bin da defintiv bei Crash Override. ZFS bietet Schutz vor Dateisystemfehlern, jedoch nicht vor Bitflips im RAM. Eben weil ZFS mit Prüfsumme arbeitet, beginnt es bei defektem RAM lauter Datenmüll zu produzieren und korrumpiert im schlimmsten Fall alles. Bis auf den Stromverbrauch sehe ich beim oben verlinkten Board keine Vorteile. Soviele SATA Anschlüsse werde ich niemals benötigen und preislich ist gegenüber der anderen Kombi nicht viel um. Zumal ich mit dem i3 auch noch AES Encryption machen könnte. Bearbeitet von master blue am 04.08.2014, 00:57
master_burn Editor Loading . . 40% . . . 50% Registered: Jul 2001 Location: near Quasi Posts: 2472	04.08.2014 - 01:26 @zfs: hab nochmal nachgelesen und es ist im prinzip eh logisch. ABER Dass ein RAM Riegel der beim einbau nicht defekt ist (testen sollte man neuen ram immer!) dann später defekt wird ist im soho bereich quasi ausgeschlossen - dass eine festplatte ausfällt oder der blitz einschlägt ist viel wahrscheinlicher diverse Hersteller geben den mtbf mit 300 000h an, das sind über 30 Jahre - bis dahin hat man schon mehrmals das system geupdated - ich für meinen fall hab das geld für ein serverboard und server cpu, nur damit ich ecc ram verwenden kann nicht rumliegen
InfiX she/her Registered: Mar 2002 Location: Graz Posts: 14195	04.08.2014 - 01:36 Zitat von master_burn Dass ein RAM Riegel der beim einbau nicht defekt ist (testen sollte man neuen ram immer!) dann später defekt wird ist im soho bereich quasi ausgeschlossen - dass eine festplatte ausfällt oder der blitz einschlägt ist viel wahrscheinlicher da wär ich mir nicht so sicher: Zitat Studies by IBM in the 1990s suggest that computers typically experience about one cosmic-ray-induced error per 256 megabytes of RAM per month. http://en.wikipedia.org/wiki/Cosmic..._on_electronics ...man bedenke, dass bauteile inzwischen mit deutlich kleineren prozessen gefertigt werden und damit imho wohl auch empfindlicher geworden sind. http://lambda-diode.com/opinion/ecc-memory http://lambda-diode.com/opinion/ecc-memory-2 Bearbeitet von InfiX am 04.08.2014, 01:42
master_burn Editor Loading . . 40% . . . 50% Registered: Jul 2001 Location: near Quasi Posts: 2472	04.08.2014 - 01:53 Geb dir in jedem Fall recht, aber wenn das wirklich so schlimm wäre und sich so gravierend auswirken würde, hätten wir alle ständig kaputte dateien - is mir noch nie untergekommen - defekte daten hatte ich immer nur durch dateisystemfehler on topic: mblue sucht ja ein "datengrab" - also denke ich dass hier zu 90% nur gelesen wird. da sollten sich fehler in grenzen halten aber lass ma die diskussion - ich denke mblue hat sich eh für ecc entschieden
InfiX she/her Registered: Mar 2002 Location: Graz Posts: 14195	04.08.2014 - 02:09 ist mir ehrlich gesagt schon öfter untergekommen... ich speichere eigentlich fast seit beginn meiner "PC-zeit" alles was ich irgendwann mal gemacht hab und etliche bilder aus dem internet (teilweise sicher über 15 jahre alt). würde ich heute alles durchschauen würd ich bestimt dutzende bilder mit artefakten und fehlern finden, passiert immer wieder mal, wurde ja auch schon etliche male von alten hdds auf neue kopiert und hier und da gibts halt mal unerkannte fehler. keine ahnung wie schwer sich das auf dauer auf ein raid system auswirken kann, ich bin generell kein fan von raid und versuche meine daten so zu halten, dass wenn wirklich mal was hops geht wenigstens nur ein teil betroffen ist. ich sehe raid nur als performance und hoch-verfügbarkeitslösung, aber keinesfalls als sicherheit aber das ist nur imho und so . aber @topic: ECC bringt in dem fall natürlich auch nur bedingt was weil der fehler wohl schon beim kopiervorgang vom eigenen PC aus passieren kann, das hat dann zwar keine auswirkung aufs raid, aber trotzdem kann irgendwo was korrupt sein, ohne dass man es merkt. Bearbeitet von InfiX am 04.08.2014, 02:13
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19688	04.08.2014 - 09:47 Zitat von master_burn Geb dir in jedem Fall recht, aber wenn das wirklich so schlimm wäre und sich so gravierend auswirken würde, hätten wir alle ständig kaputte dateien - is mir noch nie untergekommen - defekte daten hatte ich immer nur durch dateisystemfehler So schlimm ist es zum Glück ja nicht, im Privatbereich ist so eine enorme Datensicherheit auch nicht immer notwendig. Bei Firmenservern die 24/7/365 laufen müssen und wo ein Ausfall gleich mal -$ bedeutet, oder für korrupte Daten gehaftet werden muss ist das halt was anderes. Ein paar umgefallene Bits quer über das Dateisystem verstreut machen ja nicht automatisch ganze Dateien kaputt. Das passiert ja nur wenn irgendwo unglücklich z.B. der Header einer Datei unbrauchbar gemacht wird. Ansonsten äußert sich das vielleicht in einem falschen Pixel in einer Bilddatei, oder einem anderen Symbol in einer Word Datei ... whatever. "Beobachtet" hätte ich es auch noch nicht, kann also nicht sagen wie tragisch das ganze wirklich ist.
master blue Mr. Anderson Registered: Oct 2000 Location: 2340, 2352, 1200 Posts: 8580	04.08.2014 - 10:23 Preislich ist zwischen ECC und non-ECC nicht viel um. In meinem Fall mit ITX sind es runde 200 €, je nachdem wieviel man für ein non-ECC Board ausgibt. Der RAM-Anteil dieser 200 € sind rund 40 €. Das teure ist das Board, RAM ist vernachlässigbar und CPU bedarf es auch keiner speziellen (es gibt sogar Celerons, die ECC unterstützen). Ist man nicht auf ITX fixiert oder nimmt ein günstigeres ITX Board (z.B. http://geizhals.at/asus-p9d-i-90sb0...0-a1011305.html) sind es schon nur mehr zwischen 100 bis 150 € die ECC mehr kostet. In Anbetracht der Kosten für die restlichen Komponenten (4x 4TB) fällt das kaum ins Gewicht.
XeroXs doh Registered: Nov 2000 Location: Lieboch Posts: 10331	04.08.2014 - 11:24 Prüfen eigentlich so Consumergeräte (QNAP, Synology) (regelmäßig geplant oder manuell getriggert) die Datenintegrität?
rad1oactive knows about the birb Registered: Jul 2005 Location: Virgo Superclust.. Posts: 12550	04.08.2014 - 13:50 afair kannst das schedulen, ja.
issue Rock and Stone, brother! Registered: Feb 2003 Location: Linz Posts: 3644	04.08.2014 - 14:09 Zitat von Crash Override Ohne ECC ist ZFS zu gefährlich, denn bei einem Speicherfehler würde das System bei einm Scrub alle Daten kaputtreparieren (Oder beim Lesen/Schreiben). Ich würd mir noch das Board ansehen: http://geizhals.at/asrock-c2550d4i-a1040154.html Die beste ZFS Performance hast du bei Omnios, da gibt es als Weboberfläche napp-it. Nur Solarisderivate können den ZFS internen CIFS Server nutzen, die BSD Abkömmlinge brauchen Samba. Samba ist erstens deutlich langsamer und zweitens ünterstützt es keine ACL, daher kann man die Windowsberechtigungen nicht 1:1 übertragen. Hast du das Board am laufen? Sieht interessant aus. Laeufts ootb mit freeNas?
InfiX she/her Registered: Mar 2002 Location: Graz Posts: 14195	04.08.2014 - 14:20 Zitat von master blue Bis auf den Stromverbrauch sehe ich beim oben verlinkten Board keine Vorteile. Soviele SATA Anschlüsse werde ich niemals benötigen und preislich ist gegenüber der anderen Kombi nicht viel um. Zumal ich mit dem i3 auch noch AES Encryption machen könnte. der Avoton unterstützt übrigens auch AES http://ark.intel.com/products/77982...-Cache-2_40-GHz
creative2k Phase 2.5 Registered: Jul 2002 Location: Vienna Posts: 8370	04.08.2014 - 14:55 Zitat von master blue ... Welche der beiden Platten? 7200 schneller 5900, andererseits eine Deathstar... HGST Deskstar NAS oder Seagate Surveillance Auch nicht uninteressant: http://www.extremetech.com/extreme/...ble-hard-drives Ich hab mir vor 1-2 Monaten 8x die 4TB Deskstar NAS Platten gekauft. Laufen jetzt nicht 24/7 aber bisher nicht ein einziges Problem. Es war nichtmal eine DOA, da hatte ich bei WD und Samsung (damals noch getrennt) weitaus schlechtere Erfahrungen wo ab und zu mal ne Platte DOA kam oder nach paar Tagen das Zeitliche segnete. Also kurz gesagt: ich kann die Deskstar Platten bisher empfehlen. (Ausserdem haben die ehemals Hitachi Platten die geringste Ausfallrate)

REQ: Datengrab

Forum Index > Hardware > Komponenten > Storage & Memory

Crash Override

master_burn

master blue

master_burn

InfiX

master_burn

InfiX

daisho

master blue

XeroXs

rad1oactive

issue

InfiX

creative2k