Share mirroring (with extra steps)
TOM 13.07.2023 - 12:41 2794 7
TOM
Super ModeratorOldschool OC.at'ler
|
Ahoi Folgende challenge: Datashare1 soll auf Datashare2 gespiegelt werden (mehrfach täglich) Datashare2 soll dabei Daten 'backupen' (14 Tage lang files die auf Datashare1 bereits gelöscht wurden, weiter vorhalten) Datashare2 soll bei Ausfall von Datashare1 ein 'drop-in-replacement' sein Es handelt sich um eine Größenordnung von ~150TB an Daten. Die shares laufen mit xfs (Debian/Linux Server) Beide Shares befinden sich im selben Rechenzentrum, aber auf unterschiedlichen Hosts. Es braucht eine Lösung wo die Daten 1:1 (unverschlüsselt/unkomprimiert/nicht in einem Dump o.ä.) am Datashare2 liegen, für's drop-in-replacement Nachdem alles in einem RZ läuft, ist Verschlüsselungsmagie oder supertolle Transportkompression nicht so wichtig. Wichtig wäre eine robuste Lösung, welche aber auch potenzial für Monitoring liefert... Löst man sowas tendenziell über rsync script Magie, oder wäre das ein Fall für rclone oder andere bereits erfundene Tools? Hab grad bisschen dazu recherchiert, aber denke der Anwendungsfall sollte kein allzu seltener sein, da sollt's doch schon einen guten best-practice dazu geben. https://en.wikipedia.org/wiki/Compa...zation_softwarethanks in advance
|
nexus_VI
Overnumerousness!
|
|
spunz
Super ModeratorSuper Moderator
|
smb, nfs,...? Super simpel ist ganz klar rsync. Da gibts auch für für praktisch jede Monitoring Lösungen einen passenden Logfilter der die gängien Probleme abdeckt.
Bei +100Tb würde ich langfristig eher was wie zfs anstreben, damit umgeht man diverse Probleme mit locked files usw. Damit kannst du auch die gewünschten Backups recht einfach abdecken.
|
Viper780
Er ist tot, Jim!
|
Ich mach sowas ähnliches aber als Filesystem nutze ich ZFS
Mit zfs send und zfs receive übertrage ich Snapshots. Da ich die Snapshots nur alle 3 Monate aufräume kann ich so lange auch zurück in den Daten.
xfs sollte mit deren dump Mechanismus was ähnliches können - kenn mich damit aber zu wenig aus
rclone wäre sicherlich das richtige werkzeug dafür.
Ich glaub nur die 14 Tage Frist wirst du nicht abbilden können.
Entweder mit rclone sync alles auf dem selben Stand halten oder mit rclone copy das Backup zu einem Archiv machen.
Gibts dann noch zusätzlich ein Backup?
|
TOM
Super ModeratorOldschool OC.at'ler
|
lsyncd bin ich auch schon drübergestolpert in meiner recherche, warum bist nicht happy damit?
Ist ein SMB share meines Wissens und bzgl. file-locks und dessen folgen hab ich auch schon bisschen bedenken
xfs ist gegeben und wurde vor mir eingerichtet
ich vermute ein umstieg auf zfs mit dessen features/möglichkeiten ist aktuell nicht gegeben (würde aber auch in die richtung tendieren)
zusätzliches backup gibt es nicht
die lösung soll quasi eine hot spare backup lösung sein, die aber auch mal verwendet werden kann, wenn zu viele daten gelöscht wurden am origin share
|
spunz
Super ModeratorSuper Moderator
|
Sprich du machst am share2 dann ein richtiges Backup mit xfsdump oder vergleichbaren Lösungen?
|
DAO
Si vis pacem, para bellum
|
wieso machst kein full sync ha storage mit snapshots?
|
nexus_VI
Overnumerousness!
|
lsyncd bin ich auch schon drübergestolpert in meiner recherche, warum bist nicht happy damit? Wir sind eh happy, und realisieren damit Replikation von Files. Eh ziemlich dein Anwendungsfall, nur halt viel kleinere Datenmengen. Aber vielleicht gibt's was tolleres, bin nicht umfassend informiert 
|
Anmeldung