"We are back" « oc.at

Proxmox VMs, Storage, usw.

creative2k 15.02.2024 - 01:00 29368 106 Thread rating
Posts

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 50272
Zitat aus einem Post von creative2k
Ahhhh I see. Das NIC Strom Thema hab ich mir noch gar nicht angesehen. Vllt mach ich das mal als Sidegrade, das macht dann natürlich Sinn.

Ist ja nicht nur die Stromrechnung sondern du musst das Ding auch kühlen und mit PCIe 3.0 brauchst auch noch mehr (aktive) Lanes als mit 4.0

Zitat aus einem Post von creative2k
Wegen den Applikationen warum Windows Server: hab genug keys dafür und bisher lief alles reibungslos die letzten Jahre. Auch mein DL Client ist „Newsbin“ den ich unter Windows hab, Serviio zum Transkoden etc., in alles andere müsste ich mich auf die Schnelle zu viel umstellen bzw. erst mal lernen wie das alles unter den anderen systemen läuft und zusammen spielt.
Newsbin kenn ich nur aus meinen Anfängen von vor vielen Jahren. Da konnte man nichts automatisieren und auch kein sonarr/radarr anbinden. Geht das mittlerweile?

Ich persönlich würde "meinen Stack" nicht mehr hergeben wollen.
Medienverwaltung (inkl update, suche von neuen releases,...) in sonarr und radarr
Downloadclient ist bei mir sabnzbd
Als Meta Suchmaschine über mehrere Indexer hab ich nzbhydra2 im Einsatz. Muss mir aber mal wieder prowlarr anschauen
Geschaut wird mit Kodi (ehemals XBMC) direkt von einem Share vom NAS. Im LAN spar ich mir damit jegliches Transkodieren und hab immer die höchst mögliche Qualität.
Für unterwegs habe ich mittlerweile genug upload dass ich mir auch hier jegliches transcoding erspare.

Sollte ich jemals wieder einen kompletten Medienserver inkl DLNA benötigen würde ich zu Jellyfin greifen

Der Vorteil von diesem Ansatz ist dass er gut erprobt ist, auf allen möglicher Hardware und OS eingesetzt werden kann, vollständigen Open Source ust und hoch automatisiert/integriert daher kommt

in einem Nachmittag hast dich mit den wichtigsten Punkten auseinander gesetzt dass es läuft.
Sollte auch alles Windows unterstützen und kannst somit parallel zu deiner bestehenden Lösung starten

Eine erste Anleitung findest du zB hier https://trash-guides.info/

Zitat aus einem Post von creative2k
Ist ZFS so heikel ohne ECC Ram? Ich hatte vor Jahren auch mal einen 1700x ohne ECC ram (halt mit raid controller ..) und nie war irgendwas.
Prinzipiell nicht, aber um so geringer man die Fehlerrate bei der Verarbeitung hält um so flotter ist es in der Praxis. Bei relevanten Daten würde ich auch eine minimale Verfälschung nicht akzeptieren.

Raid Controller und ZFS spießt sich etwas. Tunlichst vermeiden!

Zitat aus einem Post von creative2k
Dass ZFS viel im Ram arbeitet ist mir bekannt aber bringt der on die ECC garnix bei ddr5? Also wenn ein Riegel ex geht hat ich mir dann mit zfs alles zam wenn der nicht mehr stable läuft? (Wie ist das dann bei ecc, meldet der sich wo retour das es Fehler gibt in der SW welche das volume verwaltet?)

Der On Die ECC hilft zwar einige Fehler zu erkennen aber keine zu korrigieren. Ist halt nicht für den Server Einsatz gedacht.

Wie so oft gilt ohne ein entsprechendes System weißt du nicht mal dass du ein Problem hast.

Philipp

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1970
On Die ECC korrigiert auch Fehler, allerdings nur im RAM Modul selbst. Der Rest des Systems weiß nicht, dass da irgendwelche Korrekturen durchgeführt wurden.

creative2k

eigentlich mag ich nimmer
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8473
Hab spontan Lust bekommen und die Woche gekauft :p

Sollte das ganze interessant mit ECC/ZFS werden schau ich mir das sonst nochmal an und Rüste ggf. um.
Was ich mir noch zu OMV/Storage angeschaut hab, aktuell wäre die Idee Adapterkarte M.2 NVME auf PCIe 4.0 X16 mit Bifurcation und SilverStone Technology SST-ECS07-5-Port-SATA-Gen3-6Gb/s-Non-RAID-M.2-PCIe-Speichererweiterungskarte zu nehmen. -> Es gibt zwar günstigere als den SilverStone Adapter, aber der hat gleich nen Kühler drauf und schaut stabiler aus als zB nur sowas: KALEA-INFORMATIQUE M.2 (M2 NGFF) Controller-Karte, Typ PCIe M oder B+M Key 5 SATA 3.0 6Gbps Port mit Chipsatz JMB585
Theoretisch sollt mir das ja mit bifurcation für bis zu 4 Adapter die volle Bandbreite geben :D. (Kabel werden halt bisschen messy aber sonst...)


Derzeit besteht er aus:

1x Noctua NH-D15
1x Fractal Design Define XL R2
1x AMD Ryzen 9 7950X3D
2x Crucial Pro DIMM Kit 96GB, DDR5-5600, CL46-45-45
1x ASUS TUF Gaming X670E-Plus
1x Apacer AS2280Q4 500GB (Proxmox Systemplatte)
1x Fikwot FN955 2TB (Local Backup)
2x Patriot Viper VP4300 2TB (VM-Pool 1 und 2)
1x TP-Link 10G (RJ45)
1x Fractal Design Ion+ 2 Platinum 760W

Ohne Power Tuning (140Watt Peak auf der CPU/Package) ist er echt leise. -> Idle bzw. bis ~30% Last überhaupt lautlos. Wenn ich mal Zeit/Lust hab optimier ich noch bissl die Max TDP runter.
Normalverbauch ~105Watt aus der Steckdose mit 5 laufenden VMs (iirc hatte er so 70 Watt ohne laufende VM), find ich jetzt auch nicht so viel für die verbaute HW:
click to enlarge

Ultra Silent Homelab "Server". Ram läuft auch auf 5600 1:1, IF auf 2000 (alles Auto). Nur das Memorytraining bzw. der Post dauert über eine Minute, aber das ist nur nervig wenn man paar mal Bios Einstellungen (Lüfterkurven usw. :D) anpasst. Die NIC wird auch nicht so heiß, die eiert bei ~70°C rum wenn ich die Sensor Werte richtig interpretiere.

Umzug war auch super einfach mit den Backups zurückspielen der VMs, daher hab ich auch die Sys Platte von Proxmox nur auf die "schlechte" Apacer SSD ohne Raid gehaut und statt dessen noch eine 2TB für lokale Backups geplant. Die macht er Täglich und aufs NAS schieb ich jede Woche mal die VM Backups rüber.

Bis jetzt begeistert und genau was ich haben wollte, allein dass unhörbar ist und wirklich LEISE bei Volllast ist halt Mega. :cool:

Zitat aus einem Post von Viper780
Newsbin kenn ich nur aus meinen Anfängen von vor vielen Jahren. Da konnte man nichts automatisieren und auch kein sonarr/radarr anbinden. Geht das mittlerweile?

Ich persönlich würde "meinen Stack" nicht mehr hergeben wollen.
Medienverwaltung (inkl update, suche von neuen releases,...) in sonarr und radarr
Downloadclient ist bei mir sabnzbd
Als Meta Suchmaschine über mehrere Indexer hab ich nzbhydra2 im Einsatz. Muss mir aber mal wieder prowlarr anschauen
Geschaut wird mit Kodi (ehemals XBMC) direkt von einem Share vom NAS. Im LAN spar ich mir damit jegliches Transkodieren und hab immer die höchst mögliche Qualität.
Für unterwegs habe ich mittlerweile genug upload dass ich mir auch hier jegliches transcoding erspare.

Ja da haben wir eh schon mal gesprochen im Usenet Thread. Ob Newsbin mit Sonarr/Radarr funktioniert weiß ich leider nicht.
Bearbeitet von creative2k am 18.02.2024, 02:27

Master99

verträumter realist
Avatar
Registered: Jul 2001
Location: vie/grz
Posts: 12692
fettes sys!

RAM sehr großzügig bemessen oder? also sowohl in den zugewiesenen VMs als auch insgesamt physisch... würd mich interessieren wieviel netto-ram verbrauch insgesamt ist (also innerhalb der VMs aufsummiert). kann mir irgendwie nicht vorstellen das mit deiner obigen liste an VM servern nich ein 96er kit auch ausgereicht hätte mit genug puffer.

creative2k

eigentlich mag ich nimmer
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8473
Thx :) Ja der RAM ist noch nicht richtig ausgelastet, weil sie noch recht frisch sind bzw. auch großzügig bemessen. Ich hab vor dann noch ein paar VMs und Anwendungen zu installieren. (und ehrlich gesagt wollt ich einfach mal 196GB ausprobieren :p)

Aktuell hat nur S1 fixe 32GB damit er genug Cachen kann (verbraucht laut win „idle“ 10GB, das geht aber dann höher wenn er arbeitet), die anderen haben Ballooning an mit max 8gb, Verbrauch „idle“ laut Dashboard ist 1.3-2gb. Ich hätte ballooning ja so verstanden, dass der max ram immer reserviert ist aber zwischen den VMs hin und her geschoben wird, oder? Weil wenn Ballooning an ist ändert sich nix am Gesamt Verbrauch am Knoten, sondern nur auf der VM direkt, wo man dann sieht dass statt 8GB nur 2GB verbraucht werden. So ganz check ichs noch nicht was mir das bringt wenn der Ram am knoten eh ganz weg ist, da könnt ich ballooning ja auch gleich weglassen. Muss ich mich noch mehr einlesen in das Thema.

Gibts eigentlich eine Empfehlung wieviel VMs sich eine Netzwerkschnittstelle teilen sollten? Aktuell hab ich einfach alle auf der 10G Karte. Theoretisch hätte ich noch die 2.5G Onboard frei. Oder ist das im Prinzip egal?

Edit2: Ein „unschönes“ Problem hab ich noch. Ich hab von S1 ca. 100GB Daten bereinigt aber anscheinend löscht er die nicht aus dem thin volume raus, sodass die Backup Datei noch immer 100GB mehr hat als sie sollte. Muss ich mir noch anschauen wie ich das wieder kleiner bekomme.
Edit3: ok war einfacher als gedacht. Hab einfach die „discard“ option auf der ssd anhaken müssen bzw vergessen :p. Jetzt shrinken auch die images.
Bearbeitet von creative2k am 18.02.2024, 11:56

creative2k

eigentlich mag ich nimmer
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8473
Kurzes Zwischenfazit: Ich finds echt geil :D. Schade dass ich nicht schon früher auf Proxmox und die ganzen Möglichkeiten "draufgekommen" bin.

Mittlerweile auch schon zusätzlich im Betrieb: pfSense, OpenVPN, AdGuard, NGINX und Nextcloud.

Schon Spitze die OpenSource Community :ghug:

Aktuell such ich noch nen gescheiten Exchange Ersatz oder SMTP-Server. (Und den HA Cluster Aufbau schau ich mir dann auch nochmal genauer an)

btw. mir hat auch der Channel viel beim einrichten geholfen: https://www.youtube.com/@andreshardware Richtig gut für Anfänger.
Bearbeitet von creative2k am 20.02.2024, 22:10

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 50272
Anstelle von pfsense würde ich OPNsense nehmen und OpenVPN durch Wireguard (oder Tailscale und eigenem Headscale) ersetzen.
AdGuard Home habe ich als Ersatz DNS Resolver noch am NAS laufen, unter Linux nehm ich lieber pihole. Dazu jeweils ein eigener unbound der immer über die Root DNS Server auflöst.

Als MTA / SMTP Server sind Exim und Postfix wohl die Klassiker. Für daheim würd ich mir das docker-mailserver Projekt anschauen

creative2k

eigentlich mag ich nimmer
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8473
Zitat aus einem Post von Viper780
Anstelle von pfsense würde ich OPNsense nehmen und OpenVPN durch Wireguard (oder Tailscale und eigenem Headscale) ersetzen.
AdGuard Home habe ich als Ersatz DNS Resolver noch am NAS laufen, unter Linux nehm ich lieber pihole. Dazu jeweils ein eigener unbound der immer über die Root DNS Server auflöst.

Als MTA / SMTP Server sind Exim und Postfix wohl die Klassiker. Für daheim würd ich mir das docker-mailserver Projekt anschauen

Danke! :)

Warum empfiehlst OPNsense und Wireguard? -> Wireguard hab ich schon als Container drauf und derzeit inaktiv. Ich konnte jetzt zwischen OpenVPN und Wireguard keine wirklichen Unterschiede feststellen. Dr. Google meinte, OpenVPN wäre "sicherer" und Wireguard "schneller".

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 50272
Ich empfinde OPNsense als moderner und das Projekt wirkt aktiver.

Wireguard ist merklich flotter und braucht weniger Ressourcen auf beiden Seiten. Sicherheit kann ich nicht beurteilen.

bsox

Schwarze Socke
Avatar
Registered: Jun 2009
Location: Dschibuti
Posts: 1089
Ich hab daheim Grommunio (ebenfalls eine Wiener Firma) auf meinem drei Node Proxmox Cluster als Exchange Ersatz laufen.

userohnenamen

leider kein name
Avatar
Registered: Feb 2004
Location: -
Posts: 15859
Zitat aus einem Post von bsox
Grommunio (ebenfalls eine Wiener Firma)

nice, danke für die erwähnung
rein von den features her mit mapi und eas schaut das echt brauchbar aus
das wird definitiv einmal angesehen

creative2k

eigentlich mag ich nimmer
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8473
Zitat aus einem Post von bsox
Ich hab daheim Grommunio (ebenfalls eine Wiener Firma) auf meinem drei Node Proxmox Cluster als Exchange Ersatz laufen.

Ja danke der schaut super aus! Installier grad und guck ihn mir an :).

COLOSSUS

Administrator
GNUltra
Avatar
Registered: Dec 2000
Location: ~
Posts: 12114
Also wenn ich heute mit Email-Selfhosting anfangen wuerde, wuerde ich das mit mox tun (Website).

davebastard

Vinyl-Sammler
Avatar
Registered: Jun 2002
Location: wean
Posts: 12392
man sollte aber schon auch dazu sagen das email selfhosting relativ aufwendig sein kann und auch know how erfordert. Also ich bin zu faul dazu :p

UnleashThebeast

unsäglicher Prolet
Avatar
Registered: Dec 2005
Location: 127.0.0.1
Posts: 3557
Ich würd mir lieber a Krochn in Mund stecken als Emails selfhosten tbh.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz