"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Proxmox VMs, Storage, usw.

creative2k 15.02.2024 - 01:00 23972 70
Posts

creative2k

Phase 2.5
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8370
Nachdem es hier ja einige versierte Nutzer gibt, vllt könnt ihr mir ein paar Tipps geben bzw. Empfehlung bei meiner Umsetzung, ob man es besser machen könnte.

Aktuell hab ich mich ein bisschen mit 2 Mini Pcs und Proxmox gespielt und bin auf den Geschmack gekommen meine ganze Heim Server Landschaft zu virtualisieren. (Hab schon 5 Server 2022 Testweise am laufen auf den minipcs)

Aktuell geplant:
Neueste Proxmox 8.1 Version auf folgender HW:

1x Prozessor AMD Ryzen 9 7950X3D
1x Motherboard ASUS TUF GAMING X670E-PLUS
1x CPU-Kühler Noctua NH-D15
1x TP-Link TX401, 10 Gigabit PCIe Adapter
1x Fractal Design Define XL R2 Black Pearl
1x Fractal Design Ion+ 2 Platinum 760W
2x Crucial Pro 96GB KIT DDR5 5600MHz CL46
2x Patriot VIPER VP4300 2TB

Basis für 3-X VMs mit Server 2022.

Später geplant:
VM mit TrueNAS, passthrough von 8+ HDDs

Aktuelle Fragen bzw. Feedback erwünscht zu folgenden Gedankengängen:

- VM Umzug auf den neuen Server: Da kann ich ja einfach Snapshots wiederherstellen aus dem Backup, also einfach setup von proxmox fertig machen, Backup Share einbinden (smb vom nas) und restoren, korrekt? (Migration hab ich schon getestet, aber will nicht mit pools herumpfuschen und herumlöschen :X)
- Promox/VM Backups: Wär im prinzip egal ob ich lokal ein Raid1 oder ähnliches für Proxmox oder die VMs mache, solange ich Backups auf das NAS spiele, korrekt? (Natürlich verlust der daten zwischen backup und worst case)
- Funktioniert das mit der Freenas Sicherung dann auch so? Einfach VM backupen? Wenn die platten passthrought sind müsste man die nachher wieder einbinden bei einem restore, oder sind die beim restore mit in der config wenns die selbe hw ist?

Ich hab mir schon paar videos und wikis durchgelesen, aber so weit ich verstehe brauch ich für meinen Usecase dann eigentlich nur die Sicherungen der VMs und die Datenplatten mit Truenas später lass ich dann mit zfs laufen. Weil wenn ich sicherungen von den vms hab sind mir hw fehler wo proxmox oder die vms liegen ja egal, wenn ich downtime akzeptiere und proxmox einfach neu installier und restore oder? (Hab noch 2 512gb apacer m.2 rumliegen, dann würd ich eine davon für die proxmox install nehmen und die vms dann auf die viper hauen)

Oder gibts noch was zu beachten an was ich nicht gedacht hätte? :)

Und hat wer infos zum X3D und Proxmox, gibts da eh keine Troubles bzw. kann Proxmox den Cache nutzen? Hab den aber hauptsächlich wegen der niedrigeren tdp genommen.

(Einzige wo ich mir noch schwer tue ist in der shell rumzuwerken… das mach ich hauptsächlich mit Anleitungen, is ned so meins abseits der „basic“ befehle. Aber werd ich mich auch mal bisschen mehr einlesen, aber prinzipiell taugts mir :D)

Edit. Ja und noch eine Frage :) .. lohnt sich die Subscription mit Updates für Home User oder is das powidl? Proxmox selber hängt nur im Lan, höchsten ne VM hat mal Inet Access (ka ob da was ausbrechen könnte wenn die eh gepatcht sind)
Bearbeitet von creative2k am 20.02.2024, 21:58

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11233
Für ein System mit +8 Platten würde ich eher eine Basis mit ECC Ram bauen.

VM Umzug von Proxmox zu Proxmox => einfach per Replikation oder Backup und Restore mit Boardmittel. Wenn diese auf einem Nas liegen, musst du die Backup Source nur am neuen Server mit einbinden.

Backup und mit Passthrough => Da brauchst du dann eine eigene Backup Lösung. Du nimmst die Kontrolle vom Host und übergibst diese an die VM. Du musst damit auch innerhalb der VM dich um ein Backup/Restore kümmen. Grundsätzlich verlierst du damit die Vorteile der Virtualisierung und kriegst im Gegenzug die Nachteile einer physischen Box. Ich würde Storage dem Host überlassen und eine Lösung wie omv/zamba/wwi installieren. Wenn es Truenas sein soll würde ich langfristig eher Scale anpeilen da die Entwicklung im BSD Bereich mMn derzeit dort etwas fragwürdig läuft.

davebastard

Vinyl-Sammler
Avatar
Registered: Jun 2002
Location: wean
Posts: 12159
machen Prozessoren mit X3D für Virtualisierung Sinn? würde eher nein sagen...

creative2k

Phase 2.5
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8370
@spunz Danke für deinen Input! OMV sieht interessant aus werd ich mir mal näher angucken :)

Zitat aus einem Post von davebastard
machen Prozessoren mit X3D für Virtualisierung Sinn? würde eher nein sagen...

Leider halt wesentlich effizienter und kühler als der non x3d

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 49905
Was läuft auf den Windows VM?
Irgendwie wirkt der Host overpowered

Würde auch kein Gamer Mainboard nehmen sondern etwas aus dem Server oder Workstation Umfeld und wo es IPMI gibt.
Sowie ECC RAM

Netzwerk würde ich wenns geht auf SFP+ / SFP28 umstellen.
Wenn nicht möglich, dann würde ich nicht mehr den alten "Marvell/​Aquantia AQtion AQC107" Chipsatz verwende sondern den neueren AQC113

Zitat aus einem Post von davebastard
machen Prozessoren mit X3D für Virtualisierung Sinn? würde eher nein sagen...

Kommt immer drauf an was man virtualisiert.

creative2k

Phase 2.5
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8370
Zitat aus einem Post von Viper780
Was läuft auf den Windows VM?
Irgendwie wirkt der Host overpowered

Würde auch kein Gamer Mainboard nehmen sondern etwas aus dem Server oder Workstation Umfeld und wo es IPMI gibt.
Sowie ECC RAM

Netzwerk würde ich wenns geht auf SFP+ / SFP28 umstellen.
Wenn nicht möglich, dann würde ich nicht mehr den alten "Marvell/​Aquantia AQtion AQC107" Chipsatz verwende sondern den neueren AQC113.

Kommt immer drauf an was man virtualisiert.

Aktuell:

VM1: Download Server / maybe Encoding (große Files hin und her schieben)
VM2: Game Server
VM3: Game Server 2
VM4: Aktuell Test Server Discord Bot/Music Bot
VM5: Aktuell Test Server, Maybe Game Server

Also das TUF fand ich jetzt im Gaming Rechner bisher echt brauchbar, deshalb dachte ich ich nehm mir das einfach für den Server. Das is auch gut wenn du alle M.2 belegst bzw die Lane Trennungen gefallen mir.

ECC für den privaten Bereich halte ich bissl für übertrieben, die hab ich derzeit nur im NAS bei kritischen Daten.

Was bringt mir der AQC113? Ich bin mit dem AQC107 bisher zufrieden und hab keine troubles im 24/7 Betrieb.

ccr


Avatar
Registered: Jul 2001
Location: am Dach
Posts: 5865
AQC113 bringt Dir etwas niedrigeren Stromverbrauch, und damit auch weniger Hitze.
Wenn man eine NIC mit dem 107er hat, und es keine Probleme mit Throttling oder so gibt, muss man sie nicht wegen dem geringeren Verbrauch austauschen (ich habe selbst 2 davon in Verwendung). Aber neu kaufen würde ich so eine Karte heute nicht mehr.

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 49905
Zitat aus einem Post von creative2k
VM1: Download Server / maybe Encoding (große Files hin und her schieben)
Klingt für mich eher nach einem Linux System und dort dann in einem LXC die jeweilige Anwendung rein. Evtl gibts auch fertige Docker Container

Proxmox unterstützt per default schon LXC, die sind deutlich leichtgewichtiger als eine vollständige virtualisierung.

Zitat aus einem Post von creative2k
VM2: Game Server
VM3: Game Server 2
....
VM5: Aktuell Test Server, Maybe Game Server
Hängt stark vom Game ab - vermutlich aber auch da mit Linux (in einer VM) besser dran.
Rennen die Game Server überhaupt sauber mit einem Windows Server OS?

Zitat aus einem Post von creative2k
VM4: Aktuell Test Server Discord Bot/Music Bot
Wie bei VM1 würd ich da am ehesten mit LXC oder Docker Container arbeiten.

Zitat aus einem Post von creative2k
Also das TUF fand ich jetzt im Gaming Rechner bisher echt brauchbar, deshalb dachte ich ich nehm mir das einfach für den Server. Das is auch gut wenn du alle M.2 belegst bzw die Lane Trennungen gefallen mir.
Ich kenne dein Setup nicht - mein Server steht in einem Abstellraum. Wenn ich da drauf irgend etwas ändere was nicht aus dem OS raus geht wird es immer mühsam. Mit IPMI ist dass kein Problem und ich kann an meinem Schreibtisch sitzen bleiben.

Server Boards sind meist deutlich konservativer und langlebiger ausgelegt - kommen mit höherer Temperatur und nicht so optimaler Kühlung besser zu recht. Man erspart sich viel Kopfschmerzen wenn man die paar Euro in Server Hardware auch für Heimserver steckt.

Zitat aus einem Post von creative2k
ECC für den privaten Bereich halte ich bissl für übertrieben, die hab ich derzeit nur im NAS bei kritischen Daten.
Für mich klang deine Anforderung so als ob du dein NAS später durch diesen Server ersetzen willst.
Mit ZFS und vielen Daten würde ich auf alle Fälle auf ECC setzen.

Zitat aus einem Post von creative2k
Was bringt mir der AQC113? Ich bin mit dem AQC107 bisher zufrieden und hab keine troubles im 24/7 Betrieb.

Der AQC113 kann PCIe 4.0 und ist deutlich sparsamer (ich hab was von halben Stromverbrauch im Kopf). Allgemein ist der Chip moderner.
Wegen dem Stromverbrauch wäre aber SFP+ und passive Direct Attach Copper (DAC) Twinax vor zu ziehen. Hängt halt davon ab wie dein Setup ist und was dein Netzwerk kann.

Zitat aus einem Post von ccr
AQC113 bringt Dir etwas niedrigeren Stromverbrauch, und damit auch weniger Hitze.
Wenn man eine NIC mit dem 107er hat, und es keine Probleme mit Throttling oder so gibt, muss man sie nicht wegen dem geringeren Verbrauch austauschen (ich habe selbst 2 davon in Verwendung). Aber neu kaufen würde ich so eine Karte heute nicht mehr.
Am Desktop der nicht 24/7 läuft spielt es nicht viel Rolle. Beim Server kann sich ein austausch auszahlen

davebastard

Vinyl-Sammler
Avatar
Registered: Jun 2002
Location: wean
Posts: 12159
Statt auf ECC zu verzichten würde ich eher eine Nummer kleiner bei der CPU nehmen, das spart Geld in Form von Stromkosten und bringt Sicherheit was deine Daten betrifft.

ccr


Avatar
Registered: Jul 2001
Location: am Dach
Posts: 5865
Naja, bei 18kWh Einsparung pro Jahr und Port, dauert das mit dem Amortisieren schon ein Zeiterl.
Ein Wechsel von RJ45 auf Glasfaser/DAC bringt da erheblich mehr Einsparungen als nur ein Chipsatz-Wechsel.

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 49905
Ich hab leider keine aktuellen Zahlen bei der Hand.
ich hab im Kopf irgend was von 12W auf 5W in der Praxis. Je nach Last und fähigkeiten des OS sowie Mainboards könnten noch mehr drinnen sein.

aber auch wenn man (zu hoch gegriffene) 100kWh einspart sind dass nur 15-30€ im Jahr.
Mit SFP+ ist sicherlich mehr drinnen- speziell auf der Switch Seite

ccr


Avatar
Registered: Jul 2001
Location: am Dach
Posts: 5865
Es sind 5-6W Realverbrauch beim 107er (Marvell gibt 6W max power draw an, in Tests ist es meist eine Spur weniger), und 1.5-2W weniger beim 113er. Das ist zwar eh ein Drittel weniger, aber in Euro gerechnet ist es nicht die Welt.

SFP+ würde das aber unter 1W drücken.

Bei 12W sind wir bei Dual-Port NICs.

creative2k

Phase 2.5
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8370
Ahhhh I see. Das NIC Strom Thema hab ich mir noch gar nicht angesehen. Vllt mach ich das mal als Sidegrade, das macht dann natürlich Sinn.

Wegen den Applikationen warum Windows Server: hab genug keys dafür und bisher lief alles reibungslos die letzten Jahre. Auch mein DL Client ist „Newsbin“ den ich unter Windows hab, Serviio zum Transkoden etc., in alles andere müsste ich mich auf die Schnelle zu viel umstellen bzw. erst mal lernen wie das alles unter den anderen systemen läuft und zusammen spielt. Warum kein ECC, wie gesagt, Heikle Daten sind dann eh am NAS gespiegelt, nur den dicken nehm ich dann für eine andere „Datenbank“ mit hauptsächlich MKVs. Ist ZFS so heikel ohne ECC Ram? Ich hatte vor Jahren auch mal einen 1700x ohne ECC ram (halt mit raid controller ..) und nie war irgendwas. Dass ZFS viel im Ram arbeitet ist mir bekannt aber bringt der on die ECC garnix bei ddr5? Also wenn ein Riegel ex geht hat ich mir dann mit zfs alles zam wenn der nicht mehr stable läuft? (Wie ist das dann bei ecc, meldet der sich wo retour das es Fehler gibt in der SW welche das volume verwaltet?)

Indigo

raub_UrhG_vergewaltiger
Avatar
Registered: Mar 2001
Location: gigritzpotschn
Posts: 6690
also ich hab als proxmox host ein

- FSC D3402 (aus einem ausgemusterten ESPRIMO desktop)
- i7 6700
- 250W FSC 12V powersupply
- 64GB DDR4
- 240GB ssd /root
- 1TB NVME für VMs
- 2x18TB + 2x8TB storage ZFS raid1 direkt am proxmox host als storagepool
- 2TB für proxmox VM backup dumps
- 1x GBit NIC (für openwrt WAN)
- 1x 4fach GBit NIC für linux vmbr bond auf den switch

VMs:
- openwrt
- windows
- nextcloud
- docker
- webserver
- FHEM

die kiste langweilt sich gefühlt 90% der zeit und verbraucht dabei ~90W im idle (inkl. switch und glasfaser ONT) und bei bedarf kann ich per intel AMT KVM fernwarten ohne in den keller zu müssen.

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11233
du brauchst nicht zwingend ECC Ram. Du willst langfristig aber 8 HDD´s verbauen. Da macht ECC dann durchaus Sinn wenn die Daten irgendeinen Wert haben.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz