Proxmox VMs, Storage, usw.

Zitat aus einem Post von COLOSSUS

PCI-Devices sind meistens nur gruppenweise per IOMMU verwaltbar, bei meinem MC12-LE0 sind z. B. beide NICs in derselben Gruppe:

...

Das Proxmox-Wiki weisz zu der Thematik eigentlich alles Wissenswerte: https://pve.proxmox.com/wiki/PCI_Passthrough (es gibt Workarounds, wo man diese durch die Firmware vorgegebene Gruppierung durchbrechen kann - das muss aber nicht immer funktionieren).

Ich wuerde der "WAN-NIC" am Board (nehme an, dass du sowas basteln willst?) in proxmox eine eigene, exklusive Ethernet bridge umhaengen, und auf der dann nur das OpenWrt-WAN-Device haben. Es bringt dir eigentlich nichts, die Hardware direkt vom OpenWrt-Kernel verwaltet zu haben.

Ok, danke für den Input, hab sowas eh schon vermutet. Das Wiki hab ich eh schon 1:1 umgesetzt.

Geb ich damit nicht Sicherheit auf, wenn ich erst eine Bridge in Proxmox erstelle und die dann an Openwrt durchreiche?

Edit:

Zitat aus einem Post von schizo

Ich hatte selbst auf einem ESXi mehrere Jahre lang meinen Router (damals noch pfSense) am Laufen.
Mittlerweile habe ich wieder eine eigene Hardware für den Router.
Wenn das Grafl läuft spricht ja nicht viel dagegen. Allerdings hatte ich ein paar mal die Situation, dass bei Umbauten am Server dann eben das ganze Netzwerk steht. Falls ich bei etwaigen Problemen aufs Internet angewiesen war musste ich zuerst auf einen herumstehenden Router umhängen. Insbesondere bei unerwartet auftretenden Defekten war das eine nervige Situation, da ich mich eigentlich auf die Probleme konzentrieren wollte ohne zuerst das Netzwerk fixen zu müssen.

Insofern würde ich dir raten deine Pläne nochmals zu überdenken.

Der Einwand ist verständlich. Habs bisher auch schon so auf einem S740 laufen gehabt, plus ein S920 für Wireguard usw., möchte aber nicht zu viele Geräte laufen haben, darum würde ich gerne alles auf ein Gerät zusammenfassen. Dass das ein geplanter Single Point of Failure ist, ist mir durchaus bewusst.

Also dann OpenWRT doch lieber wieder auf einen RPI4, hätte eh zwei herumliegen..

RPi + USB NIC hätte ich mir gedacht. Der USB NIC als WAN Port, da muss der Durchsatz eh nicht so hoch sein.
Mit den Thinclients wärs dann eh wieder fast die Lösung, die ich gerade in Betrieb habe, plus wäre der Stromverbrauch mit dem 3700X + Thinclient nochmal höher.

Na dann werde ich nochmal durchüberlegen, wie ich das am besten aufsetze.

Macht es sicherheitstechnisch Sinn den VPN+Nextcloud außerhalb des restlichen Heimnetzwerkes zu betreiben, quasi im Netzwerk des ISP-Routers? Oder bringt das eh nichts..?

Nein, der ISP Router macht selbst ein Netzwerk per DHCP Server. An dem steckt dann das Gerät mit Openwrt, welches dann erst die Netzwerksegmentierung für das Heimnetzwerk aufspannt.
Derzeit hängt ein Thinclient am Router für VPN+Nextcloud und ein seperater Thinclient für Openwrt und die restlichen Dienste. Somit kommt der VPN nur über Port Forwarding ins eigentliche Heimnetzwerk für ausgewählte Dienste. Die Frage ist, ob eine derartige physische Trennung überhaupt Sinn macht, oder ob das eh übertrieben ist?

Zitat

Nein, der ISP Router macht selbst ein Netzwerk per DHCP Server. An dem steckt dann das Gerät mit Openwrt, welches dann erst die Netzwerksegmentierung für das Heimnetzwerk aufspannt.
Derzeit hängt ein Thinclient am Router für VPN+Nextcloud und ein seperater Thinclient für Openwrt und die restlichen Dienste. Somit kommt der VPN nur über Port Forwarding ins eigentliche Heimnetzwerk für ausgewählte Dienste. Die Frage ist, ob eine derartige physische Trennung überhaupt Sinn macht, oder ob das eh übertrieben ist?

ja das ist IMHO für ein Heimnetzwerk übertrieben bzw. unpraktisch. Ich würd auf eine zentrale Firewall/Router setzen.

also ein Router/FW (wie auch immer der auch aussieht) der dann.

- die externe IP vom ISP bekommt (bridge mode am provider router)
- den endpunkt vom VPN darstellt
- per Firewall Regeln einrichten was wohin darf
- verschiedene Zonen einrichten WAN/LAN/DMZ
DMZ wäre dann nextcloud bzw. alles was direkt im Internet hängt

Zitat

Man kann Raspberry Pis - ich glaube ab dem 2er - seit Ewigkeiten von USB Mass Storage booten Das haelt meiner Erfahrung nach ueber Jahre problemlos. Ich mach das meistens mit Samsung diesen kurzen FIT-Sticks: https://geizhals.at/?cat=sm_usb&...t=p#productlist

ja stimmt, ich find storage der über usb-ports angesteckt ist halt immer ein bisserl als eine notlösung (rein optisch ), aber es ist natürlich möglich und funktioniert wsl eh ganz gut. Es ist halt auch so wenn er dann irgendwann draufkommt dass er doch mit opnsense z.B. irgend einen Service nutzen will wo man auch Daten schreiben muss, dass sowohl SD Karte als auch USB Stick nicht dafür gedacht sind (weils kein TRIM und ähnliche protection gibt).die adata ssd für den Thinclient von Viper kostet afair 15€ also kostenfaktor ist das auch keiner mehr. Der raspi braucht auch gar nicht soo wenig Strom für eine SoC Lösung. Soweit liegen da thinclient und raspi gar nicht auseinander. Was hier wirklich am stromsparendsten wäre für Heim-FW/Router wär eh mal interessant

Zitat

Gerade wenn du eh schon Proxmox einsetzt kannst damit deinen Cluster auch erweitern.

das würd ich aber nicht empfehlen dann holst die wieder unnötige komplexität bei deiner router/FW Lösung. Das soll einfach funktionieren. so hast mit proxmox wieder eine komponente mehr was man aktuell halten muss (neben dem openwrt oder opnsense oder was es auch wird). sonst ack

Wozu verwendest du wireguard? Einfach nur um remote auf dein Heimnetz zuzugreifen? Oder gehen da auch Daten in größerer Menge drüber? Hast du dein Heimnetz dementiert und schaufelt du dort größere Datenmengen zwischen einzelnen VLANS umher? Falls keine großen Datenmengen anfallen sollte ein S920 mit USB NIC ausreichen.
Wireguard würde ich ebenfalls am Router laufen lassen. Je nach Umfang der Proxmox Instanzen Entwerfer auf den S740 oder x3700 zurückgreifen (bei den von dir beschriebenen VMs reicht der Thinclient)

Komme zwar aus der Unraid Ecke, aber ein vergleichbares Setup (pfSense, nextcloud, Tailscale-VPN, NAS, etc.) habe ich seit vier Jahren auf einer einzigen Maschine laufen.

Es sollte doch möglich sein, all deine Wünsche in einer Maschine (der 3700x würde sich anbieten) mit Proxmox unterzubringen, oder etwa nicht?