"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

DIY NAS/Firewall/Dual-Wan Server

Innovaset 07.02.2015 - 10:31 6541 26 Thread rating
Posts

deleted5875454

Bloody Newbie
Registered: Dec 2021
Location:
Posts: 0
Servus,

wollt euch mal mein aktuelles "Projekt" vorstellen, vl als inspiration für euren Server!
Meine Anforderungspunkte:


*NAS/Streaming Server
*Download Station
*Firewall/Router inkl Load Balancing und VPN
*Geringer Stromverbrauch, da 24/7
*"günstig"


Nach langem Suchen hab ich mir als Basis einen Dell T20 Xeon mit 8gb ECC Ram gegönnt, p/l stimmt auf jedenfall, gibt zwar kleine Kritikpunkte, aber in Summe TipTop, allein schon das Intel AMT ist super-lässig :eek:
Desweiteren wird eine HP NC360T verwendet, für beide WAN verbindungen (A1 und 3), und ein zusätzlicher Sata Controller damit ich den Onboard Controller als Passthrough Device configurieren kann.
Storage war bereits vorhanden - 3*3TB 3,5" und 1*2,5" fürs OS/als Temp HDD.

Um kurz zu erklären, warum ein 2ter Controller und eine 2,5" HDD verwendet wird -> Die Storage HDDs sollen in spin down gehen, da der Server eh die meiste zeit "herum idlen" wird, somit werden die temp Downloads/etc daweil auf der 2,5" ausgelagert, und erst bei Beendigung auf den Storage verschoben, spart +/- 20W.


Nach vielem herumspielen/ärgern bin ich jetzt im Endeffekt bei folgender Software konfiguration:


VMware ESXI 5.5
pfSense
OpenMediaVault

Mit dieser Configuration und o.g. Hardware bekomme ich einen Stromverbrauch von +/-30W im Idle bei spin down des Storages, +/-50W im Idle mit aktivem Storage.

Testweise wurde auch Proxmox/Hyper-V, Sophos UTM und XPenology probiert, ich persönlich kam damit nicht klar, obwohl Proxmox ansich ne gute Basis war, jedoch Probleme mit dem Passthrough vom onboard controller hatte.

Jetzt weiß ich gar nicht was ich für euch schreiben soll, wenn gewünscht, schreib ich gerne einen bebilderten Guide bez ESXI config/pfsense, bzw poste gerne weitere Details zur Config.


#Update
Das _fast_ finale Setup steht jetzt (Software technisch), VPN guck ich mir noch etwas an (Sophos Build-In, OpenVPN oder Softether, mal gucken)
Hyper-V 2012
Sophos UTM

~20W Idle, ~45W mit aktivem Raid.

irgendwie "traurig" das HyperV mit abstand am Stromsparendsten ist, wird aber vermutlich an den Treibern liegen.

für nachmacher, das ist mein "Basis-Setup" für die UTM mit Dual Wan

click to enlarge click to enlarge click to enlarge
Bearbeitet von deleted5875454 am 20.02.2015, 12:55

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2276
Hört sich ganz nett an, spiel mich grad mit paar etwas ähnlichem.

Alten Laptop wo 2 VMs drauf sollen, 1x pfSense oder die gratis Sophos UTM (wobei eher pfSense wegen resourcen).
Aufn pfSense soll dann proxy, VPN Server etc. laufen. Dann alle WLAN Clients permanent via VPN verbinden und eigenes VLAN mit tagging für die interne Schnittstelle vom pfSense und ein 2. VLAN auf der selben NIC zum Modem. (Laptop hat nur 1 NIC, wär wähl mit nem USB Ethernet Adapter einfacher, aber ... ^^)

Dazu dann noch eine 2. VM mit Owncloud oder Seafile Server und/oder OpenMediaVault und evtl. ne 3. mit XBMC (der Laptop dient auch als HTPC).

Ob alles so läuft wie ich mir das grad vorstelle weiß ich noch nicht. Ist derzeit in der probierphase :D

Hast du aufn pfSense auch proxy etc. laufen?

davebastard

Vinyl-Sammler
Avatar
Registered: Jun 2002
Location: wean
Posts: 12342
ich würd router und NAS immer getrennt betreiben. grund: wenn was hin is nervt es extrem wenn internet auch ned geht.

d.h. den vm-host kannst ja trotzdem so aufbauen. routing/firewalling würd ich aber einer appliance überlassen (wwi consumer router mir openwrt),vpn am besten auch gleich.
proxy kann imho auch virtualisiert laufen.
Bearbeitet von davebastard am 07.02.2015, 16:01

deleted5875454

Bloody Newbie
Registered: Dec 2021
Location:
Posts: 0
Zitat von pinkey
Hört sich ganz nett an, spiel mich grad mit paar etwas ähnlichem.

Alten Laptop wo 2 VMs drauf sollen, 1x pfSense oder die gratis Sophos UTM (wobei eher pfSense wegen resourcen).
Aufn pfSense soll dann proxy, VPN Server etc. laufen. Dann alle WLAN Clients permanent via VPN verbinden und eigenes VLAN mit tagging für die interne Schnittstelle vom pfSense und ein 2. VLAN auf der selben NIC zum Modem. (Laptop hat nur 1 NIC, wär wähl mit nem USB Ethernet Adapter einfacher, aber ... ^^)

Dazu dann noch eine 2. VM mit Owncloud oder Seafile Server und/oder OpenMediaVault und evtl. ne 3. mit XBMC (der Laptop dient auch als HTPC).

Ob alles so läuft wie ich mir das grad vorstelle weiß ich noch nicht. Ist derzeit in der probierphase :D

Hast du aufn pfSense auch proxy etc. laufen?

pfsense macht reines loadbalancing/ping basierendes routing/traffic shaping + openvpn
Probierphase wird bestimmt dauern, ich hab mich in Summe sicher 2Tage mit verschiedenen Software kombinationen herumgespielt, bis es so geklappt hat, wie ich wollte.


@davebastard - grundsätzlich hast du bestimmt recht, ich wollte mir jedoch (vorerst) ein zusätzliches gerät (APU 1d4) ersparen - wobei, ob der router, oder der server kaputt geht, die wahrscheinlichkeit ist denk ich ähnlich groß. Ich denk mir, ESXI ist da eh eine solide Basis(zwecks booten etc) :)

mephisto

Big d00d
Avatar
Registered: Apr 2001
Location: WU
Posts: 152
Hört sich interessant an. Magst du noch eventuell noch ein wenig mehr über die Konfiguration verraten?
Speziell würde mich interessieren wie du den Passthrough gelöst hast bzw. welche VM jetzt was sieht.
Wo hast du ESXi installiert und wo liegen die config files für die VM's? Auf einer HD die am 2. Controller angeschlossen ist? Oder hast du dort die 2,5" HD angeschlossen?
Den Onboard Controller mit den 3 Storage Disks hast du an Openmedia Vault weitergeleitet?
Ist es mit dem T20 auch möglich den PCI Slot an eine VM weiterzuleiten? Ich hätte nämlich auch noch eine TV Karte die ich in eine VM bringen müsste.
Auf jeden Fall ein interessantes Projekt :-)

deleted5875454

Bloody Newbie
Registered: Dec 2021
Location:
Posts: 0
am PCIe Sata Controller hängt nur die 2,5" HDD, auf dem eben ESXI und die VMs liegen + eben eine virtuelle HDD die als Temp laufwerk für die Downloads werkelt.

Je nach Controlle musst du ev. diesen Guide bzw. diesen befolgen, danach kannst du den "Lynx Point AHCI" (=Onboard Sata Controller vom DELL) einfach als Passthrough device konfigurieren, der ist, wie du vermutet hast, direkt an die OMV VM weitergeleitet!
Sonst funktioniert, zumindest bei mir, das Spind Down nicht, selbst wenn ich die HDDs als RDM einbinde.

Soweit ich weiß, sieht dann eben nur die VM die HDDs, welcher der Controller zugeordnet ist (nanonaned laut meiner Logik)

Andere Möglichkeit wäre noch, sich den 2ten Controller zu sparen, und Proxmox zu verwenden, allerdings auf einem USB Stick (32GB Usb3 reicht) - aber wie oben erwähnt, funktioniert das Passthrough nur "halb" - booten der VM dauert mind 5 min, weil er anscheinend treiberseitig einen Konflikt hat, kann aber an meiner mangelnden Kompetenz ebenfalls liegen :)

Wenn großes Interesse daran besteht, teste ichs dir noch aus, ich hab den PCI Slot daweil deaktiviert, weil nicht benötigt.

Werd mich sowieso noch etwas herumspielen, und geg. Falls 2012R2 mit HyperV probieren, weil der lt. hardwareluxx nochmal 10W weniger braucht (besseres power managment/Treiber)
Bearbeitet von deleted5875454 am 07.02.2015, 21:26

mephisto

Big d00d
Avatar
Registered: Apr 2001
Location: WU
Posts: 152
Zitat von Innovaset
...
Sonst funktioniert, zumindest bei mir, das Spind Down nicht, selbst wenn ich die HDDs als RDM einbinde.
...
Wenn großes Interesse daran besteht, teste ichs dir noch aus, ich hab den PCI Slot daweil deaktiviert, weil nicht benötigt.
....
Werd mich sowieso noch etwas herumspielen, und geg. Falls 2012R2 mit HyperV probieren, weil der lt. hardwareluxx nochmal 10W weniger braucht (besseres power managment/Treiber)

Ja das Problem mit dem fehlenden Spin Down bei RDM habe ich mit meinem HP N54L mit ESXi 5.1 auch und verbrauche dadurch einfach viel zu viel Strom. Da ich mit dem N54L jedoch keine Chance auf Passthrough habe bin ich schon länger auf der Suche nach einer anderen Lösung und somit kommt mir dein Erfahrungsbericht gerade recht.

Falls es nicht zu viel Probleme macht wäre ich dir echt dankbar wenn du den PCI passthrough testen könntest denn wenn der auch funktioniert habe ich wohl die Lösung für all meine Probleme gefunden. Mein End Ziel wäre ein ESXi System zu haben auf dem 1- 3 Linux VMs für diverse Websachen wie Owncloud, Gallery, FTP, .. laufen und zusätzlich 1 -2 Windows Systeme für DVBViewer und NAS Funktionalität (setze derzeit auf WHS 2011 mit Drive Bender) laufen.

Die 2012R2 HyperV Variante statt ESXi wäre natürlich auch interessant und wenn du dir das wirklich antust das auch noch zu testen wäre es toll wenn du deine Erkenntnisse hier postest :)

deleted5875454

Bloody Newbie
Registered: Dec 2021
Location:
Posts: 0
Hach, hab jetzt den 2012R2 Probiert, obwohls geschickter gewesen wäre, vorher das PCI Passthrough zu testen

aber gsd gibts google -> http://vmware-forum.de/viewtopic.php?t=30142 sollte funktionieren!


btw. 2012R2 mit Raid5 im Spindown + Pfsense im HyperV

werd mich noch etwas mit Intel XTU spielen, <20W wären das Ziel!

click to enlarge

COLOSSUS

Administrator
GNUltra
Avatar
Registered: Dec 2000
Location: ~
Posts: 12094
Wie waer's, wenn ihr ausgeiwesenen Spezialexperten einfach mal keinen proprietaeren Schas-Hypervisor zum Virtualisieren verwenden wuerdet? :p

deleted428578

Bloody Newbie
Registered: Jul 2024
Location:
Posts: 0
Zitat von COLOSSUS
Wie waer's, wenn ihr ausgeiwesenen Spezialexperten einfach mal keinen proprietaeren Schas-Hypervisor zum Virtualisieren verwenden wuerdet? :p

also in meine beruf könnte ich mit dem wissen über einen brunzbuntu hypervisor schaiszen gehen, da meine kunden ausschließlich mit vmware virtualisieren - und die produkte, die wir verkaufen teilweise nicht mal supporten. insoferm finde ich es gar nicht so blöd privat auch die free variante zu verwenden des "schas-hypervisors" um darüber wissen und erfahrung aufbauen zu können.

Nico

former person of interest
Registered: Sep 2006
Location: -
Posts: 4082
gibts von den experten keine einwände, pfsense in einer vm zu betreiben? bin nur neugierig.

deleted428578

Bloody Newbie
Registered: Jul 2024
Location:
Posts: 0
Zitat von Nico
gibts von den experten keine einwände, pfsense in einer vm zu betreiben? bin nur neugierig.

man betreibt eigentlich keine sicherheitskritische realtime infrastruktur (im sinne von zB firewall) in einer VM wäre der einwand gewesen. im privatumfeld egal, aber als security consultant muss ich die kundschaft darauf hinweisen, dass das keine best practice ist.

heroman

HDTV!
Avatar
Registered: Aug 2004
Location: auf da Welt
Posts: 2173
ack, privat ist es vollkommen egal. Ansonsten absolutes no-go


hat schon jemand die Sophos UTM Free Edition ausprobiert?

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2276
Zitat von heroman
ack, privat ist es vollkommen egal. Ansonsten absolutes no-go


hat schon jemand die Sophos UTM Free Edition ausprobiert?

ja aber nur kurz rumgeklickt. schaut nett aus, aber braucht ordentlich ressourcen.

deleted428578

Bloody Newbie
Registered: Jul 2024
Location:
Posts: 0
Zitat von pinkey
ja aber nur kurz rumgeklickt. schaut nett aus, aber braucht ordentlich ressourcen.

ja, is ganz brauchbar. macht features wie application control, IPS gut bedienbar (stinkt aber gegen checkpoint gewaltig ab :) )und VPN leicht administriebar. preis leistung ist - finde ich - unschlagbar.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz