"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Asus KRPA-U16 - onboard raid möglich? Intel Alternative für Systembau?

questionmarc 15.09.2022 - 17:32 18350 29
Posts

Philipp

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1922
Zitat aus einem Post von questionmarc
Das ist eben die Frage, geht man da besser zu Intel? Hätt kein Problem damit, es ist mir eben nur aufgefallen dass bei keinem Epyc Board was von RAID steht - geht das onboard also per se ned?

SATA SSDs, keine HDDs.
Die IOs mit dem ML30 mit 3x 960GB onboard im RAID5 waren überraschend gut, sodass wir auf die Idee gekommen sind das nachzubauen.. Epyc ist aber kein muss wenn das ned geht - das war eigentlich die Frage.. ;)
Die EPYC System haben 128 PCIe Lanes und bietet daher die möglich sehr viele NVMe SSDs mit voller Bandbreite gleichzeitig anzubinden.

Ich betreue jetzt 2 AMD EPYC Server mit 8x U.2 NVMe SSDs im ZFS RAID. Die vorigen Systeme waren Dual-Xeons mit 4x SATA SSDs und Hardware-RAID. Der Unterschied? Das Abarbeiten einer größeren Matomo Datenbank hat früher 4 Stunden gedauert, während es jetzt ca. 5 Minuten dauert :eek:.

questionmarc

Here to stay
Registered: Jul 2001
Location: -
Posts: 5038
K, also gleich weg vom hw raid, und sowas, oder wie? :)

https://geizhals.at/?cat=hdssd&...hloc=at&v=e

Sind preislich eh ned überaus abschreckend zum teil :)
Muss mir das morgen mit meinem kollegen noch genauer anschauen, auch nochmal system/virtualisierung/anforderung genau absprechen :)

Jedimaster

Here to stay
Avatar
Registered: Dec 2005
Location: Linz
Posts: 2975

questionmarc

Here to stay
Registered: Jul 2001
Location: -
Posts: 5038
Zitat aus einem Post von Jedimaster
Alternative wäre auch sowas:

https://geizhals.at/samsung-oem-dat...02.html?hloc=at

sowie

https://geizhals.at/asus-hyper-m-2-...0-a2267859.html

danke für den link, dieser satz auf der asus hp der trägerkarte beantwortet eigentlich meine ursprüngliche frage ;)

Zitat
Intel® platform RAID-on-CPU functions

scheint also wirklich ein intel cpu/chipsatz feature zu sein, wusste ich gar ned, dass das bei amd nicht so ist

wenn das ding halt noch raid5 support hätt.. aber für 50 eur hehe, is klar ;) da veranschlagt man 500-800 eur netto nur für das motherboard und steckt dann so eine karte rein ;) lauter einzelne nvme drives mit 4gb oder 8gb wollen wir halt auch ned, es sollten schon so 12TB am stück sein, 4x4 oder 3x8 oder so..

wir könnens ja auch so machen, ich bin für jeden systembau-vorschlag dankbar!
gesamtbudget würd ich mal mit ca. 4.000-5000 netto veranschlagen, dual psu wär nice, ist aber kein must-have. 12tb netto wär gut, nvme und performance extra-nice, aber read wichtiger als write (der rps wächst inkrementell und mit dedup nicht so rasant) , sata 6g hätte imho genügt. 8 kerne lieber als nur 4, ram so 64gb. anforderungen kann ich morgen noch genauer skizzieren, aber wie gesagt, kollege nutzt schon proxmox für seine spielereien, dann soll ein arcserve rps sync stattfinden vom primären rps, der dann in der lage ist, schnelle restores zu streamen. jetzige performance ist einfach zu lahm..
Bearbeitet von questionmarc am 15.09.2022, 21:11

Jedimaster

Here to stay
Avatar
Registered: Dec 2005
Location: Linz
Posts: 2975
Naja der m.2 bau hat den vorteil das man die nvme's später wo verwenden kann (normaler pc) im gegensatz u dem 'Professional' zeug aus der Serverwelt. Man kann übrigens mehr als eine dieser Karten nutzen mit den irren Mengen an PCI-E LANES der epics ;)

Philipp

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1922
Zitat aus einem Post von questionmarc
K, also gleich weg vom hw raid, und sowas, oder wie? :)
Zumindest bei den größeren EPYC Konfigurationen würde Hardware RAID nicht funktionieren, da eine normale Controllerkarte praktisch nur die max. Bandbreite für 4 NVMe SSDs bietet. Es gibt z.B. auch EPYC Systeme mit 24 NVMe SSDs, das sind schon 96 PCIe Lanes bzw. 6 PCIe x16 Slots :eek:

Zitat aus einem Post von questionmarc
wir könnens ja auch so machen, ich bin für jeden systembau-vorschlag dankbar!
gesamtbudget würd ich mal mit ca. 4.000-5000 netto veranschlagen, dual psu wär nice, ist aber kein must-have. 12tb netto wär gut, nvme und performance extra-nice, aber read wichtiger als write (der rps wächst inkrementell und mit dedup nicht so rasant) , sata 6g hätte imho genügt. 8 kerne lieber als nur 4, ram so 64gb. anforderungen kann ich morgen noch genauer skizzieren, aber wie gesagt, kollege nutzt schon proxmox für seine spielereien, dann soll ein arcserve rps sync stattfinden vom primären rps, der dann in der lage ist, schnelle restores zu streamen. jetzige performance ist einfach zu lahm..
Wäre da nicht vielleicht ein normaler Ryzen besser? Es gibt von ASRock entsprechende Serverboards: https://geizhals.at/?cat=mbam4&xf=544_ASRock+Rack

Den EPYC würde ich nur nehmen, wenn das System auch wirklich ausgenützt wird.

questionmarc

Here to stay
Registered: Jul 2001
Location: -
Posts: 5038
@Jedi: Das Ding kostet eh nix, das bestell ich zum testen mal so oder so :D den Rest muss ich dann zum besprechen in die Technik geben, ich bin ja nur sales.. :p

Danke schonmal für jeden Input, der Thread hilft ma jetzt schon sehr weiter :)


Zitat aus einem Post von Philipp
Wäre da nicht vielleicht ein normaler Ryzen besser? Es gibt von ASRock entsprechende Serverboards: https://geizhals.at/?cat=mbam4&xf=544_ASRock+Rack

Den EPYC würde ich nur nehmen, wenn das System auch wirklich ausgenützt wird.

Bis jetzt waren nvme's für das Szenario ja noch nicht Thema, das kann sich morgen im Büro ja schon ändern :D Ich bin für alles offen, was auch a bissl ins Budget passt ;) und die Anforderungen erfüllt und dankbar für Vorschläge :)
Bearbeitet von questionmarc am 15.09.2022, 21:33

schichtleiter

Addicted
Avatar
Registered: Sep 2006
Location: OTK4Life
Posts: 415
Ich versteh echt nicht ganz warum du keinen Hypervisor willst? Egal ob proxmox, vmware, unraid, die regeln das storage management alle locker und mit links. Und nur 1 os auf so einer kistn is doch eh massive Verschwendung...

Auf den 32 Core Ryzens kannst locker (konservativ overprovisioned) 20 VMs rennen haben.
Bearbeitet von schichtleiter am 16.09.2022, 00:36

Jedimaster

Here to stay
Avatar
Registered: Dec 2005
Location: Linz
Posts: 2975
Ne Anmerkung zum Ryzen: Der hat nur 24 PCI-E Lanes ... wennst da 16 für so ne Riser-Karte brauchst, 4 für den Chipsatz und 4 die dezitierte M.2 ... ists nicht so viel mit den PCI-E Lanes für die GPU ;)

Ne 5700G zb. würde natürlich funktionieren und die Frage ist ob die GPU was leisten soll/muss ;)

Threadripper wäre evtl. auch ne Alternative ?

questionmarc

Here to stay
Registered: Jul 2001
Location: -
Posts: 5038
Zitat aus einem Post von schichtleiter
Ich versteh echt nicht ganz warum du keinen Hypervisor willst? Egal ob proxmox, vmware, unraid, die regeln das storage management alle locker und mit links. Und nur 1 os auf so einer kistn is doch eh massive Verschwendung...

Auf den 32 Core Ryzens kannst locker (konservativ overprovisioned) 20 VMs rennen haben.

ich glaub proxmox hab ich 2 oder 3 mal erwähnt ;)
es kommt beim eigeneinsatz für uns natürlich ein hypervisor drauf, das ist (mir jetzt) eh klar
lt. kollege war die frage auch dahingehend, ob das eine kostengünstige "nachbaulösung" für kunden sein könnte, wo man sich nicht mit virtualisierung spielt sondern einfach preis/leistung macht mit besserer verfügbarkeit als bei hpe/lenovo einstiegs-servern.

hier die benchmarks mit dem "onboard"-raid5 mit dem intel vroc-controller des ml30, den wir grade zufällig für was anderes im haus hatten.
da sind 3x Samsung SM883 960GB, SATA im Verbund:

intel_raid5_as-ssd_1gb_260147.png intel_raid5_as-ssd_10gb_260148.png

lahm ist das jetzt nicht für lösung ohne hw-controller :) der ml30 ist halt nur ein 4-core und das wär uns zu wenig, und konfigurieren mit stärkerer cpu dauert atm monate, ohne fixes lieferdatum ganz allgemein..



epyc und nvme ist jetzt bei uns definitiv ein Thema...

was hat es eigentlich mit diesen schnittstellen am asus mb auf sich, wie würde man diese am besten nutzen?
6x OCuLink (PCIe 3.0 x4)
Bearbeitet von questionmarc am 16.09.2022, 09:29

Philipp

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1922
Zitat aus einem Post von Jedimaster
Ne Anmerkung zum Ryzen: Der hat nur 24 PCI-E Lanes ... wennst da 16 für so ne Riser-Karte brauchst, 4 für den Chipsatz und 4 die dezitierte M.2 ... ists nicht so viel mit den PCI-E Lanes für die GPU ;)

Deswegen habe ich auch die ASRock Serverboards verlinkt. Dort ist eine einfache GPU schon integriert, die anscheinend über den Chipsatz läuft. Dort steht ein voller x16 Slot für 4x NVMe zur Verfügung.

Zitat aus einem Post von questionmarc
was hat es eigentlich mit diesen schnittstellen am asus mb auf sich, wie würde man diese am besten nutzen?
6x OCuLink (PCIe 3.0 x4)
Dort kann man mittels Adapter bis zu 12 U.2 SSDs anschließen

questionmarc

Here to stay
Registered: Jul 2001
Location: -
Posts: 5038
ich glaub er will eh epyc jetzt ;) das passt schon so, und gpu brauchen wir nicht..
grad in der sekunde kam ne neue wishlist rein von ihm - wollt ihr mal kurz drüberschaun bitte? danke! :)

Philipp

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1922
Bei der Konfiguration glaube ich aber das ein Ryzen wirklich die bessere Wahl wäre.

Zur Konfiguration selbst:
EPYC verwendet ein Octa Channel Speicherinterface und sollte daher mit 8 RAM Riegel betrieben werden.

Die verwendete EPYC CPU ist schon gut 3 Jahre alt und basiert noch auf Zen 2.

Threadripper RGB Kühler?

U.2/U.3 SSDs werden meistens in Wechselrahmen betrieben, da man diese auch im Betrieb wechseln kann. Sieht z.B. so aus: https://www.gigabyte.com/Enterprise...Server?fid=2298

Garbage

Administrator
The Wizard of Owls
Avatar
Registered: Jul 2000
Location: GR.ch|TI.ch
Posts: 11335
RGB hin oder her, der Arctic ist einer der Besten, wenn nicht sogar der beste Luftkühler den es für Threadripper/Epyc gibt und der Preis ist ohnehin unschlagbar.

Die Montage ist halt nicht für viele Montagen ausgelegt, aber das wird hier wohl nicht das Problem sein.

questionmarc

Here to stay
Registered: Jul 2001
Location: -
Posts: 5038
Zitat aus einem Post von Philipp
Bei der Konfiguration glaube ich aber das ein Ryzen wirklich die bessere Wahl wäre.

Zur Konfiguration selbst:
EPYC verwendet ein Octa Channel Speicherinterface und sollte daher mit 8 RAM Riegel betrieben werden.

Die verwendete EPYC CPU ist schon gut 3 Jahre alt und basiert noch auf Zen 2.

Threadripper RGB Kühler?

U.2/U.3 SSDs werden meistens in Wechselrahmen betrieben, da man diese auch im Betrieb wechseln kann. Sieht z.B. so aus: https://www.gigabyte.com/Enterprise...Server?fid=2298


danke für dein feedback :)

- ihm gefällt das board so, von daher lieber epyc als ryzen, da werde ich gegen ne wand reden ;) und wer weiß, wie wir den dann noch upgraden/ausreizen künftig, von daher passt das imho schon so.
- 8gb vs 16gb geb ich weiter
- alter ist sekundär, 8 cores / 16 threads genügen, schau mal den preisunterschied zur günstigsten epyc zen3 cpu an ;) https://geizhals.at/?cmp=2492452&am...95&active=1 plv beim 8-core passen schon sehr gut imho :)
- kühler wurde nur "irgendwas" genommen damits in der liste steht, das ist ein platzhalter - bitte gerne einen vernünftigen vorschlag :)

rest dann ab nächster woche, wir sind schon im feierabend und tauschen uns bis mo nicht mehr aus ;)
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz