"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

über 4000 geräte in ein netzwerk

sebostyler 25.10.2017 - 06:41 23222 80 Thread rating
Posts

erynthor

Bloody Newbie
Registered: Sep 2014
Location: sw
Posts: 18
Zitat aus einem Post von COLOSSUS
Das ist eigentlich gar kein so arges Problem und laesst sich, mit etwas handwerklichem Geschick und kreativem Erfindergeist, durchaus kostenguenstig loesen. Ich hab hier mal eine kleine Aufstellung ueber die voraussichtlich benoetigte Hardware erstellt, die dir weiterhelfen sollte. Ein paar Schuko-Ports bleiben absichtlich fuer weitere Steckdosenleisten uebrig, um daran dann die Compute Nodes betreiben zu koennen. Der Strom dafuer kommt aus der Steckdose. Bei der Verkabelung habe ich nicht so strikt auf minimale Laengen und Kompaktheit optimiert - ich bin eher ueberschlagsmaeszig vorgegangen, sodass sich der Aufbau raeumlich ausgeht, auch wenn ihr in alle drei Dimensionen wachsen muesst oder wollt. So ein Projekt muss ja auch skalieren!

modularer Aufbau, sehr gut +1

Rogaahl

Super Moderator
interrupt
Avatar
Registered: Feb 2014
Location: K
Posts: 2334
Wird sich wohl eher um ASICs handeln. Wegen strom musst dir auf jeden fall was individuelles überlegen, da für jedes gerät ein eigenes billig Netzteil zu verwenden ist inefficient, Wartungsaufwändig und gefährlich.

Zudem würde ich es gut finden wenn man so ein Projekt gleich von Anfang an so plant das die abwärme in Wärmespeicher geleitet wird, die Anschaffung wäre in relation zu den Geräten ziemlich gering.

Smut

takeover & ether
Avatar
Registered: Feb 2003
Location: VIE
Posts: 16842
Zitat aus einem Post von othan
ich frag mich grad, wie viel traffic so ein miner generiert, dass da mit grossen Cisco Switches und Routern gebaut werden muss.
Musst du eh nicht. Nur Verkabelungen und Erfahrungen dieser Größenordnung hast halt mit Enterprise Switches - allein die switching Topologie in dieser Größe erfordert zb. Stp. Das können zb. Die von colo verlinkten so nicht (war vermutlich auch ein Spaß), nur wie würdest hier die Topologie abbilden? Allein mit den uplink Ports hast eben Mega Aufwand. abgesehen davon reicht die Mac table bei 0815 Hardware in der Regel nicht für 4-5k aus. Da sind soviele Preistreiber, wenn man derartige Skalierung über Netzwerknodes abbilden will.

semteX

begehrt die rostschaufel
Avatar
Registered: Oct 2002
Location: Pre
Posts: 14625
Zitat aus einem Post von Rogaahl
Wird sich wohl eher um ASICs handeln. Wegen strom musst dir auf jeden fall was individuelles überlegen, da für jedes gerät ein eigenes billig Netzteil zu verwenden ist inefficient, Wartungsaufwändig und gefährlich.

Zudem würde ich es gut finden wenn man so ein Projekt gleich von Anfang an so plant das die abwärme in Wärmespeicher geleitet wird, die Anschaffung wäre in relation zu den Geräten ziemlich gering.

4.000 ASICS? wenns was gscheits ist simma da in regionen von knappen 4 Megawatt. Ich würd sagen da hast andere schmerzen als switches. Ansonsten kann ich mich nur dem colo anschließen. ich würd es genau so bauen. eigentlich kann damit nix mehr schief gehen!

Rogaahl

Super Moderator
interrupt
Avatar
Registered: Feb 2014
Location: K
Posts: 2334
Zitat aus einem Post von semteX
4.000 ASICS? wenns was gscheits ist simma da in regionen von knappen 4 Megawatt. Ich würd sagen da hast andere schmerzen als switches. Ansonsten kann ich mich nur dem colo anschließen. ich würd es genau so bauen. eigentlich kann damit nix mehr schief gehen!

Kommt ganz darauf an was und wie gemined wird. Um ein beispiel zu nennen.. Obelisk

semteX

begehrt die rostschaufel
Avatar
Registered: Oct 2002
Location: Pre
Posts: 14625
joa, sinds noch immer 2 MW. guten tag und gute nacht, hätt ich gesagt :D

natürlich kannst mit irgendwelchen ANT Minern minen, aber dann frisst dich halt der infrastruktur overhead

othan

Layer 8 Problem
Avatar
Registered: Nov 2001
Location: Switzerland
Posts: 4231
Zitat aus einem Post von Smut
Musst du eh nicht. Nur Verkabelungen und Erfahrungen dieser Größenordnung hast halt mit Enterprise Switches - allein die switching Topologie in dieser Größe erfordert zb. Stp. Das können zb. Die von colo verlinkten so nicht (war vermutlich auch ein Spaß), nur wie würdest hier die Topologie abbilden? Allein mit den uplink Ports hast eben Mega Aufwand. abgesehen davon reicht die Mac table bei 0815 Hardware in der Regel nicht für 4-5k aus. Da sind soviele Preistreiber, wenn man derartige Skalierung über Netzwerknodes abbilden will.

Klar sind Enterprise Komponenten die bessere Lösung.

Ich geh jetzt mal einen anderen Ansatz: Optimieren wir aber genau auf den Einsatzzweck und möglichst geringe kosten.
Sagen wir, dass jeder Miner nur wenige hundert MB Traffic pro Tag verursacht.
Was stört es dann, wenn 20-30% des Traffics für Overhead drauf geht?
Kann mir doch eigentlich egal sein, wenn die Mac Table dauernd neu aufgebaut werden muss, solange genug Netzkapazität für den Rest über bleibt.
Wenn die Übertragungen nicht zeitkritisch sind und das Übertragungsprotokoll es zulässt, dass ab und zu ein Paket gedroppt wird, sollte es doch kein Problem sein.

Ich hätte jetzt nicht gerade die Lösung von Colo genommen, aber zumindest einfache KMU-Komponenten (können ja aus der Cisco Small-Business Serie sein).

Ich frage mich, wie das in China gelöst ist, die betreiben da ganze Miningfarmen in Wellblech Hütten.
Aber die verwenden auch Schraubenzieher als 30 Ampere Sicherung ;)

/EDIT: @sebostyler mein Geschreibsel nicht zu ernst nehmen, sowas braucht Erfahrungswerte. Nicht, dass du gleich losläufst und allen Empfehlungen zum trotz irgendwas kaufst ;)
Bearbeitet von othan am 26.10.2017, 08:36

BiG_WEaSeL

Super Moderator
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8300
Zitat aus einem Post von othan
Ich hätte jetzt nicht gerade die Lösung von Colo genommen, aber zumindest einfache KMU-Komponenten (können ja aus der Cisco Small-Business Serie sein).

Ich habe im Büro 2 Cisco SG200-50 im Einsatz. Selbst die kosten halt immer noch 389 Euro pro Stück.

Hansmaulwurf

u wot m8?
Avatar
Registered: Apr 2005
Location: VBG
Posts: 5639
Zitat aus einem Post von BiG_WEaSeL
Ich habe im Büro 2 Cisco SG200-50 im Einsatz. Selbst die kosten halt immer noch 389 Euro pro Stück.
Ja, aber mit 50k bist imho in einem Bereich der locker drinnen sein muss, wobei die Kosten imho sowieso nicht ganz schlüssig sind: Wenn ich rechne das ein Miner 2000€ kostet (für ASIC wahrsch. zu wenig, für GraKa-Rig im Rahmen) dann haben sie sowieso schon mal 8 Mille nur für die Miner hingelegt. Da müsste ein Netzwerk für ~100k eigentlich locker drin sein.
Bearbeitet von Hansmaulwurf am 26.10.2017, 10:55

Hampti

Overclocking Team Member
Avatar
Registered: Feb 2004
Location: Wien
Posts: 4167
also irgendwie kann ich mir nicht vorstellen dass diese miningfarm schon formen angenommen hat.....vorallem in österreich an 4000 ASIC Miner kommen und das in einer absehbaren Zeit halte ich für unmöglich. Irgendwie ist das ganze denke ich eher ein was wäre wenn gschichtl.........weil wer nimmt soviel geld in die hand ohne eine ahnung davon zu haben?

othan

Layer 8 Problem
Avatar
Registered: Nov 2001
Location: Switzerland
Posts: 4231
Zitat aus einem Post von BiG_WEaSeL
Ich habe im Büro 2 Cisco SG200-50 im Einsatz. Selbst die kosten halt immer noch 389 Euro pro Stück.

Immer noch günstiger als z.b. Cisco 3560er oder was gerade aktuell ist.

xaxoxix

Dagegen da eigene Meinung
Avatar
Registered: Mar 2003
Location: Hinterbrühl - N..
Posts: 614
ich werd das gefühl nicht los, dass das ein scherz war sorry

Maestro

:)
Avatar
Registered: Nov 2005
Location: Wr. Neustadt
Posts: 763
es war einfach sehr sehr sehr sehr sehr naiv ;)

Pedro

Legend
-------------------------
Registered: May 2000
Location: Europe
Posts: 3908
Zitat aus einem Post von Maestro
es war einfach sehr sehr sehr sehr sehr naiv ;)
War? Vielmehr "ist"!

Strombedarf plus Abwärme und damit einhergehende Issues sollten (wenns denn keine zeitverschwendende Hirnwi...frage ist - ned bös gemeint!) lange vor der Überlegung der restlichen Infrastruktur (Verkabelung etc.) einigermaßen akribisch angegangen werden. Da reicht es sicher nicht sich irgend ein Youtube Video so nebenbei reinzuziehen und dann der Meinung zu sein eine Farm hinstellen zu können (funktionierend mein ich)

Frage 1: Ist das wahrlich durchdacht und ernst gemeint, immerhin ist das doch ein Investment?

Frage 2 (Antwort sollte binnen Sekunden kommen): Was zahlst denn per kw/h inkl. allem pipapo? Quasi bei derlei Themen wie die Frage wo as Spatzi is... das muss sitzen (also die Frage/Antwort, ned as Spatzi)
Wenn nicht beantwortbar: Zurück zu Frage 1

Frage 3 (Sollte ebenfalls schnell ne Antwort parat sein): Wie schauts denn mit Querschnitten der Leitungen und Absicherung dieser, bishin zu den einzelnen Schukos aus?
Wenn nicht beantwortbar: Zurück zu Frage 1

Frage 4: Sicherungskasten -Nebenfrage zu (3)- schon gesehen? Wie viel noch frei am Hutschienerl?
Wenn nicht beantwortbar: Zurück zu Frage 1

Ich kann Dir nur ernsthaft ans Herz legen (so das keine auf Luftblasen und/oder Spaß basierende Frage ist) derlei öden Shit zu klären.
Sonst seh ich da (im wahrsten Sinne des Wortes... permanent) schwarz bzw. schnell mal die Florianis vorfahren, und da gehts no ned amal im Ansatz um Switches und Steckerleisten, PDUs und sonstigen zu berücksichtigenden Kram.

Nur zur Veranschaulichung, ich hab mir einen dezidierten 16A Kreis legen/ziehen lassen (LS 16A Träge, 2,5er Kabel gsd recht kurz mit roundabout 7,5m, Dose) um damit meine zwei popeligen 8er Rigs fahren zu können, ohne dass man permanent im finstern sitzt, nur weil jemand den Staubsauger im Kellerstromkreis anmacht. Von der Sorge eventuell warm werdender Kabel durch die permanente Belastung von rund 2.2kw bei 0815 Absicherung mit lediglich 13A und einem Querschnitt von 1,5mm² fang ich jetzt erst gar nicht an.

Wennst dann mal die Elektro Basics hast, musst Dir überlegen was denn mit der bissl Abwärme so passieren soll/muss/darf.
Wie gesagt, i red ned gern über 4k Miner Gschichten, sondern lieber über meine faktisch vorhandenen Erfahrungen mit meinen zwei Stück existenten Minern im Keller, und diesbezüglich kann ich Dir sagen dass des so schon ein Megatopic ist. Denn allein meine 16 GPUs machens sehr sehr kuschelig (i sprech jetzt mit kuschelig von Datum heute, und ned Hochsommer!). Bei 4K Minern plus anderem Kram wie z.B. bereits erwähnte Switches etc. (der benötigt werden wird) ist Klimatisierung mindestens so wichtig wie Elektro. Und wir sind da noch immer nicht bei den Minern selbst. Fad, i know. Aber wichtig.

Selbst wenn das alles passt... darfst dort, wo Du das machen willst das so überhaupt machen? Würd mich da erkundigen, kann sonst blöd enden.
Wie schauts aus mit Sicherheit? Oder stellst auf die schnelle mal einige zig bis eher hundert tausend in die Scheune auf der Wiese und gut is? Eher nicht, wie ich meine. Hier geht's dann u.a. um die Widmung, denn eine Wohnung (davon geh ich mal eher nicht aus, das kann ned funktionieren, ausser er hat nen Flux Kompensator rumstehen bzw. kalte Fusion im Griff) wird Dir keinerlei Needs (Elektro, Kühlung, Sicherheit) bieten.

:e:
Solltest aber allen ernstes die Kohle (also so nen richtig großen Haufen davon) haben (ohne dass Dir allerdings dann die Kreditmafia irgend wann mal die Knie bricht und Dich zerstückelt oder sowas in der Art) wäre es mir eine Freude, mich mal mit Dir zusammensetzen zu können, denn das könnte ein wahrlich interessantes Projekt sein (Selbst nur als "Spectator" vom quasi weißen Blatt Papier, über Estrich, Halle aufstellen, Regale aufziehen... bishin den ersten Miner auspacken und in Betrieb nehmen... ned falsch verstehen, Estrich gießen geht ma dezent wo vorbei, auch Schwerlastregale aufstellen zuschaunen... aber generell wärs schon spannend.
Bearbeitet von Pedro am 26.10.2017, 20:52

ENIAC

Do you Voodoo
Avatar
Registered: Sep 2003
Location: Klosterneuburg
Posts: 1764
Zitat aus einem Post von Pedro
:e:
Solltest aber allen ernstes die Kohle (also so nen richtig großen Haufen davon) haben (ohne dass Dir allerdings dann die Kreditmafia irgend wann mal die Knie bricht und Dich zerstückelt oder sowas in der Art) wäre es mir eine Freude, mich mal mit Dir zusammensetzen zu können, denn das könnte ein wahrlich interessantes Projekt sein (Selbst nur als "Spectator" vom quasi weißen Blatt Papier, über Estrich, Halle aufstellen, Regale aufziehen... bishin den ersten Miner auspacken und in Betrieb nehmen... ned falsch verstehen, Estrich gießen geht ma dezent wo vorbei, auch Schwerlastregale aufstellen zuschaunen... aber generell wärs schon spannend.
Da wäre ich auch gern dabei ;) :D
Sprich wennst so etwas großes hier in Österreich aufbaust, stünden dir sicher viele hier auf oc.at mit ihrer Expertise zur Seite...
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz