Projekt gestartet : 32 Node Cluster SKYNET

metH-

broadband geek =]

Registered: Jun 2000
Location: 217.196.80.129
Posts: 648

20.02.2004 - 15:09

Zitat von Andy123
ich wollt vor kurzem einen cluster unter win 2k advanced server mit 2 3,2 Gh rechner machen aber es hat nicht gefuntzt weil ich keine SCSI (nur SATA HDDS) hatte ..

ka wie das beim Win 2k3 server is .. weis das wer ob das bei dem mit SATA hdds schon geht?

dass der cluster nicht funktioniert, liegt nicht an den sata platten sondern an dem, dass 1.) die win-cluster funktion erbärmlich ******* is und 2.) wenn du bei deinem cluster eine ressource baust zB.) physikalische disk (sharen) willst, funktioniert dass nur mit SCSI platten, wovon ich aber positv überrascht bin is die networkloadbalancing funktion, die hat mir einiges an arbeit gespart, funktioniert toll in meinem einsatzbereich ( terminalserver clustering)

Pedro

Vereinsmitglied
-------------------------

Registered: May 2000
Location: Europe
Posts: 3908

20.02.2004 - 15:20

Hiho,

mir persönlich ist´s recht egal wofür er das Teil "braucht", obs "Sinnlos" ist oder was auch immer ...

ich finds absolut cool, das einer mal etwas macht, was nicht unbedingt dem 0815 "Gewäsch" der breiten Masse entspricht.

Allein der Gedanke mal etwas "anderes" zu probieren ist Lobenswert - und ihm wegen fehlenden codingkenntnissen nahezulegen es besser zu lassen find ich leicht ... hm ... "unpassend".

Schliesslich ist es so, dass das ganze Leben ein einziger langer Lernprozess ist, und jene, die viel neues Probieren, sollten eher nicht durch solche Aussagen gebremst werden.

Sinnlos? - kA
teuer? - keine Frage
Alltagstauglich? - ziemlich sicher nicht - wobei wer weiss ...

Trotzdem Hut ab, denn das ist mal ein Projekt das das Wort "Projekt" wahrlich verdient.

greets
Pedro

crashman

OC Addicted

Registered: Oct 2001
Location: Vienna
Posts: 891

20.02.2004 - 16:20

Zitat von metH-
Zitat von Luki1987
Ja, das ist mir schon klar Aber angenommen es bestellen ca. 12 oder 13 Leute. Mit wieviel Rabatt können wir dann (ungefähr) rechnen? Mich interessiert nur eine ganz grobe Schätzung. Also ob wir jetzt 10 oder 5 oder 2 Prozent bekommen. Kannst du da überhaupt keine Info geben, oder?
MfG

Hm ist das net ein widerspruch?

hängt das net total vom verwendeten Betriebssystem, Dateisystem und der Middleware ab?
Der windows cluster ist ja soweit ich mich erinnere nur glorifiziertes load balancing und kein echtes verteiltes system. Zumindestens war das vor ein paar jahren noch so als ich mich dafür interessiert hab. Vielleicht ist er heute ja schon besser.

Oculus

void

Registered: Jun 2001
Location: schlafzimmer
Posts: 856

20.02.2004 - 16:36

jo, 2003er cluster sind im prinzip loadgebalancte ressourcenaufteilung, wobei es natürlich nur dann sinn macht, wenn die clusternodes mit >1gbit auf einem eigenen switch hängen

für terminal- oder webserver wunderbar geeignet, aber für computing-szenarien natürlich überhaupt nicht

die handhabung aber ist wunderbar einfach und es funktioniert auch sehr gut
aber wie gesagt, nur für diese zwecke

metH-

broadband geek =]

Registered: Jun 2000
Location: 217.196.80.129
Posts: 648

20.02.2004 - 16:59

Zitat von crashman
Hm ist das net ein widerspruch?

hängt das net total vom verwendeten Betriebssystem, Dateisystem und der Middleware ab?
Der windows cluster ist ja soweit ich mich erinnere nur glorifiziertes load balancing und kein echtes verteiltes system. Zumindestens war das vor ein paar jahren noch so als ich mich dafür interessiert hab. Vielleicht ist er heute ja schon besser.

damit war gmeint, das im allgemeinen die windows cluster funktion, meines ersichtens kompletter schrott ist. (was für mich so viel heisst- nicht für "wirkliches" clustering anwendbar) meine persönliche erfahrung damit war, dass einfach die std. windows clustering funktion, und das für tse vorgesehen sessiondirectory bei mir nicht funktionierte. bzw er nicht ein wirklich loadbalancing gemacht hat, schliesslich und endlich hab ichs mit der networkloadbalancing funktion soweit hingebracht, dass er die user schön und wirklich "shaped" auf die server verteilt.

Gary

CPU Fetischist

Registered: Apr 2000
Location: Linz / Freistadt
Posts: 1446

20.02.2004 - 19:11

@ Pedro Du sprichst mir wieder mal aus der Seele - genau das habe ich gemeint - Sinnlos ka - Nutzen ka - Fun und daraus lernen

Das Gehäuse wird ca aussehen wie ein ein Schrank, wobei ich mir die Option offenhalte auf 20 Nodes aufzurüsten. Anfangen kann ich ja mal mit 4 zum testen. die Mainboards werden senkrecht in Schienen geführt, so wie man es von grossen Telefonanlagen kennt. Wie gesagt werden die einzelnen Netzanschlüsse direkt zum Mainboard gehen und hinten an die Kupfernschienen wo die Netzteile dranhängen. Oben im Case werden grosse 220 Volt Lüfter montiert die für die Frischluft sorgen. An die ganzen Anschlüsse kommt man dann gleich von vorne ran. Mir schwirren halt schon viele Ideen im Kopf herum. Also an der Hardwareumsetzung sollts nicht liegen.

Meine grösste Frage: Echte Clusternodes sind ja über eine spezielle Schnittstelle (offener 32 Bit Bus usw.) verbunden. Lässt sich das auch über die boardeigenen PCI Steckplätze realisieren. Meintewegen mit Adapterkarten. Das würde dann mal die LAN Frage klären weil Boards mit GB LAN san dann schon wieder zu teuer - und 100ter ist ja zu langsam.

Ok zum Funfaktor : Ich will definitiv mehr machen als nur Distributed Computing. Muss aber nicht gleich ne eigene Programmierung sein, wobei nachher kann man sich ja spielen.

OS kommt ja dann Windows eher nicht in Frage - FreeBSD wäre dann noch eher meins - müsste doch auch klappen oder ?

greetz

Gary

theone

Banned by Moderators

Registered: Feb 2004
Location: vienna
Posts: 297

20.02.2004 - 19:16

Ich würde auch sagen, daß ein quad opteron server wesentlich mehr power hätte.... außerdem würde das mit _einem_ mobo gehen ... billige opterons bekommst bei ebay... (aber Achtung, da sind viele Abzocker unterwegs)

TOM

Vereinsmitglied
Oldschool OC.at'ler

Registered: Nov 2000
Location: Vienna
Posts: 7454

20.02.2004 - 19:17

ich find die idee nice, aber ich denke relativ sinnlos wenn man nicht genau weiss was man damit machen wird.... nur zum fun-ausprobieren wärs mir a bissi zu teuer

aber thumbs up

DKCH

Administrator
...

Registered: Aug 2002
Location: #
Posts: 3321

20.02.2004 - 19:20

beowulf müsst ja mit freebsd auch hinhauen, oder?

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 50758

20.02.2004 - 19:31

aso offene bus lösungen sand mir ned bekantn auch würde da der PCI bus ned ganz mitspielen, an deiner stelle würd ich schon an GBit denken sonst verleirst zu viel performance, im c't hab ich mal über ein projekt mit linux gelesen wo man des ganze heimnetz für a Multimedia netz benutz also zB zum DVD rippen und so jeder node hat a eigene funktion bzw mehrere und kan belibig zusammen geschlossen werden weis ab erleider nimma wann des war (irgend wann 2003 eher noch vorm sommer weis aber nimma genau) und auch ned wie des geheissen hat.

zur preis leistung mus sich mich den oberen anschliessen
einzigartigkeit is aber auch viel wert!

als netzteil mus sjo kein antec sein (die CWT sand baugleich zur info und billiger)
mehr ram währen auch kein fehler da du sonst kein platz mehr über is wennst an ramdrive anlegst. (müssen jo keine marken speicher sein)

crashman

OC Addicted

Registered: Oct 2001
Location: Vienna
Posts: 891

20.02.2004 - 20:02

Zitat von theone
Ich würde auch sagen, daß ein quad opteron server wesentlich mehr power hätte.... außerdem würde das mit _einem_ mobo gehen ... billige opterons bekommst bei ebay... (aber Achtung, da sind viele Abzocker unterwegs)

imho wirds mit einem quad teurer als mit seinem cluster. Fertige quad server fangen in amerika bei ca. 10k$ an. Bei uns kenn ich keinen händler der welche führt.
Selber bauen wird auch net viel billiger sein da das mb falls man es überhaupt bekommt sauteuer ist und die 84x opterons auch nicht die billigsten sind.

aber generell kann ich mich nur sysmatrix anschliessen. Wenn du number crunching betreiben wirst ist es wahrscheinlich wesentlich geschickter die pcs als normale clients zu fahren. Ein echtes verteiltes system ist eine extrem komplexe aufgabe und selbst wenn du es ohne grössere Probleme schaffst zu implementieren wirst du wahrscheinlich keine anwendung finden für die es notwendig wäre.
Ich würd das geld eher in einen gscheiten storage server investieren.

Gary

CPU Fetischist

Registered: Apr 2000
Location: Linz / Freistadt
Posts: 1446

20.02.2004 - 20:40

Zitat von crashman
Wenn du number crunching betreiben wirst ist es wahrscheinlich wesentlich geschickter die pcs als normale clients zu fahren.

Also einzeln fahren kann ich die Stations immer noch - sind ja nur in einem Case aber jedes kann natürlich auch individuell arbeiten. Sollte es mit dem Clustern nix werden - was ich ned hoff

Muss mich da eh erst mal reinlesen - ich will eh nix überstürzen und pro Monat dann 4 nodes (bis zu den 20) dazukaufen sollte es funktionieren.

Alleine die technische Herausforderung ist es auch was mich so reizt an dem Ganzen

greetz

Gary

manalishi

tl;dr

Registered: Feb 2001
Location: Feldkirch
Posts: 5977

20.02.2004 - 21:09

ich finde die idee nichtmal schlecht, daraus kannst du einiges lernen. wenn du die kohle hast und sie eben so ausgibst, was solls. gibts denn keine günstigen boards mit gbit anschluss? wie siehts mit firewire/usb (??) eigentlich aus? ich würd sowas kaufen, die gbit switches werden auch günstiger und günstiger.. das brauchst du bei ein paar nodes, sonst verlierst du extrem performance.

Red

OC Addicted

Registered: Jan 2002
Location: vienna
Posts: 2170

20.02.2004 - 21:12

Naja es könnten sich ja alle vereinen und dann den Super Cluster machen!

hrhr nein der Lerneffekt ist sicher der größte Vorteil daraus

theone

Banned by Moderators

Registered: Feb 2004
Location: vienna
Posts: 297

20.02.2004 - 21:29

Zitat von crashman
imho wirds mit einem quad teurer als mit seinem cluster. Fertige quad server fangen in amerika bei ca. 10k$ an. Bei uns kenn ich keinen händler der welche führt.
Selber bauen wird auch net viel billiger sein da das mb falls man es überhaupt bekommt sauteuer ist und die 84x opterons auch nicht die billigsten sind.

aber generell kann ich mich nur sysmatrix anschliessen. Wenn du number crunching betreiben wirst ist es wahrscheinlich wesentlich geschickter die pcs als normale clients zu fahren. Ein echtes verteiltes system ist eine extrem komplexe aufgabe und selbst wenn du es ohne grössere Probleme schaffst zu implementieren wirst du wahrscheinlich keine anwendung finden für die es notwendig wäre.
Ich würd das geld eher in einen gscheiten storage server investieren.

ich hätte auf ebay schon 4 846er (2ghz) Optis um 2000$ kaufen können, und das war VOR der Preisreduzierung um 50%, was amd ja vor kurzem getan hat. Das mobo kann a ned mehr als 1000$ kosten, kommt er auf 3000$, wahrscheinlich weniger...
Ok, ram kommt noch dazu., aber dafür hat er alles auf einem mobo und wahrscheinlich abartig gute Leistung mit vier mal 2ghz und vier eigenen Speicherkontrollern usw...

metH- broadband geek =] Registered: Jun 2000 Location: 217.196.80.129 Posts: 648	20.02.2004 - 15:09 Zitat von Andy123 ich wollt vor kurzem einen cluster unter win 2k advanced server mit 2 3,2 Gh rechner machen aber es hat nicht gefuntzt weil ich keine SCSI (nur SATA HDDS) hatte .. ka wie das beim Win 2k3 server is .. weis das wer ob das bei dem mit SATA hdds schon geht? dass der cluster nicht funktioniert, liegt nicht an den sata platten sondern an dem, dass 1.) die win-cluster funktion erbärmlich ******* is und 2.) wenn du bei deinem cluster eine ressource baust zB.) physikalische disk (sharen) willst, funktioniert dass nur mit SCSI platten, wovon ich aber positv überrascht bin is die networkloadbalancing funktion, die hat mir einiges an arbeit gespart, funktioniert toll in meinem einsatzbereich ( terminalserver clustering)
Pedro Vereinsmitglied ------------------------- Registered: May 2000 Location: Europe Posts: 3908	20.02.2004 - 15:20 Hiho, mir persönlich ist´s recht egal wofür er das Teil "braucht", obs "Sinnlos" ist oder was auch immer ... ich finds absolut cool, das einer mal etwas macht, was nicht unbedingt dem 0815 "Gewäsch" der breiten Masse entspricht. Allein der Gedanke mal etwas "anderes" zu probieren ist Lobenswert - und ihm wegen fehlenden codingkenntnissen nahezulegen es besser zu lassen find ich leicht ... hm ... "unpassend". Schliesslich ist es so, dass das ganze Leben ein einziger langer Lernprozess ist, und jene, die viel neues Probieren, sollten eher nicht durch solche Aussagen gebremst werden. Sinnlos? - kA teuer? - keine Frage Alltagstauglich? - ziemlich sicher nicht - wobei wer weiss ... Trotzdem Hut ab, denn das ist mal ein Projekt das das Wort "Projekt" wahrlich verdient. greets Pedro
crashman OC Addicted Registered: Oct 2001 Location: Vienna Posts: 891	20.02.2004 - 16:20 Zitat von metH- Zitat von Luki1987 Ja, das ist mir schon klar Aber angenommen es bestellen ca. 12 oder 13 Leute. Mit wieviel Rabatt können wir dann (ungefähr) rechnen? Mich interessiert nur eine ganz grobe Schätzung. Also ob wir jetzt 10 oder 5 oder 2 Prozent bekommen. Kannst du da überhaupt keine Info geben, oder? MfG Hm ist das net ein widerspruch? hängt das net total vom verwendeten Betriebssystem, Dateisystem und der Middleware ab? Der windows cluster ist ja soweit ich mich erinnere nur glorifiziertes load balancing und kein echtes verteiltes system. Zumindestens war das vor ein paar jahren noch so als ich mich dafür interessiert hab. Vielleicht ist er heute ja schon besser.
Oculus void Registered: Jun 2001 Location: schlafzimmer Posts: 856	20.02.2004 - 16:36 jo, 2003er cluster sind im prinzip loadgebalancte ressourcenaufteilung, wobei es natürlich nur dann sinn macht, wenn die clusternodes mit >1gbit auf einem eigenen switch hängen für terminal- oder webserver wunderbar geeignet, aber für computing-szenarien natürlich überhaupt nicht die handhabung aber ist wunderbar einfach und es funktioniert auch sehr gut aber wie gesagt, nur für diese zwecke
metH- broadband geek =] Registered: Jun 2000 Location: 217.196.80.129 Posts: 648	20.02.2004 - 16:59 Zitat von crashman Hm ist das net ein widerspruch? hängt das net total vom verwendeten Betriebssystem, Dateisystem und der Middleware ab? Der windows cluster ist ja soweit ich mich erinnere nur glorifiziertes load balancing und kein echtes verteiltes system. Zumindestens war das vor ein paar jahren noch so als ich mich dafür interessiert hab. Vielleicht ist er heute ja schon besser. damit war gmeint, das im allgemeinen die windows cluster funktion, meines ersichtens kompletter schrott ist. (was für mich so viel heisst- nicht für "wirkliches" clustering anwendbar) meine persönliche erfahrung damit war, dass einfach die std. windows clustering funktion, und das für tse vorgesehen sessiondirectory bei mir nicht funktionierte. bzw er nicht ein wirklich loadbalancing gemacht hat, schliesslich und endlich hab ichs mit der networkloadbalancing funktion soweit hingebracht, dass er die user schön und wirklich "shaped" auf die server verteilt.
Gary CPU Fetischist Registered: Apr 2000 Location: Linz / Freistadt Posts: 1446	20.02.2004 - 19:11 @ Pedro Du sprichst mir wieder mal aus der Seele - genau das habe ich gemeint - Sinnlos ka - Nutzen ka - Fun und daraus lernen Das Gehäuse wird ca aussehen wie ein ein Schrank, wobei ich mir die Option offenhalte auf 20 Nodes aufzurüsten. Anfangen kann ich ja mal mit 4 zum testen. die Mainboards werden senkrecht in Schienen geführt, so wie man es von grossen Telefonanlagen kennt. Wie gesagt werden die einzelnen Netzanschlüsse direkt zum Mainboard gehen und hinten an die Kupfernschienen wo die Netzteile dranhängen. Oben im Case werden grosse 220 Volt Lüfter montiert die für die Frischluft sorgen. An die ganzen Anschlüsse kommt man dann gleich von vorne ran. Mir schwirren halt schon viele Ideen im Kopf herum. Also an der Hardwareumsetzung sollts nicht liegen. Meine grösste Frage: Echte Clusternodes sind ja über eine spezielle Schnittstelle (offener 32 Bit Bus usw.) verbunden. Lässt sich das auch über die boardeigenen PCI Steckplätze realisieren. Meintewegen mit Adapterkarten. Das würde dann mal die LAN Frage klären weil Boards mit GB LAN san dann schon wieder zu teuer - und 100ter ist ja zu langsam. Ok zum Funfaktor : Ich will definitiv mehr machen als nur Distributed Computing. Muss aber nicht gleich ne eigene Programmierung sein, wobei nachher kann man sich ja spielen. OS kommt ja dann Windows eher nicht in Frage - FreeBSD wäre dann noch eher meins - müsste doch auch klappen oder ? greetz Gary
theone Banned by Moderators Registered: Feb 2004 Location: vienna Posts: 297	20.02.2004 - 19:16 Ich würde auch sagen, daß ein quad opteron server wesentlich mehr power hätte.... außerdem würde das mit _einem_ mobo gehen ... billige opterons bekommst bei ebay... (aber Achtung, da sind viele Abzocker unterwegs)
TOM Vereinsmitglied Oldschool OC.at'ler Registered: Nov 2000 Location: Vienna Posts: 7454	20.02.2004 - 19:17 ich find die idee nice, aber ich denke relativ sinnlos wenn man nicht genau weiss was man damit machen wird.... nur zum fun-ausprobieren wärs mir a bissi zu teuer aber thumbs up
DKCH Administrator ... Registered: Aug 2002 Location: # Posts: 3321	20.02.2004 - 19:20 beowulf müsst ja mit freebsd auch hinhauen, oder?
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 50758	20.02.2004 - 19:31 aso offene bus lösungen sand mir ned bekantn auch würde da der PCI bus ned ganz mitspielen, an deiner stelle würd ich schon an GBit denken sonst verleirst zu viel performance, im c't hab ich mal über ein projekt mit linux gelesen wo man des ganze heimnetz für a Multimedia netz benutz also zB zum DVD rippen und so jeder node hat a eigene funktion bzw mehrere und kan belibig zusammen geschlossen werden weis ab erleider nimma wann des war (irgend wann 2003 eher noch vorm sommer weis aber nimma genau) und auch ned wie des geheissen hat. zur preis leistung mus sich mich den oberen anschliessen einzigartigkeit is aber auch viel wert! als netzteil mus sjo kein antec sein (die CWT sand baugleich zur info und billiger) mehr ram währen auch kein fehler da du sonst kein platz mehr über is wennst an ramdrive anlegst. (müssen jo keine marken speicher sein)
crashman OC Addicted Registered: Oct 2001 Location: Vienna Posts: 891	20.02.2004 - 20:02 Zitat von theone Ich würde auch sagen, daß ein quad opteron server wesentlich mehr power hätte.... außerdem würde das mit _einem_ mobo gehen ... billige opterons bekommst bei ebay... (aber Achtung, da sind viele Abzocker unterwegs) imho wirds mit einem quad teurer als mit seinem cluster. Fertige quad server fangen in amerika bei ca. 10k$ an. Bei uns kenn ich keinen händler der welche führt. Selber bauen wird auch net viel billiger sein da das mb falls man es überhaupt bekommt sauteuer ist und die 84x opterons auch nicht die billigsten sind. aber generell kann ich mich nur sysmatrix anschliessen. Wenn du number crunching betreiben wirst ist es wahrscheinlich wesentlich geschickter die pcs als normale clients zu fahren. Ein echtes verteiltes system ist eine extrem komplexe aufgabe und selbst wenn du es ohne grössere Probleme schaffst zu implementieren wirst du wahrscheinlich keine anwendung finden für die es notwendig wäre. Ich würd das geld eher in einen gscheiten storage server investieren.
Gary CPU Fetischist Registered: Apr 2000 Location: Linz / Freistadt Posts: 1446	20.02.2004 - 20:40 Zitat von crashman Wenn du number crunching betreiben wirst ist es wahrscheinlich wesentlich geschickter die pcs als normale clients zu fahren. Also einzeln fahren kann ich die Stations immer noch - sind ja nur in einem Case aber jedes kann natürlich auch individuell arbeiten. Sollte es mit dem Clustern nix werden - was ich ned hoff Muss mich da eh erst mal reinlesen - ich will eh nix überstürzen und pro Monat dann 4 nodes (bis zu den 20) dazukaufen sollte es funktionieren. Alleine die technische Herausforderung ist es auch was mich so reizt an dem Ganzen greetz Gary
manalishi tl;dr Registered: Feb 2001 Location: Feldkirch Posts: 5977	20.02.2004 - 21:09 ich finde die idee nichtmal schlecht, daraus kannst du einiges lernen. wenn du die kohle hast und sie eben so ausgibst, was solls. gibts denn keine günstigen boards mit gbit anschluss? wie siehts mit firewire/usb (??) eigentlich aus? ich würd sowas kaufen, die gbit switches werden auch günstiger und günstiger.. das brauchst du bei ein paar nodes, sonst verlierst du extrem performance.
Red OC Addicted Registered: Jan 2002 Location: vienna Posts: 2170	20.02.2004 - 21:12 Naja es könnten sich ja alle vereinen und dann den Super Cluster machen! hrhr nein der Lerneffekt ist sicher der größte Vorteil daraus
theone Banned by Moderators Registered: Feb 2004 Location: vienna Posts: 297	20.02.2004 - 21:29 Zitat von crashman imho wirds mit einem quad teurer als mit seinem cluster. Fertige quad server fangen in amerika bei ca. 10k$ an. Bei uns kenn ich keinen händler der welche führt. Selber bauen wird auch net viel billiger sein da das mb falls man es überhaupt bekommt sauteuer ist und die 84x opterons auch nicht die billigsten sind. aber generell kann ich mich nur sysmatrix anschliessen. Wenn du number crunching betreiben wirst ist es wahrscheinlich wesentlich geschickter die pcs als normale clients zu fahren. Ein echtes verteiltes system ist eine extrem komplexe aufgabe und selbst wenn du es ohne grössere Probleme schaffst zu implementieren wirst du wahrscheinlich keine anwendung finden für die es notwendig wäre. Ich würd das geld eher in einen gscheiten storage server investieren. ich hätte auf ebay schon 4 846er (2ghz) Optis um 2000$ kaufen können, und das war VOR der Preisreduzierung um 50%, was amd ja vor kurzem getan hat. Das mobo kann a ned mehr als 1000$ kosten, kommt er auf 3000$, wahrscheinlich weniger... Ok, ram kommt noch dazu., aber dafür hat er alles auf einem mobo und wahrscheinlich abartig gute Leistung mit vier mal 2ghz und vier eigenen Speicherkontrollern usw...

Projekt gestartet : 32 Node Cluster SKYNET

Forum Index > Hardware > Peripherie > Sonstige Peripherie

metH-

Pedro

crashman

Oculus

metH-

Gary

theone

TOM

DKCH

Viper780

crashman

Gary

manalishi

Red

theone