"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Ich brauche Cuda support, habe aber nur AMD...

Kirby 21.08.2024 - 01:54 4013 43 Thread rating
Posts

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
Es gibt mittlerweile ZLUDA: https://github.com/vosen/ZLUDA
Braucht natürlich auch ROCm. Ich bin noch beim installieren/kompilieren mittels Rust und C++ Deployment for Windows, das Tool sollte jedoch near native performance liefern und würde mir den dauernden Wechsel zwischen Windows und Linux ersparen. Nutzt das schon jemand von euch?

Longbow

Here to stay
Avatar
Registered: Feb 2003
Location: Homeoffice
Posts: 5313
Wieso wechseln? Cuda selbst geht unter Linux bzw. genauso wie ROCm?

Bei ZLDUA gehts (lt. doku) ja um ganz was anderes und zwar, dass du CUDA stuff unter non-nv gpus laufen lassen kannst.

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
ComfyUI hab ich bis jetzt nur unter Linux zum laufen gebracht mit meiner AMD. unter windows geht das nicht. nur mit zluda

Longbow

Here to stay
Avatar
Registered: Feb 2003
Location: Homeoffice
Posts: 5313
Zitat aus einem Post von Kirby
ComfyUI hab ich bis jetzt nur unter Linux zum laufen gebracht mit meiner AMD. unter windows geht das nicht. nur mit zluda
teil 1 deiner aussage glaub ich, teil2 ist lt. comfy und directml doku entschieden anders ;)
https://github.com/comfyanonymous/C...=readme-ov-file

Wobei das jetzt überhaupt nix mit CUDA zu tun hat, weil wenn es so wäre ginge es unter Linux genauso wenig. Du kannst keine CUDA Proprietary Bla nutzen wenn du die Hardware dafür nicht hast, außer natürlich ZLUDA baut jetzt irgendeinen Rust mäßigen HAL da rundherum wo es dann doch irgendwie geht weil der auf die AMD Functions mappt.

Was is wenn du als Zwischenschritt einmal WSL probierst?
https://learn.microsoft.com/en-us/w...tml/pytorch-wsl

€dit:
Außer du meinst die Windows prebuilt instructions von comfy
Zitat
Windows
There is a portable standalone build for Windows that should work for running on Nvidia GPUs or for running on your CPU only on the
Aber es zwingt dich ja keiner die fertige .exe zu nehmen.
Bearbeitet von Longbow am 03.12.2024, 16:34

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
Hmm ja. Dann muss wahrscheinlich was beim Aufsetzen schiefgelaufen sein. Die .exe hab ich zwar mal probiert mit CPU only und Flux.schnell jedoch ist das modell ein wenig zu heavy dafür xD
Ich test es die kommenden Wochen nach dem Adventstress nochmal auf Windows. auf arch hab ich halt keine Probleme bei der Installation gehabt, und das ist auch schon paar monate her und läuft seit dem einwandfrei.
wenn ichs nicht vergesse, melde ich mich hier mit positivem ergebniss

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
Hab grad nochmal nachgesehen. AMD GPUs ist Linux only. Also hatte ich doch Recht. Erst mal den Installationsprozess anschauen, da stehts. Und genau deswegen habe ich mich informiert und bin dann auf Zluda gestoßen womit man comfyui mit AMD Gpu auch unter Windows laufen lassen kann.

E: directml geht nur auf die CPU. das hab ich schonmal probiert.
EE: ich will so wenig wie möglich leistungsverlust haben. somit fast nativ und da spiel ich nicht mit wsl rum wenns anders besser geht :)
Bearbeitet von Kirby am 04.12.2024, 20:37

charmin

Super Moderator
10x
Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 14630
du hast mit WSL2 so gut wie keinen leistungsverlust.
ich hab da fette transformer auf meiner 4090er trainiert (sogar in nem docker in wsl2)
nimms afoch her

Longbow

Here to stay
Avatar
Registered: Feb 2003
Location: Homeoffice
Posts: 5313
Zitat aus einem Post von Kirby
Hab grad nochmal nachgesehen. AMD GPUs ist Linux only. Also hatte ich doch Recht. Erst mal den Installationsprozess anschauen, da stehts. Und genau deswegen habe ich mich informiert und bin dann auf Zluda gestoßen womit man comfyui mit AMD Gpu auch unter Windows laufen lassen kann.

E: directml geht nur auf die CPU. das hab ich schonmal probiert.
EE: ich will so wenig wie möglich leistungsverlust haben. somit fast nativ und da spiel ich nicht mit wsl rum wenns anders besser geht :)
Ich behaupte einfach, dass du nekoneko anime waifus auch ruhig 3 sec langsamer rendern lassen kannst - insofern halte ich WSL nach wie vor für eine (von comfy explizit empfohlene) alternative.

Du kannst dir natürlich aber auch jederzeit auf eigenen Wunsch ein komplettes Hardware Abastraction 3rd party framework einhandeln. "what could possibly go wrong" :D

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
1. Ich mag Windows nur zum Zocken.
2. sind wir hier nicht bei "overclockers"? Nicht bei ach die 5min mehr bei einem Upscaling sind mir eh egal.
3. Danke für die Tipps, nur kenn ich mich mit Docker nur sehr rudimentär aus.

Wann ich den docker mit z.B Docker-Desktop laufen lasse, habe ich da meine grafikkartenpower dainter oder muss ich die wie bei einem kvm vom host unbinden und zur vm binden?

PS: schöne behauptung zu nekoneko waifus. xD da bin ich schon längst drüber. bin da eher auf realismuss gebaut, deswegen flux-dev mit diversen loras gemixt. (aber gute schätzung)

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
und habe mal den Titel geändert um Verwirrungen aus dem Weg zu gehen.
Bearbeitet von Kirby am 05.12.2024, 11:00

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19706
Gibt ein NVIDIA Toolkit soweit ich gesehen habe: https://blog.roboflow.com/use-the-gpu-in-docker/
Nachdem Docker ja kein Hypervisor ist und die Container Engine direkt am OS läuft ist die GPU als Hardware per se ja verfügbar, man muss sie scheinbar nur mit dem Toolkit dem Container verfügbar machen? (jetzt rein meine Interpretation aus 5 Sek. Google und ein wenig IT-Erfahrung :p)

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
ok. nice. ich probiers mal und werd mal die gleichen models unter windows/docker und linux/nativ laufen lassen. mal gucken.
gestern hat halt ein upscaling con 1024p zu 1024*3p genau 21 Minuten gebraucht. da werd ich nach dem vergleich halt das schnellere nehmen.

Kirby

0x20
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905
aja. hab immer noch wie in meiner signatur eine amd gpu...

E: ein "wenig IT Erfahrung" hab ich auch. und meine erfahrung sagt mir dass nvidia nicht gleich amd ist. deswegen hab ich schon immer rumgschissen mit ROCm, Zluda und am besten gehts mit linux/rocm. leute ich ich bin ja nicht dämlich, ich suche hier hilfe und nicht irgendwelche links die ich auch selber finde. Umsonst bin ich nicht main auf Linux unterwegs mit einem reinen AMD system. Ich bin zwar erst 26 Jahre alt aber einiges weis ich trotztdem....
Aber da ich hier eh keine Hilfe finde, such ich halt wo anders,
danke für fast nix
Bearbeitet von Kirby am 05.12.2024, 11:53

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19706
Sorry, ich hab Signaturen deaktiviert um Lesefluss zu steigern und die Posts darüber ned wirklich gelesen (wo schon was von AMD stand) - mein Fehler.

Das mit IT Erfahrung war nicht abwertend gemeint, bin ja schon ein oaar Jährchen in der Branche und wollte nur ein wenig was beitragen (Docker Architektur) auch wenn ich mit dem Thema wenig zu tun hatte (mit AI noch gar nicht).

Brauchst dir nicht viel dabei denken, Leute die sich wirklich auskennen sind eh recht selten.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz