Ich brauche Cuda support, habe aber nur AMD...

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

03.12.2024 - 15:18

Es gibt mittlerweile ZLUDA: https://github.com/vosen/ZLUDA
Braucht natürlich auch ROCm. Ich bin noch beim installieren/kompilieren mittels Rust und C++ Deployment for Windows, das Tool sollte jedoch near native performance liefern und würde mir den dauernden Wechsel zwischen Windows und Linux ersparen. Nutzt das schon jemand von euch?

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5314

03.12.2024 - 15:26

Wieso wechseln? Cuda selbst geht unter Linux bzw. genauso wie ROCm?

Bei ZLDUA gehts (lt. doku) ja um ganz was anderes und zwar, dass du CUDA stuff unter non-nv gpus laufen lassen kannst.

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

03.12.2024 - 16:07

ComfyUI hab ich bis jetzt nur unter Linux zum laufen gebracht mit meiner AMD. unter windows geht das nicht. nur mit zluda

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5314

03.12.2024 - 16:31

Zitat aus einem Post von Kirby
ComfyUI hab ich bis jetzt nur unter Linux zum laufen gebracht mit meiner AMD. unter windows geht das nicht. nur mit zluda

teil 1 deiner aussage glaub ich, teil2 ist lt. comfy und directml doku entschieden anders

https://github.com/comfyanonymous/C...=readme-ov-file

Wobei das jetzt überhaupt nix mit CUDA zu tun hat, weil wenn es so wäre ginge es unter Linux genauso wenig. Du kannst keine CUDA Proprietary Bla nutzen wenn du die Hardware dafür nicht hast, außer natürlich ZLUDA baut jetzt irgendeinen Rust mäßigen HAL da rundherum wo es dann doch irgendwie geht weil der auf die AMD Functions mappt.

Was is wenn du als Zwischenschritt einmal WSL probierst?
https://learn.microsoft.com/en-us/w...tml/pytorch-wsl

€dit:
Außer du meinst die Windows prebuilt instructions von comfy

Zitat
Windows
There is a portable standalone build for Windows that should work for running on Nvidia GPUs or for running on your CPU only on the

Aber es zwingt dich ja keiner die fertige .exe zu nehmen.

Bearbeitet von Longbow am 03.12.2024, 16:34

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

04.12.2024 - 18:14

Hmm ja. Dann muss wahrscheinlich was beim Aufsetzen schiefgelaufen sein. Die .exe hab ich zwar mal probiert mit CPU only und Flux.schnell jedoch ist das modell ein wenig zu heavy dafür xD
Ich test es die kommenden Wochen nach dem Adventstress nochmal auf Windows. auf arch hab ich halt keine Probleme bei der Installation gehabt, und das ist auch schon paar monate her und läuft seit dem einwandfrei.
wenn ichs nicht vergesse, melde ich mich hier mit positivem ergebniss

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

04.12.2024 - 20:35

Hab grad nochmal nachgesehen. AMD GPUs ist Linux only. Also hatte ich doch Recht. Erst mal den Installationsprozess anschauen, da stehts. Und genau deswegen habe ich mich informiert und bin dann auf Zluda gestoßen womit man comfyui mit AMD Gpu auch unter Windows laufen lassen kann.

E: directml geht nur auf die CPU. das hab ich schonmal probiert.
EE: ich will so wenig wie möglich leistungsverlust haben. somit fast nativ und da spiel ich nicht mit wsl rum wenns anders besser geht

Bearbeitet von Kirby am 04.12.2024, 20:37

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14630

04.12.2024 - 20:48

du hast mit WSL2 so gut wie keinen leistungsverlust.
ich hab da fette transformer auf meiner 4090er trainiert (sogar in nem docker in wsl2)
nimms afoch her

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5314

04.12.2024 - 21:06

Zitat aus einem Post von Kirby
Hab grad nochmal nachgesehen. AMD GPUs ist Linux only. Also hatte ich doch Recht. Erst mal den Installationsprozess anschauen, da stehts. Und genau deswegen habe ich mich informiert und bin dann auf Zluda gestoßen womit man comfyui mit AMD Gpu auch unter Windows laufen lassen kann.

E: directml geht nur auf die CPU. das hab ich schonmal probiert.
EE: ich will so wenig wie möglich leistungsverlust haben. somit fast nativ und da spiel ich nicht mit wsl rum wenns anders besser geht

Ich behaupte einfach, dass du nekoneko anime waifus auch ruhig 3 sec langsamer rendern lassen kannst - insofern halte ich WSL nach wie vor für eine (von comfy explizit empfohlene) alternative.

Du kannst dir natürlich aber auch jederzeit auf eigenen Wunsch ein komplettes Hardware Abastraction 3rd party framework einhandeln. "what could possibly go wrong"

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

05.12.2024 - 10:53

1. Ich mag Windows nur zum Zocken.
2. sind wir hier nicht bei "overclockers"? Nicht bei ach die 5min mehr bei einem Upscaling sind mir eh egal.
3. Danke für die Tipps, nur kenn ich mich mit Docker nur sehr rudimentär aus.

Wann ich den docker mit z.B Docker-Desktop laufen lasse, habe ich da meine grafikkartenpower dainter oder muss ich die wie bei einem kvm vom host unbinden und zur vm binden?

PS: schöne behauptung zu nekoneko waifus. xD da bin ich schon längst drüber. bin da eher auf realismuss gebaut, deswegen flux-dev mit diversen loras gemixt. (aber gute schätzung)

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

05.12.2024 - 10:57

und habe mal den Titel geändert um Verwirrungen aus dem Weg zu gehen.

Bearbeitet von Kirby am 05.12.2024, 11:00

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19706

05.12.2024 - 11:21

Gibt ein NVIDIA Toolkit soweit ich gesehen habe: https://blog.roboflow.com/use-the-gpu-in-docker/
Nachdem Docker ja kein Hypervisor ist und die Container Engine direkt am OS läuft ist die GPU als Hardware per se ja verfügbar, man muss sie scheinbar nur mit dem Toolkit dem Container verfügbar machen? (jetzt rein meine Interpretation aus 5 Sek. Google und ein wenig IT-Erfahrung

)

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

05.12.2024 - 11:33

ok. nice. ich probiers mal und werd mal die gleichen models unter windows/docker und linux/nativ laufen lassen. mal gucken.
gestern hat halt ein upscaling con 1024p zu 1024*3p genau 21 Minuten gebraucht. da werd ich nach dem vergleich halt das schnellere nehmen.

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 905

05.12.2024 - 11:35

aja. hab immer noch wie in meiner signatur eine amd gpu...

E: ein "wenig IT Erfahrung" hab ich auch. und meine erfahrung sagt mir dass nvidia nicht gleich amd ist. deswegen hab ich schon immer rumgschissen mit ROCm, Zluda und am besten gehts mit linux/rocm. leute ich ich bin ja nicht dämlich, ich suche hier hilfe und nicht irgendwelche links die ich auch selber finde. Umsonst bin ich nicht main auf Linux unterwegs mit einem reinen AMD system. Ich bin zwar erst 26 Jahre alt aber einiges weis ich trotztdem....
Aber da ich hier eh keine Hilfe finde, such ich halt wo anders,
danke für fast nix

Bearbeitet von Kirby am 05.12.2024, 11:53

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19706

06.12.2024 - 12:55

Sorry, ich hab Signaturen deaktiviert um Lesefluss zu steigern und die Posts darüber ned wirklich gelesen (wo schon was von AMD stand) - mein Fehler.

Das mit IT Erfahrung war nicht abwertend gemeint, bin ja schon ein oaar Jährchen in der Branche und wollte nur ein wenig was beitragen (Docker Architektur) auch wenn ich mit dem Thema wenig zu tun hatte (mit AI noch gar nicht).

Brauchst dir nicht viel dabei denken, Leute die sich wirklich auskennen sind eh recht selten.

Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	03.12.2024 - 15:18 Es gibt mittlerweile ZLUDA: https://github.com/vosen/ZLUDA Braucht natürlich auch ROCm. Ich bin noch beim installieren/kompilieren mittels Rust und C++ Deployment for Windows, das Tool sollte jedoch near native performance liefern und würde mir den dauernden Wechsel zwischen Windows und Linux ersparen. Nutzt das schon jemand von euch?
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5314	03.12.2024 - 15:26 Wieso wechseln? Cuda selbst geht unter Linux bzw. genauso wie ROCm? Bei ZLDUA gehts (lt. doku) ja um ganz was anderes und zwar, dass du CUDA stuff unter non-nv gpus laufen lassen kannst.
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	03.12.2024 - 16:07 ComfyUI hab ich bis jetzt nur unter Linux zum laufen gebracht mit meiner AMD. unter windows geht das nicht. nur mit zluda
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5314	03.12.2024 - 16:31 Zitat aus einem Post von Kirby ComfyUI hab ich bis jetzt nur unter Linux zum laufen gebracht mit meiner AMD. unter windows geht das nicht. nur mit zluda teil 1 deiner aussage glaub ich, teil2 ist lt. comfy und directml doku entschieden anders https://github.com/comfyanonymous/C...=readme-ov-file Wobei das jetzt überhaupt nix mit CUDA zu tun hat, weil wenn es so wäre ginge es unter Linux genauso wenig. Du kannst keine CUDA Proprietary Bla nutzen wenn du die Hardware dafür nicht hast, außer natürlich ZLUDA baut jetzt irgendeinen Rust mäßigen HAL da rundherum wo es dann doch irgendwie geht weil der auf die AMD Functions mappt. Was is wenn du als Zwischenschritt einmal WSL probierst? https://learn.microsoft.com/en-us/w...tml/pytorch-wsl €dit: Außer du meinst die Windows prebuilt instructions von comfy Zitat Windows There is a portable standalone build for Windows that should work for running on Nvidia GPUs or for running on your CPU only on the Aber es zwingt dich ja keiner die fertige .exe zu nehmen. Bearbeitet von Longbow am 03.12.2024, 16:34
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	04.12.2024 - 18:14 Hmm ja. Dann muss wahrscheinlich was beim Aufsetzen schiefgelaufen sein. Die .exe hab ich zwar mal probiert mit CPU only und Flux.schnell jedoch ist das modell ein wenig zu heavy dafür xD Ich test es die kommenden Wochen nach dem Adventstress nochmal auf Windows. auf arch hab ich halt keine Probleme bei der Installation gehabt, und das ist auch schon paar monate her und läuft seit dem einwandfrei. wenn ichs nicht vergesse, melde ich mich hier mit positivem ergebniss
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	04.12.2024 - 20:35 Hab grad nochmal nachgesehen. AMD GPUs ist Linux only. Also hatte ich doch Recht. Erst mal den Installationsprozess anschauen, da stehts. Und genau deswegen habe ich mich informiert und bin dann auf Zluda gestoßen womit man comfyui mit AMD Gpu auch unter Windows laufen lassen kann. E: directml geht nur auf die CPU. das hab ich schonmal probiert. EE: ich will so wenig wie möglich leistungsverlust haben. somit fast nativ und da spiel ich nicht mit wsl rum wenns anders besser geht Bearbeitet von Kirby am 04.12.2024, 20:37
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14630	04.12.2024 - 20:48 du hast mit WSL2 so gut wie keinen leistungsverlust. ich hab da fette transformer auf meiner 4090er trainiert (sogar in nem docker in wsl2) nimms afoch her
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5314	04.12.2024 - 21:06 Zitat aus einem Post von Kirby Hab grad nochmal nachgesehen. AMD GPUs ist Linux only. Also hatte ich doch Recht. Erst mal den Installationsprozess anschauen, da stehts. Und genau deswegen habe ich mich informiert und bin dann auf Zluda gestoßen womit man comfyui mit AMD Gpu auch unter Windows laufen lassen kann. E: directml geht nur auf die CPU. das hab ich schonmal probiert. EE: ich will so wenig wie möglich leistungsverlust haben. somit fast nativ und da spiel ich nicht mit wsl rum wenns anders besser geht Ich behaupte einfach, dass du nekoneko anime waifus auch ruhig 3 sec langsamer rendern lassen kannst - insofern halte ich WSL nach wie vor für eine (von comfy explizit empfohlene) alternative. Du kannst dir natürlich aber auch jederzeit auf eigenen Wunsch ein komplettes Hardware Abastraction 3rd party framework einhandeln. "what could possibly go wrong"
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	05.12.2024 - 10:53 1. Ich mag Windows nur zum Zocken. 2. sind wir hier nicht bei "overclockers"? Nicht bei ach die 5min mehr bei einem Upscaling sind mir eh egal. 3. Danke für die Tipps, nur kenn ich mich mit Docker nur sehr rudimentär aus. Wann ich den docker mit z.B Docker-Desktop laufen lasse, habe ich da meine grafikkartenpower dainter oder muss ich die wie bei einem kvm vom host unbinden und zur vm binden? PS: schöne behauptung zu nekoneko waifus. xD da bin ich schon längst drüber. bin da eher auf realismuss gebaut, deswegen flux-dev mit diversen loras gemixt. (aber gute schätzung)
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	05.12.2024 - 10:57 und habe mal den Titel geändert um Verwirrungen aus dem Weg zu gehen. Bearbeitet von Kirby am 05.12.2024, 11:00
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19706	05.12.2024 - 11:21 Gibt ein NVIDIA Toolkit soweit ich gesehen habe: https://blog.roboflow.com/use-the-gpu-in-docker/ Nachdem Docker ja kein Hypervisor ist und die Container Engine direkt am OS läuft ist die GPU als Hardware per se ja verfügbar, man muss sie scheinbar nur mit dem Toolkit dem Container verfügbar machen? (jetzt rein meine Interpretation aus 5 Sek. Google und ein wenig IT-Erfahrung )
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	05.12.2024 - 11:33 ok. nice. ich probiers mal und werd mal die gleichen models unter windows/docker und linux/nativ laufen lassen. mal gucken. gestern hat halt ein upscaling con 1024p zu 1024*3p genau 21 Minuten gebraucht. da werd ich nach dem vergleich halt das schnellere nehmen.
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 905	05.12.2024 - 11:35 aja. hab immer noch wie in meiner signatur eine amd gpu... E: ein "wenig IT Erfahrung" hab ich auch. und meine erfahrung sagt mir dass nvidia nicht gleich amd ist. deswegen hab ich schon immer rumgschissen mit ROCm, Zluda und am besten gehts mit linux/rocm. leute ich ich bin ja nicht dämlich, ich suche hier hilfe und nicht irgendwelche links die ich auch selber finde. Umsonst bin ich nicht main auf Linux unterwegs mit einem reinen AMD system. Ich bin zwar erst 26 Jahre alt aber einiges weis ich trotztdem.... Aber da ich hier eh keine Hilfe finde, such ich halt wo anders, danke für fast nix Bearbeitet von Kirby am 05.12.2024, 11:53
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19706	06.12.2024 - 12:55 Sorry, ich hab Signaturen deaktiviert um Lesefluss zu steigern und die Posts darüber ned wirklich gelesen (wo schon was von AMD stand) - mein Fehler. Das mit IT Erfahrung war nicht abwertend gemeint, bin ja schon ein oaar Jährchen in der Branche und wollte nur ein wenig was beitragen (Docker Architektur) auch wenn ich mit dem Thema wenig zu tun hatte (mit AI noch gar nicht). Brauchst dir nicht viel dabei denken, Leute die sich wirklich auskennen sind eh recht selten.

Ich brauche Cuda support, habe aber nur AMD...

Forum Index > Software > Artificial Intelligence

Kirby

Longbow

Kirby

Longbow

Kirby

Kirby

charmin

Longbow

Kirby

Kirby

daisho

Kirby

Kirby

daisho