Cuda für AMD - torch_AMD? - Forum

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 896

21.08.2024 - 01:54

Wie im Titel stehe ich vor dem Problem, dass ich einige Modele nur mit Nvidia gpu betreiben kann. Lösungsförschläge für AMD hier sind erwünscht.
Ich kenn mich da eigentlich auch nicht genau aus.

E: Danke an den 1 Stern voter. Ich stehe hier vor einem Problem. Poste lieber was anstadt nur deinen einen Stern abzugeben!

Bearbeitet von Kirby am 21.08.2024, 02:38

Rogaahl

Super Moderator
interrupt

Registered: Feb 2014
Location: K
Posts: 2305

21.08.2024 - 03:10

pyTorch gibt es doch eh für ROCm?

Installing PyTorch for ROCm — ROCm installation (Linux)

Installing PyTorch for ROCm

Link: rocm.docs.amd.com

Was ich so mitbekommen habe, läuft ROCm unter Linux einiges besser als Windows.

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14559

28.08.2024 - 11:00

Schick mal die konkreten Modelle bitte bzw. Links zum git repo.

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 896

07.10.2024 - 16:20

Danke Roghaal. ROCM funktioniert nice. Ich hatte mit XFCE probleme wegen python. Da musste ich ein virtuelles environment anlegen. Mit python kenne ich mich halt noch net so aus.
Unter GNOME hat er nichts gemeckert wegen venv bzw. break system packages

@Charmin: Ich benutze ein paar Modelle von CivitAI, bin aber jetzt mit flux-schnell und flux-dev sehr zufrieden. Die Links dazu kann ich dir später gerne schicken.

Hier ein Flux-Schnell Bild:

Bearbeitet von Kirby am 07.10.2024, 16:22

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 896

07.10.2024 - 16:33

Aja. Es geht hier hauptsächlich um den GPU Support. Ich nutze gerne ComfyUI weils halt wie im Namen sehr komfortabel ist. Das geht unter Windows auch, halt nur mit Directml aber da nimmt er halt nur die CPU her. GPU support (AMD) dafür gibt leider nur für Linux mit ROCm. Nvidia Karten gehen unter Linux wie auch unter Windows.
So zum Vergleich:
Windows Directml (CPU): 40h/it
Linux AMD-GPU: 15s/it

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5281

07.10.2024 - 16:53

Zitat aus einem Post von Kirby
Danke Roghaal. ROCM funktioniert nice. Ich hatte mit XFCE probleme wegen python. Da musste ich ein virtuelles environment anlegen. Mit python kenne ich mich halt noch net so aus.
Unter GNOME hat er nichts gemeckert wegen venv bzw. break system packages
...

Das venv hat den Vorteil, dass du mit den ganzen packages nicht dein "global" zumüllst und projektbezogen flott löschen/reinstallieren kannst. Mit deinem window manager hat das ungefähr so viel zu tun wie Super95 und dem aktuellen Radioempfang.

https://docs.python.org/3/library/venv.html

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 896

07.10.2024 - 17:51

Die Frage ist aber. warum geht es mit gnome ohne warnung um zumülung?

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14559

07.10.2024 - 17:53

Zitat aus einem Post von Kirby
Die Frage ist aber. warum geht es mit gnome ohne warnung um zumülung?

Weil vermutlich das Paket bei gnome fehlt?
Isses ein python Paket? Um welches geht es?

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12067

07.10.2024 - 17:53

Die Frage beruht auf einer falschen Praemisse, weil dein Desktop Environment wenn dann nur hoechst koinzidienziell die richtigen Python-Dependencies fuer irgendeine genML-Chose mitbringt. Wenn du jedenfalls Dependencies via pip ziehst, solltest du dir ein venv goennen. Inzwischen ist das in Python einfach der (durchaus etwas traurige) Stand der Software-Verteilung :')

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 896

07.10.2024 - 19:01

Nah ich verstehe das schon halbwegs, da kann man halt für jedes projekt die versionen der packages laden die man braucht. wenn man für ein anderes projekt ne andere version braucht isses logisch dass sich die packages streiten. keiner programmiert jeden code packageabh'ngig wie z.B import torch:x.xx
das macht kein mehscn und ist halt umständlich für jedes projekt

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14559

07.10.2024 - 19:18

Zitat aus einem Post von COLOSSUS
Die Frage beruht auf einer falschen Praemisse, weil dein Desktop Environment wenn dann nur hoechst koinzidienziell die richtigen Python-Dependencies fuer irgendeine genML-Chose mitbringt. Wenn du jedenfalls Dependencies via pip ziehst, solltest du dir ein venv goennen. Inzwischen ist das in Python einfach der (durchaus etwas traurige) Stand der Software-Verteilung :')

Oh ja. Ohne conda oder venv hauts dir an Vogel raus.
Grad im ML Bereich wo bestimmte Modelle bestimmte Versionen brauchen und die dann wieder exakt spezifische dependencies ham. Kannst da die Kugel geben. Einer der Gründe warum so ML zeugs oft mit dockerfile angeboten werden...

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 896

07.10.2024 - 19:47

Ja lieber charmin wenn dich eh gut auskennst, warum fragst dann nach links? bist mir eh vorraus!

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12067

07.10.2024 - 20:49

Warum der angriffige Ton? Sinn des Subforums ist es ja, sich gegenseitig Tipps und Hilfestellung zu geben - ich bin sicher, charmin haette einfach nur gerne dein Problem vollumfaenglich auf seinem Eisen nachvollzogen, um dir beim Loesen besser helfen zu koennen.

Ist ja kein Python-Installations-CTF/keine Competition hier!

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19688

07.10.2024 - 22:43

venv ist wohl best practice damit du dir halt nicht irgendein dev environment kaputt machst weil package X dort anders ist usw, spätestens wenn du an 2+ verschiedenen projekten arbeitest wird das dann interessant.

Rogaahl

Super Moderator
interrupt

Registered: Feb 2014
Location: K
Posts: 2305

07.10.2024 - 22:47

Ich habe nicht sehr viel Erfahrung damit, aber afaik gibt es für die meisten Projekte auch ready to run docker container.

Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 896	21.08.2024 - 01:54 Wie im Titel stehe ich vor dem Problem, dass ich einige Modele nur mit Nvidia gpu betreiben kann. Lösungsförschläge für AMD hier sind erwünscht. Ich kenn mich da eigentlich auch nicht genau aus. E: Danke an den 1 Stern voter. Ich stehe hier vor einem Problem. Poste lieber was anstadt nur deinen einen Stern abzugeben! Bearbeitet von Kirby am 21.08.2024, 02:38
Rogaahl Super Moderator interrupt Registered: Feb 2014 Location: K Posts: 2305	21.08.2024 - 03:10 pyTorch gibt es doch eh für ROCm? Installing PyTorch for ROCm — ROCm installation (Linux) Installing PyTorch for ROCm Link: rocm.docs.amd.com Was ich so mitbekommen habe, läuft ROCm unter Linux einiges besser als Windows.
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14559	28.08.2024 - 11:00 Schick mal die konkreten Modelle bitte bzw. Links zum git repo.
Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 896	07.10.2024 - 16:20 Danke Roghaal. ROCM funktioniert nice. Ich hatte mit XFCE probleme wegen python. Da musste ich ein virtuelles environment anlegen. Mit python kenne ich mich halt noch net so aus. Unter GNOME hat er nichts gemeckert wegen venv bzw. break system packages @Charmin: Ich benutze ein paar Modelle von CivitAI, bin aber jetzt mit flux-schnell und flux-dev sehr zufrieden. Die Links dazu kann ich dir später gerne schicken. Hier ein Flux-Schnell Bild: Bearbeitet von Kirby am 07.10.2024, 16:22
Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 896	07.10.2024 - 16:33 Aja. Es geht hier hauptsächlich um den GPU Support. Ich nutze gerne ComfyUI weils halt wie im Namen sehr komfortabel ist. Das geht unter Windows auch, halt nur mit Directml aber da nimmt er halt nur die CPU her. GPU support (AMD) dafür gibt leider nur für Linux mit ROCm. Nvidia Karten gehen unter Linux wie auch unter Windows. So zum Vergleich: Windows Directml (CPU): 40h/it Linux AMD-GPU: 15s/it
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5281	07.10.2024 - 16:53 Zitat aus einem Post von Kirby Danke Roghaal. ROCM funktioniert nice. Ich hatte mit XFCE probleme wegen python. Da musste ich ein virtuelles environment anlegen. Mit python kenne ich mich halt noch net so aus. Unter GNOME hat er nichts gemeckert wegen venv bzw. break system packages ... Das venv hat den Vorteil, dass du mit den ganzen packages nicht dein "global" zumüllst und projektbezogen flott löschen/reinstallieren kannst. Mit deinem window manager hat das ungefähr so viel zu tun wie Super95 und dem aktuellen Radioempfang. https://docs.python.org/3/library/venv.html
Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 896	07.10.2024 - 17:51 Die Frage ist aber. warum geht es mit gnome ohne warnung um zumülung?
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14559	07.10.2024 - 17:53 Zitat aus einem Post von Kirby Die Frage ist aber. warum geht es mit gnome ohne warnung um zumülung? Weil vermutlich das Paket bei gnome fehlt? Isses ein python Paket? Um welches geht es?
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12067	07.10.2024 - 17:53 Die Frage beruht auf einer falschen Praemisse, weil dein Desktop Environment wenn dann nur hoechst koinzidienziell die richtigen Python-Dependencies fuer irgendeine genML-Chose mitbringt. Wenn du jedenfalls Dependencies via pip ziehst, solltest du dir ein venv goennen. Inzwischen ist das in Python einfach der (durchaus etwas traurige) Stand der Software-Verteilung :')
Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 896	07.10.2024 - 19:01 Nah ich verstehe das schon halbwegs, da kann man halt für jedes projekt die versionen der packages laden die man braucht. wenn man für ein anderes projekt ne andere version braucht isses logisch dass sich die packages streiten. keiner programmiert jeden code packageabh'ngig wie z.B import torch:x.xx das macht kein mehscn und ist halt umständlich für jedes projekt
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14559	07.10.2024 - 19:18 Zitat aus einem Post von COLOSSUS Die Frage beruht auf einer falschen Praemisse, weil dein Desktop Environment wenn dann nur hoechst koinzidienziell die richtigen Python-Dependencies fuer irgendeine genML-Chose mitbringt. Wenn du jedenfalls Dependencies via pip ziehst, solltest du dir ein venv goennen. Inzwischen ist das in Python einfach der (durchaus etwas traurige) Stand der Software-Verteilung :') Oh ja. Ohne conda oder venv hauts dir an Vogel raus. Grad im ML Bereich wo bestimmte Modelle bestimmte Versionen brauchen und die dann wieder exakt spezifische dependencies ham. Kannst da die Kugel geben. Einer der Gründe warum so ML zeugs oft mit dockerfile angeboten werden...
Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 896	07.10.2024 - 19:47 Ja lieber charmin wenn dich eh gut auskennst, warum fragst dann nach links? bist mir eh vorraus!
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12067	07.10.2024 - 20:49 Warum der angriffige Ton? Sinn des Subforums ist es ja, sich gegenseitig Tipps und Hilfestellung zu geben - ich bin sicher, charmin haette einfach nur gerne dein Problem vollumfaenglich auf seinem Eisen nachvollzogen, um dir beim Loesen besser helfen zu koennen. Ist ja kein Python-Installations-CTF/keine Competition hier!
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19688	07.10.2024 - 22:43 venv ist wohl best practice damit du dir halt nicht irgendein dev environment kaputt machst weil package X dort anders ist usw, spätestens wenn du an 2+ verschiedenen projekten arbeitest wird das dann interessant.
Rogaahl Super Moderator interrupt Registered: Feb 2014 Location: K Posts: 2305	07.10.2024 - 22:47 Ich habe nicht sehr viel Erfahrung damit, aber afaik gibt es für die meisten Projekte auch ready to run docker container.

Cuda für AMD - torch_AMD?

Forum Index > Software > Artificial Intelligence

Kirby

Rogaahl

charmin

Kirby

Kirby

Longbow

Kirby

charmin

COLOSSUS

Kirby

charmin

Kirby

COLOSSUS

daisho

Rogaahl