KI Modelle auf lokaler Hardware

EndOfDayz

Little Overclocker

Registered: Oct 2004
Location: Austria
Posts: 64

08.02.2025 - 20:46

Mich würde interessieren auf welcher Hardware ihr lokal KI Modelle betreibt und wie diese dann performen.

Ob diese sinnvoll nutzbar sind, oder die Wartezeiten zu lange werden.

Aber auch ob kleinere Modelle dann noch ausreichend gute Ergebnisse liefern.

liltan0x

Little Overclocker

Registered: Jul 2024
Location: void
Posts: 60

09.02.2025 - 07:20

Ist bei mir nun alles nur rumgespiele um mal zu "schauen" wie es lokal so tut, aber ich lasse alles auf meinem uralten M1 Macbook Air laufen mit 16GB Ram und es lauft ziemlich gut muss ich sagen. Gerade Deepseek ist sehr performant und bringt die Musik im Hintergrund nicht zum stottern beim computen

BiG_WEaSeL

Elder
-

Registered: Jun 2000
Location: Wien
Posts: 8355

09.02.2025 - 09:41

Diverse Chatbots, FLUX (Bildgenerierung), F5-TTS Voice Cloning, bolt.diy (App-Erstellung)

Laufen lasse ich es auf einen Mac Mini M4 pro 14-Kern mit 64GB RAM.

ZARO

Here to stay

Registered: May 2002
Location: Wien 22
Posts: 986

09.02.2025 - 18:32

Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er.

Geht ausreichend gut.

für den typischen Windows user zum ausprobieren kann Ich LM-Studio empfehlen, ist deutlich einfacher als einzelne Packages zu installieren und auf der cmd zu wursteln.

auch ComfyUi mit Stable diffusion geht ganz gut damit.

lg

quilty

Ich schau nur

Registered: Jul 2005
Location: 4202
Posts: 3092

09.02.2025 - 18:43

Ich lasse lieber die großen Anbieter Verlust machen mit meinen Prompts.

Und habe schneller Ergebnisse.

Lokal selbst habe ich nur im beruflichen Umfeld ein paar Tests gemacht, aber es hat wenig Sinn bei den Preisen, um die man auf die großen AI-Infrastrukturen zugreifen kann.

Mit einer 3090 wars vertretbar schnell.

EndOfDayz

Little Overclocker

Registered: Oct 2004
Location: Austria
Posts: 64

09.02.2025 - 18:48

Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5418

09.02.2025 - 19:08

Zitat aus einem Post von EndOfDayz
Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Gibt ja entsprechende Enterprise Zugänge wo es angeblich dann ned zum Training genutzt wird bzw ist das Hochladen sensibler Dokumente sowieso ein nogo.

Rogaahl

Elder
interrupt

Registered: Feb 2014
Location: K
Posts: 2394

09.02.2025 - 19:25

Zitat aus einem Post von ZARO
Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er.

Das geht sogar mit, 32GB RAM und ohne GPU. Wer es probieren will, es ist in 5 Minuten installiert:

Code:

sudo pacman -S ollama
sudo systemctl start ollama
ollama pull deepseek-r1:32b
ollama run deepseek-r1:32b "How many overclockers do you need to change a lightbulb"

sk/\r

i never asked for this

Registered: Dec 2002
Location: oö
Posts: 11023

09.02.2025 - 19:48

was heißt in dem fall "mit der AI rumspielen"
stellt ihr da laufend fragen?

Dargor

Shadowlord

Registered: Sep 2006
Location: 4020
Posts: 2118

09.02.2025 - 20:07

https://www.youtube.com/shorts/ZN6XS2d_izI

das geht sogar auf einem Raspi

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 936

10.02.2025 - 15:45

ollama für deepseek, mistral und ähnliches.
ComfyUI für Pony und FLUX wobei je nach workflow die graka mehr arbeiten muss.
7900xt mit 20gb und 32gb ram

EndOfDayz Little Overclocker Registered: Oct 2004 Location: Austria Posts: 64	08.02.2025 - 20:46 Mich würde interessieren auf welcher Hardware ihr lokal KI Modelle betreibt und wie diese dann performen. Ob diese sinnvoll nutzbar sind, oder die Wartezeiten zu lange werden. Aber auch ob kleinere Modelle dann noch ausreichend gute Ergebnisse liefern.
liltan0x Little Overclocker Registered: Jul 2024 Location: void Posts: 60	09.02.2025 - 07:20 Ist bei mir nun alles nur rumgespiele um mal zu "schauen" wie es lokal so tut, aber ich lasse alles auf meinem uralten M1 Macbook Air laufen mit 16GB Ram und es lauft ziemlich gut muss ich sagen. Gerade Deepseek ist sehr performant und bringt die Musik im Hintergrund nicht zum stottern beim computen
BiG_WEaSeL Elder - Registered: Jun 2000 Location: Wien Posts: 8355	09.02.2025 - 09:41 Diverse Chatbots, FLUX (Bildgenerierung), F5-TTS Voice Cloning, bolt.diy (App-Erstellung) Laufen lasse ich es auf einen Mac Mini M4 pro 14-Kern mit 64GB RAM.
ZARO Here to stay Registered: May 2002 Location: Wien 22 Posts: 986	09.02.2025 - 18:32 Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er. Geht ausreichend gut. für den typischen Windows user zum ausprobieren kann Ich LM-Studio empfehlen, ist deutlich einfacher als einzelne Packages zu installieren und auf der cmd zu wursteln. auch ComfyUi mit Stable diffusion geht ganz gut damit. lg
quilty Ich schau nur Registered: Jul 2005 Location: 4202 Posts: 3092	09.02.2025 - 18:43 Ich lasse lieber die großen Anbieter Verlust machen mit meinen Prompts. Und habe schneller Ergebnisse. Lokal selbst habe ich nur im beruflichen Umfeld ein paar Tests gemacht, aber es hat wenig Sinn bei den Preisen, um die man auf die großen AI-Infrastrukturen zugreifen kann. Mit einer 3090 wars vertretbar schnell.
EndOfDayz Little Overclocker Registered: Oct 2004 Location: Austria Posts: 64	09.02.2025 - 18:48 Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5418	09.02.2025 - 19:08 Zitat aus einem Post von EndOfDayz Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll. Gibt ja entsprechende Enterprise Zugänge wo es angeblich dann ned zum Training genutzt wird bzw ist das Hochladen sensibler Dokumente sowieso ein nogo.
Rogaahl Elder interrupt Registered: Feb 2014 Location: K Posts: 2394	09.02.2025 - 19:25 Zitat aus einem Post von ZARO Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er. Das geht sogar mit, 32GB RAM und ohne GPU. Wer es probieren will, es ist in 5 Minuten installiert: Code: `sudo pacman -S ollama sudo systemctl start ollama ollama pull deepseek-r1:32b ollama run deepseek-r1:32b "How many overclockers do you need to change a lightbulb"`
sk/\r i never asked for this Registered: Dec 2002 Location: oö Posts: 11023	09.02.2025 - 19:48 was heißt in dem fall "mit der AI rumspielen" stellt ihr da laufend fragen?
Dargor Shadowlord Registered: Sep 2006 Location: 4020 Posts: 2118	09.02.2025 - 20:07 https://www.youtube.com/shorts/ZN6XS2d_izI das geht sogar auf einem Raspi
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 936	10.02.2025 - 15:45 ollama für deepseek, mistral und ähnliches. ComfyUI für Pony und FLUX wobei je nach workflow die graka mehr arbeiten muss. 7900xt mit 20gb und 32gb ram

KI Modelle auf lokaler Hardware

Forum Index > Software > Artificial Intelligence

EndOfDayz

liltan0x

BiG_WEaSeL

ZARO

quilty

EndOfDayz

Longbow

Rogaahl

sk/\r

Dargor

Kirby