Verwandelt sich Nvidia vollständig in eine AI-Firma?

WONDERMIKE

Administrator
kenough

Registered: Jul 2001
Location: Mojo Dojo Casa H..
Posts: 10678

23.05.2023 - 01:03

NVIDIA AI GPU Demand Blows Up, Chip Prices Increase By 40% & Stock Shortages Expected Till December

NVIDIA GPU business is booming thanks to AI but may not be able to keep up with demand despite increasing production at TSMC.

Link: wccftech.com

Ja, nur wccftech

Aber ich frage mich nicht zum ersten mal wie lustig es eigentlich wäre, wenn Nvidia irgendwann mit dem AI Train aus der Gamingwelt davonfährt, weil sie dort mehr Geld verdienen als mit uns. Seit Turing habe ich auch immer stärker das Gefühl, dass Nvidia in erster Linie Compute Hardware entwickelt und dann per Marketing dafür sorgt, dass wir das unbedingt als essenziellen Teil einer Gaminggrafikkarte wahrnehmen(zB Tensor Cores

).

Frage an die AI Leute hier: Bieten Quadros durch ihre zertifizierten Treiber einen Vorteil, oder ist das bei AI bedeutungslos? Wie wichtig ist der VRAM bzw ab welcher Speichermenge kann eine Grafikkarte da halbwegs sinnvoll eingesetzt werden? Werden Consumerkarten womöglich ins Visier geraten und so die Preise wieder angeheizt?

smashIt

master of disaster

Registered: Feb 2004
Location: OÖ
Posts: 5234

23.05.2023 - 01:08

Zitat aus einem Post von WONDERMIKE
Werden Consumerkarten womöglich ins Visier geraten und so die Preise wieder angeheizt?

die kommen alleine schon deswegen unter druck weil nvidia ihr fertigungskontingent bei tsmc richtung ki verschieben werden.

Viper780

Moderator
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 50096

23.05.2023 - 01:29

Nvidia hat sich schon lange in die Richtung positioniert. Auch Automotive ist seit langem ein großer und Erfolgreicher Zweig.

Jetzt bin ich kein AI / KI Profi, aber was ich so mitbekomme ist die Größe des Neuronalen Netzes vorallem beim Training durch die Speichergröße beschränkt. Jedes Gigabyte mehr gibt entweder mehr Details oder ermöglicht ein komplexeres Modell. Aktuell sieht es noch nicht so aus als ob man in die Gegend von "ausreichend Speicher" gekommen wäre.

Ich frage mich eher wie lange es dauert bis die breite Masse sich von CUDA weg bewegt und andere KI Libraries welche auch auf non nvidia laufen stärker Verbreitung finden.

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14673

23.05.2023 - 07:04

Es stimmt zwar, dass neuronale Netze größer geworden sind. Allerdings performen zu grosse Netze wieder schlechter. Die Speichergrösse ist vorrangig auch für die batch size wichtig und wenn man zb farbige 3d punktwolken hat, dann sind das gleich mal ein paar GB pro batch. Was mir in dem Bereich aufgefallen ist (3d punktwolken) ist, dass neueren Netze eher wieder einfacher werden und eher neue mathematische Konzepte verwenden wie bspw Transformer und dann auch eher approximationen weil der transformer sonst zu aufwändig zu trainieren is. Was ich sagen will: ich denke, dass der Speicherbedarf für neuronale Netze in Zukunft nicht so schnell wachsen wird wie es das jetzt am Anfang passiert is. Aber nur meine bescheidene Meinung.

Und quadros bzw A serie: sind halt runtergetaktet und laufen näher am energie/Effizienz sweetspot. Ausserdem darfst kommerziell gar keine RTX Karten fürs Training von AI verwenden. In der alten Firma hatten wir dann zwei a6000 besorgt. Hab aber auch viel mit der 3090er und 4090er trainiert. Die rennt dann halt sauheiss und laut, was eine a6000 dann halt weniger macht.

deleted060824

Registered: Aug 2024
Location:
Posts: 0

30.05.2023 - 11:04

NVIDIA Made a CPU.. I’m Holding It.

Link: www.youtube.com

Dann zerlegt er unerlaubt einen Rack Einschub.

ARM CPU mit 144 Kernen und einer Hopper GPU gleich daneben. 900+GB Datendurchsatz.

Die Margen da sicher deutlich höher als bei schnöden Grafik GPUs.
Vollständige Verwandlung in eine AI Firma wird nicht passieren, aber es ist das neue Kerngeschäft. Zumindest bis zum Platzen der AI Bubble - irgendwann um 2024-2025..

Römi

Hausmeister

Registered: Feb 2001
Location: Bez. Tulln
Posts: 5310

30.05.2023 - 23:16

RTX 5000 vs RDNA 4, Nvidia AI, AMD MI300, Intel Meteor Lake vs Zen 5 | AdoredTV | Broken Silicon 207

Link: www.youtube.com

Passend dazu (AI).

deleted060824

Registered: Aug 2024
Location:
Posts: 0

02.06.2023 - 09:57

Nvidia briefly joins $1 trillion valuation club

The highest price target valued it at about $1.6 trillion, on par with Google-parent Alphabet.

Link: www.reuters.com

Bin gespannt wie lange sich die Blase noch aufpumpen lässt.

DjangOC

Little Overclocker

Registered: Feb 2014
Location: Ostschweiz
Posts: 105

08.06.2023 - 21:15

Zitat aus einem Post von Viper780
Ich frage mich eher wie lange es dauert bis die breite Masse sich von CUDA weg bewegt und andere KI Libraries welche auch auf non nvidia laufen stärker Verbreitung finden.

Hab ja mit ner WX9100 mit ihren 16GB HBM nicht unbedingt die schlechteste Karte; aber Stable Diffusion bekomm ich ums verrecken nicht zum laufen.
Quadro P2000 hingegen, obschon eigentlich viel zu wenig Speicher, war mit Downloads ne 20 Min Geschichte.

Da muss noch viel passieren. Vereinzelte haben es ja schon zum laufen gebracht, auch mit WX9100, resp. geflashter Instinct Mi25. Nur ich bin derzeitig halt zu blöd dafür. Ich denke, die breite Masse leider auch. Da müssen wohl paar besonders angefressene Pioniere ihr Werk tun. Aber wenns dann geht, dann darf sich jeder mit AMD freuen.

Zitat aus einem Post von charmin
Hab aber auch viel mit der 3090er

Ich schiele im Moment tatsächlich auf ne gebrauchte 3090. Auf Ricardo gehen die teilweise schon für 580 CHF weg.
Aus mir unerklärlichen Gründen gehen die WX9100 teilweise noch immer für mehr weg.

Was aber halt ätzend ist, dass nVidia bei ihren Consumerkarten die Grafikausgänge verkrüppelt und auf 3 gleichzeitige Anzeigen limitiert.
Früher so: 2 Grafikkarten für SLI.
Heute so: 2 Graffikkarten um alle Monitore zu betreiben...

Bearbeitet von DjangOC am 08.06.2023, 21:21

WONDERMIKE Administrator kenough Registered: Jul 2001 Location: Mojo Dojo Casa H.. Posts: 10678	23.05.2023 - 01:03 NVIDIA AI GPU Demand Blows Up, Chip Prices Increase By 40% & Stock Shortages Expected Till December NVIDIA GPU business is booming thanks to AI but may not be able to keep up with demand despite increasing production at TSMC. Link: wccftech.com Ja, nur wccftech Aber ich frage mich nicht zum ersten mal wie lustig es eigentlich wäre, wenn Nvidia irgendwann mit dem AI Train aus der Gamingwelt davonfährt, weil sie dort mehr Geld verdienen als mit uns. Seit Turing habe ich auch immer stärker das Gefühl, dass Nvidia in erster Linie Compute Hardware entwickelt und dann per Marketing dafür sorgt, dass wir das unbedingt als essenziellen Teil einer Gaminggrafikkarte wahrnehmen(zB Tensor Cores ). Frage an die AI Leute hier: Bieten Quadros durch ihre zertifizierten Treiber einen Vorteil, oder ist das bei AI bedeutungslos? Wie wichtig ist der VRAM bzw ab welcher Speichermenge kann eine Grafikkarte da halbwegs sinnvoll eingesetzt werden? Werden Consumerkarten womöglich ins Visier geraten und so die Preise wieder angeheizt?
smashIt master of disaster Registered: Feb 2004 Location: OÖ Posts: 5234	23.05.2023 - 01:08 Zitat aus einem Post von WONDERMIKE Werden Consumerkarten womöglich ins Visier geraten und so die Preise wieder angeheizt? die kommen alleine schon deswegen unter druck weil nvidia ihr fertigungskontingent bei tsmc richtung ki verschieben werden.
Viper780 Moderator Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 50096	23.05.2023 - 01:29 Nvidia hat sich schon lange in die Richtung positioniert. Auch Automotive ist seit langem ein großer und Erfolgreicher Zweig. Jetzt bin ich kein AI / KI Profi, aber was ich so mitbekomme ist die Größe des Neuronalen Netzes vorallem beim Training durch die Speichergröße beschränkt. Jedes Gigabyte mehr gibt entweder mehr Details oder ermöglicht ein komplexeres Modell. Aktuell sieht es noch nicht so aus als ob man in die Gegend von "ausreichend Speicher" gekommen wäre. Ich frage mich eher wie lange es dauert bis die breite Masse sich von CUDA weg bewegt und andere KI Libraries welche auch auf non nvidia laufen stärker Verbreitung finden.
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14673	23.05.2023 - 07:04 Es stimmt zwar, dass neuronale Netze größer geworden sind. Allerdings performen zu grosse Netze wieder schlechter. Die Speichergrösse ist vorrangig auch für die batch size wichtig und wenn man zb farbige 3d punktwolken hat, dann sind das gleich mal ein paar GB pro batch. Was mir in dem Bereich aufgefallen ist (3d punktwolken) ist, dass neueren Netze eher wieder einfacher werden und eher neue mathematische Konzepte verwenden wie bspw Transformer und dann auch eher approximationen weil der transformer sonst zu aufwändig zu trainieren is. Was ich sagen will: ich denke, dass der Speicherbedarf für neuronale Netze in Zukunft nicht so schnell wachsen wird wie es das jetzt am Anfang passiert is. Aber nur meine bescheidene Meinung. Und quadros bzw A serie: sind halt runtergetaktet und laufen näher am energie/Effizienz sweetspot. Ausserdem darfst kommerziell gar keine RTX Karten fürs Training von AI verwenden. In der alten Firma hatten wir dann zwei a6000 besorgt. Hab aber auch viel mit der 3090er und 4090er trainiert. Die rennt dann halt sauheiss und laut, was eine a6000 dann halt weniger macht.
deleted060824 Registered: Aug 2024 Location: Posts: 0	30.05.2023 - 11:04 NVIDIA Made a CPU.. I’m Holding It. Link: www.youtube.com Dann zerlegt er unerlaubt einen Rack Einschub. ARM CPU mit 144 Kernen und einer Hopper GPU gleich daneben. 900+GB Datendurchsatz. Die Margen da sicher deutlich höher als bei schnöden Grafik GPUs. Vollständige Verwandlung in eine AI Firma wird nicht passieren, aber es ist das neue Kerngeschäft. Zumindest bis zum Platzen der AI Bubble - irgendwann um 2024-2025..
Römi Hausmeister Registered: Feb 2001 Location: Bez. Tulln Posts: 5310	30.05.2023 - 23:16 RTX 5000 vs RDNA 4, Nvidia AI, AMD MI300, Intel Meteor Lake vs Zen 5 \| AdoredTV \| Broken Silicon 207 Link: www.youtube.com Passend dazu (AI).
deleted060824 Registered: Aug 2024 Location: Posts: 0	02.06.2023 - 09:57 Nvidia briefly joins $1 trillion valuation club The highest price target valued it at about $1.6 trillion, on par with Google-parent Alphabet. Link: www.reuters.com Bin gespannt wie lange sich die Blase noch aufpumpen lässt.
DjangOC Little Overclocker Registered: Feb 2014 Location: Ostschweiz Posts: 105	08.06.2023 - 21:15 Zitat aus einem Post von Viper780 Ich frage mich eher wie lange es dauert bis die breite Masse sich von CUDA weg bewegt und andere KI Libraries welche auch auf non nvidia laufen stärker Verbreitung finden. Hab ja mit ner WX9100 mit ihren 16GB HBM nicht unbedingt die schlechteste Karte; aber Stable Diffusion bekomm ich ums verrecken nicht zum laufen. Quadro P2000 hingegen, obschon eigentlich viel zu wenig Speicher, war mit Downloads ne 20 Min Geschichte. Da muss noch viel passieren. Vereinzelte haben es ja schon zum laufen gebracht, auch mit WX9100, resp. geflashter Instinct Mi25. Nur ich bin derzeitig halt zu blöd dafür. Ich denke, die breite Masse leider auch. Da müssen wohl paar besonders angefressene Pioniere ihr Werk tun. Aber wenns dann geht, dann darf sich jeder mit AMD freuen. Zitat aus einem Post von charmin Hab aber auch viel mit der 3090er Ich schiele im Moment tatsächlich auf ne gebrauchte 3090. Auf Ricardo gehen die teilweise schon für 580 CHF weg. Aus mir unerklärlichen Gründen gehen die WX9100 teilweise noch immer für mehr weg. Was aber halt ätzend ist, dass nVidia bei ihren Consumerkarten die Grafikausgänge verkrüppelt und auf 3 gleichzeitige Anzeigen limitiert. Früher so: 2 Grafikkarten für SLI. Heute so: 2 Graffikkarten um alle Monitore zu betreiben... Bearbeitet von DjangOC am 08.06.2023, 21:21

Verwandelt sich Nvidia vollständig in eine AI-Firma?

Forum Index > Hardware > Komponenten > Grafikkarten

WONDERMIKE

smashIt

Viper780

charmin

deleted060824

Römi

deleted060824

DjangOC