KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Zitat aus einem Post von folex

Das habe ich versucht weiter oben anzusprechen. Wenn der Anreiz guten Content zu erstellen fällt (weil die AI so viele Anfragen abdeckt das es sich die Arbeit nicht mehr rechnet), dann stagniert das System.

Wenn die AI laufend selbstlernend wird und noch Anreize für guten Content erhalten bleiben, wird die AI besser, der zu Grunde liegende Content jedoch vermutlich recht schnell wieder obsolet.

Naja, man wird's sehen.

Zitat aus einem Post von böhmi

Wenn jetzt noch eine AI kommt, die die relevanten Daten aus einem elendig reißerischen 20 Minuten Video raus zu saugen und schön tabellarisch aufzubereiten, dann würde ich wirklich Geld dafür zahlen.

Zitat aus einem Post von pinkey

Glaubt’s ihr eigentlich ob das von MS auch bissl ein Marketing Move war?
Erster die Leute anfixen mit „gratis“ Abfragen damit’s in aller Munde ist und jetzt in die Produkte einbauen.

Zitat aus einem Post von TOM

Ich würde gerne folgendes besser verstehen:

Wie schaut der operative Betrieb bzw. die System-Architektur von AI-Systemen ala ChatGPT aus, wo (zig)tausende(?) requests pro Sekunde reinprasseln?

Ich finde viele Infos zu AI Modell learning, Software-Stacks, optimizing, tuning, etc. aber nichts wie diese Teile im operativen Betrieb eigentlich ausschauen. Würde mich brennend interessieren. Ich finde nur viel Buzzword-blabla wie magische Software-Stacks ala Ray, aber ich möchte das Engineering dahinter auf Systemebene besser verstehen.

Ich komme aus einer Welt mit verschiedensten Caches, Frontend, Middleware, Datenbanken und entsprechender horizontalen und vertikalen Skalierung - nur wie schaut dies in der AI Welt aus, in der man (aus meiner Sicht) nichts wirklich cachen kann und das AI Modell hunderte GB hat... wie hält man sowas performant bei n-requests?!

Falls da wer gute Infoquellen kennt, bitte her damit

Zitat

Der Betrieb von AI-Systemen wie ChatGPT unterscheidet sich in einigen Aspekten von traditionellen Web-Anwendungen, aber viele Konzepte und Technologien sind ähnlich.

Um den Bedarf an Performance bei einer großen Anzahl von Anfragen zu bewältigen, werden in der Regel mehrere Instanzen des AI-Modells auf mehreren Servern bereitgestellt und durch eine Lastverteilung (z. B. durch einen Load Balancer) ausbalanciert. Dies ermöglicht es, dass mehrere Anfragen gleichzeitig bearbeitet werden können und dass das System skaliert werden kann, indem einfach weitere Instanzen hinzugefügt werden.

Bei den AI-Modellen selbst gibt es eine gewisse Menge an Latenz, wenn es darum geht, Vorhersagen zu treffen, und es kann schwierig sein, diese Latenz zu reduzieren. Um dies zu minimieren, werden häufig Techniken wie Modelle zur Vorverarbeitung und Batch-Vorhersage eingesetzt, bei denen mehrere Anfragen zusammengefasst und gemeinsam verarbeitet werden.

Es gibt auch einige Herausforderungen bei der Speicherung und Verwaltung großer AI-Modelle, insbesondere wenn sie in einer produktionsreifen Umgebung bereitgestellt werden. Hier kann es hilfreich sein, auf moderne Systeme für die Verwaltung von Datenmodellen zurückzugreifen, die es ermöglichen, große Modelle effizient und skalierbar zu speichern und bereitzustellen.

Zusammenfassend lässt sich sagen, dass es bei der Bereitstellung von AI-Systemen ähnliche Herausforderungen gibt wie bei traditionellen Web-Anwendungen, aber es gibt auch einige spezifische Herausforderungen, die es zu berücksichtigen gilt. Dies beinhaltet die Bewältigung hoher Anfragezahlen, die Minimierung von Latenzen und die Verwaltung von großen Datenmodellen.

Zitat

Hier ist eine detailliertere technische Übersicht dessen, wie AI-Systeme wie ChatGPT im operativen Betrieb aussehen können:

1. Lastverteilung: Um hohen Anfragezahlen gerecht zu werden, werden mehrere Instanzen des AI-Modells bereitgestellt und durch einen Load Balancer ausbalanciert. Dieser verteilt die Anfragen auf die verfügbaren Instanzen und stellt sicher, dass keine einzige Instanz überlastet wird.
2. AI-Modelle: Die AI-Modelle selbst bestehen aus einem neuronalen Netzwerk, das auf großen Datensätzen trainiert wurde, um Vorhersagen zu treffen. Diese Modelle können sehr groß sein, was es erforderlich macht, sie effizient zu speichern und bereitzustellen.
3. Speicherung von Modellen: Die Modelle werden in der Regel in einer speziellen Datenbank gespeichert, die für die Verwaltung von Datenmodellen optimiert ist. Diese Datenbanken unterstützen Funktionen wie Versionierung, Überwachung und Skalierbarkeit, um die Effizienz bei der Verwaltung großer Modelle zu verbessern.
4. API-Schicht: Um Anfragen an das AI-Modell zu stellen, wird eine API-Schicht bereitgestellt, die Anfragen empfängt und die Antworten bereitstellt. Diese API-Schicht kann in einer Programmiersprache wie Python oder Java geschrieben sein und kann eine REST-basierte Schnittstelle oder eine andere Art von API bereitstellen.
5. Batch-Vorhersage: Um Latenzen bei der Verarbeitung von Anfragen zu minimieren, können mehrere Anfragen zusammengefasst und gemeinsam verarbeitet werden, um Batch-Vorhersagen durchzuführen. Dies reduziert die Latenz, indem mehrere Anfragen gle