KI-Modelle: GPT, xLSTM, Stable Diffusion, etc - Seite 9

Seite 9 von 54 - Forum: Artificial Intelligence auf overclockers.at

URL: https://www.overclockers.at/artificial-intelligence/ki-modelle-gpt-xlstm-stable-diffusion-etc_261430/page_9 - zur Vollversion wechseln!

charmin schrieb am 12.03.2023 um 21:53

Ja, aber zuerst musst das Modell trainieren und dazu brauchst halt gescheite gpus. Tippe auf mehrere Tesla v100. Trainieren kannst auch auf einer gpu, aber je mehr Parameter (modelllgröße) und trainingsdaten, desto schneller geht's halt.

TOM schrieb am 15.03.2023 um 09:34

GPT 4 released

https://openai.com/research/gpt-4

Zitat
We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks.

Jetzt auch mit Bild-Input, was aber komplett untergeht in den News die ich bisher gelesen habe:

Zitat
The ability to dump 32k tokens into a prompt (25,000 words) seems like it will drastically expand the reasoning capability and number of use cases. A doctor can put an entire patient's medical history in the prompt, a lawyer an entire case history, etc.

Diese drastische Token Erhöhung macht aus meiner Sicht weit mehr aus, als diese ~10-25% Optimierung im Vergleich zu GPT3.5

Das Hackernews comment ist generell eine interessante Ansicht:

Zitat
After watching the demos I'm convinced that the new context length will have the biggest impact. The ability to dump 32k tokens into a prompt (25,000 words) seems like it will drastically expand the reasoning capability and number of use cases. A doctor can put an entire patient's medical history in the prompt, a lawyer an entire case history, etc.

As a professional...why not do this? There's a non-zero chance that it'll find something fairly basic that you missed and the cost is several cents. Even if it just phrases something obvious in a way that makes you think, it's well worth the effort for a multimillion dollar client.

If they further increase the context window, this thing becomes a Second Opinion machine. For pretty much any high level job. If you can put in ALL of the information relevant to a problem and it can algorithmically do reasoning, it's essentially a consultant that works for pennies per hour. And some tasks that professionals do could be replaced altogether. Out of all the use cases for LLMs that I've seen so far, this seems to me to have the biggest potential impact on daily life.

edit (addition): What % of people can hold 25,000 words worth of information in their heads, while effectively reasoning with and manipulating it? I'm guessing maybe 10% at most, probably fewer. And they're probably the best in their fields. Now a computer has that ability. And anyone that has $20 for the OpenAI api can access it. This could get wild.

Der term "this thing becomes a Second Opinion machine" finde ich sehr passend.

OpenAI und Sam Altman schreiben selbst, dass das Ding im ersten Eindruck sehr impressive ist und je mehr man sich damit beschäftigt, desto eher erkennt man die flaws. Es halluziniert weiter, es bringt selbstbewusst falsche Fakten, etc. genauso wie die GPT Vorgänger.

Aber jetzt die kompletten financials copy & pasten und einen Jahresbericht ausspucken lassen oder ähnliches und es als Check zu verwenden ob man zum selben Ergebnis wie die AI kommt => makes total sense

Wird wohl nicht lange dauern bis ein 'on-premise' System gefordert wird... je kritischer die Daten, welche man durch die Gegend schicken muss/will, desto eher werden sie lokale Lösungen teuer bezahlen wollen.

interessantes momentum derzeit, alle crypto & NFT bros sind auf den AI bandwagon aufgesprungen wie's scheint :cool:

btw. der learning data cap ist September 21

edit: interessantes reasoning beispiel bei heise:

https://www.heise.de/forum/heise-on...-42409450/show/

xtrm schrieb am 15.03.2023 um 10:36

Meiner Erfahrung nach wie schon erwähnt eine exzellente Bullshit Bingo Maschine . Dadurch, dass man sich auf den Output einfach nicht verlassen kann, ist die Nützlichkeit stark beeinträchtigt.

Bei mir funzte es die letzten Male übrigens nicht, als ich es nutzen wollte. Immer Fehler, in der Konsole gibt's einen Network Error.

Jedimaster schrieb am 15.03.2023 um 10:44

Zitat aus einem Post von xtrm
Dadurch, dass man sich auf den Output einfach nicht verlassen kann

Genau hier gibt es den gefährlichen Irrglauben das 'irgenwann mal' die AI perfekt sein wird und die Antwort auf alles hat. Es wird IMMER Fehler geben, insofern kann man sich einfach nicht drauf verlassen, egal wie hoch die 'Successrate' ist. Speziell weil es immer wieder Fragen geben wird wo eine Antwort von der AI erwartet wird was diese nicht beantworten kann weil wir sie selber nicht 'so einfach' beantworten können.

Beispiel wäre das "Trolley Dilemma" Problem - wo es einfach keine 'richtige' Antwort gibt. Die Gefahr: Die AI behauptet einfach 'der Zug schaltet seinen Hoveruntersatz sein und schwebt über alle drüber' - und alle feiern die AI für die Lösung - die faktisch unmöglich ist, aber jeder glaubt daran weils 'die AI' gesagt hat

HaBa schrieb am 15.03.2023 um 10:47

@TOM, @xtrm: ich finde dazu den Beitrag von fefe ganz interessant => https://blog.fefe.de/?ts=9aee1dcb

Wobei er mMn die Latte relativ hoch legt. Wir erinnern uns an Seepocken ...

Auch das heise-Bsp. schlägt für mich in die selbe Kerbe, ein BS-Text wird für BS.Systeme am anderen Ende erzeugt. Wäre viel besser wenn "das andere Ende" auf BS-KI, BS-blockchain und jede andere BS-"Technology" (oder scam, je nachdem wie mans betrachtet) setzen würde. Da hätten wir alle was davon. Ich hatte vor ein paar Tagen grad wieder das Vergnügen mit so einem "intelligenten" System bei einem webshop, brrr.

"Früher(c)(r)" wurde sowas ja noch als "Expertensystem" gedacht, das war damals der new hot shit, hat aber irgendwie abgesehen von botanischen Bestimmungbüchern nie den Durchbrauch geschafft. So wie der holographische Speicher der seit den 80ern "in 2 Jahren marktreif ist".

Deshalb bin ich da eher skeptisch bei derartigen KIs (woebei, nein, eigentlich bei allen für wichtige Dinge/viele Parametern). Die David-Copperfield-Effekte die sowas aber jetzt gerade abliefert sind einerseits durcheaus beeindruckend, andererseits für mich eben kritisch zu betrachten.

Jedimaster schrieb am 15.03.2023 um 10:52

Ich werde dieselbe Konversation mit ChatGPT über Raid-1 1:1 nochmal genauso führen wie vor nem Monat (in nem Monat oder so) um zu sehen ob die Antworten irgendwie unterschiedlich sind. Sprich ob das Ding wirklich 'lernt' oder einfach nur sich ne Zeitlang 'erinnert' was gechatted wurde und dann wieder auf seinen Default zurückfällt.

TOM schrieb am 15.03.2023 um 11:05

Zitat aus einem Post von Jedimaster
Genau hier gibt es den gefährlichen Irrglauben das 'irgenwann mal' die AI perfekt sein wird und die Antwort auf alles hat. Es wird IMMER Fehler geben, insofern kann man sich einfach nicht drauf verlassen, egal wie hoch die 'Successrate' ist.

Es wird nie perfekt sein, es braucht nur besser als der Mensch sein...und der path ist eindeutig sichtbar imho

Same for autonomes Autofahren btw.

@ Haba
Ich sehe eine Zukunft in der wir uns AI generierte E-Mail Texte hin und her schicken, weil ja eigentlich keiner E-Mails schreiben/ausformulieren will.
Der prosa Generator, als Übergang bis wir drauf kommen endlich effizient zu kommunizieren.

InfiX schrieb am 15.03.2023 um 11:06

Zitat aus einem Post von TOM
interessantes momentum derzeit, alle crypto & NFT bros sind auf den AI bandwagon aufgesprungen wie's scheint

na dann ists ja eh zum scheitern verurteilt, sehr gut.

Vinci schrieb am 15.03.2023 um 11:16

Im Gegensatz zu Crypto zieht AI hoffentlich Leute an deren Interessen nicht mit Blackjack und Nutten abgedeckt sind...

Das "wird nie perfekt sein" Argument hatten wir in der Geschichte der Technik schon so oft, und jedes mal hat es sich früher oder später als falsch erwiesen.

Jedimaster schrieb am 15.03.2023 um 11:21

Zitat aus einem Post von Vinci
hatten wir in der Geschichte der Technik schon so oft, und jedes mal hat es sich früher oder später als falsch erwiesen.

Hatten wir in der Geschichte der Technik auch schwurbler die davon überzeugt sind das die Erde flach ist, Covid nur ein Hoax war, Aliens schon lange in der Hohlerde wohnen und Russland sich nur verteidigt ? Wenn die AI einmal mit sowas 'korrumpiert' ist ists vorbei...

HaBa schrieb am 15.03.2023 um 11:23

Zitat aus einem Post von TOM
Es wird nie perfekt sein, es braucht nur besser als der Mensch sein...und der path ist eindeutig sichtbar imho

Same for autonomes Autofahren btw.

@ Haba
Ich sehe eine Zukunft in der wir uns AI generierte E-Mail Texte hin und her schicken, weil ja eigentlich keiner E-Mails schreiben/ausformulieren will.
Der prosa Generator, als Übergang bis wir drauf kommen endlich effizient zu kommunizieren.

Wenn ich eine mail nicht schreiben will die du sowieso nicht lesen willst lasse ich es gleich bleiben, outcome ist ja der selbe.

"Besser als der Mensch" ist schwierig. Den Ethik-Anteil übersehen Techniker ja gerne. Kunden greifen manche Neuerungen gerne auf, weil Vollkaskogesellschaft, "ein Auto um 150k muss das können", "meinen Tesla kann eine Orange fahren", weil wenn sie sich einkasteln sind 15min primetime fix gebucht. (ich habe Tesla gewählt wegen autonomen Fahren)

Oder wenn dann wieder mal riesen Weltmarktschwankungen sind weil trading-Systeme künstlich intelligent sind

Meine Heizungssteuerung daheim darf ruhig eine KI haben, beim Autofahren habe ich aber eine Hand am Lenkrad.

xtrm schrieb am 15.03.2023 um 11:51

Zitat aus einem Post von Vinci
Das "wird nie perfekt sein" Argument hatten wir in der Geschichte der Technik schon so oft, und jedes mal hat es sich früher oder später als falsch erwiesen.

Von was redest du bitte?

charmin schrieb am 15.03.2023 um 11:52

was chatGPT halt sehr gut kann is style transfer.
es kann aus unstrukturierten infos sehr schöne sätze bilden oder bestimmte stile umwandeln wie bspw piratensprache usw.

was ich auch gerne verwende:

"rewrite the following text in a scientific manner"

oder

"create some bullet points of the following text"

is halt alles mehr oder weniger style transfer.
Was die leut nicht checken ist, dass es keine echte künstliche intelligenz ist.
Es is nur ein multi layer perceptron mit self-attention mechanismen welches aus einer input sequenz eine output sequenz erzeugt. Trainiert werden wie immer nur die Gewichte im Netz und halt die attention map der transformer blöcke. Das ist immer noch sooo weit weg von einer echten intelligenz. Funktionieren tuts trotzdem sehr geil, find ich.

TOM schrieb am 15.03.2023 um 12:44

Zitat aus einem Post von charmin
Das ist immer noch sooo weit weg von einer echten intelligenz

Da gibts einen guten quote aus Life 3.0 von Max Tegmark der in die Richtung geht (completely butchered aber in essenz):
"I was on a conference on the topic of intelligence with a lot of intelligent people and even we could not land on a widely accepted definition of the word intelligence"

Wir haben eigentlich keine Ahnung wie das Hirn genau funktioniert oder was Intelligenz genau ist, aber wir haben einen guten Ansatz/Tools um ein Hirn künstlich nachbauen zu können => neural nets.

@ Haba
Ich möcht den thread nicht in Richtung autonomes Fahren derailen (obwohl sich langsam zeigt, dass man large language models sogar zum lösen von kreuzungssituationen im straßenverkehr verwenden kann :eek:

) - aber es ist aus meiner sicht ganz einfach messbar und argumentierbar:

Wenn ein autonomes Fahrzeug um's x-fache (10fach, 100fach, 1000 fach, ....) sicherer fährt als der Mensch, wäre es dumm dies nicht einzusetzen.

Sehe ich ähnlich wie Sicherheitsgurte: Zuerst wehren sich die leut massiv dagegen (tun manche dodln heut noch) aber angesichts der reduzierung von verkehrstoten ein absoluter no-brainer. imho wird's uns genauso mim autonomen fahren gehen. Der Flugzeugverkehr zeigt's ja schon jahrzehnte vor wie's richtig geht => die verrückten, unkonzentrierten, fehleranfälligen menschen out-of-the-loop nehmen und nur mehr in Not-/Extremsituationen eingreifen lassen.

Zu GPT4 noch: Eine Neuerung ist übrigens auch, dass es deutlich besser mit anderen Sprachen als Englisch arbeiten soll... auch interessant.

HaBa schrieb am 15.03.2023 um 12:49

Zitat aus einem Post von TOM
@ Haba
Ich möcht den thread nicht in Richtung autonomes Fahren derailen (obwohl sich langsam zeigt, dass man large language models sogar zum lösen von kreuzungssituationen im straßenverkehr verwenden kann ) - aber es ist aus meiner sicht ganz einfach messbar und argumentierbar:

Wenn ein autonomes Fahrzeug um's x-fache (10fach, 100fach, 1000 fach, ....) sicherer fährt als der Mensch, wäre es dumm dies nicht einzusetzen.

Gibts da aktuelle Zahlen? Und auch aus Ländern mit Tunnels?

=> ich bin schon einer Meinung mit dir dass Assistenzsystem ein Segen sind, ich habe leider noch keinen Abstandstempomaten, aber das wäre mein nächstes update.

Hände vom Steuer nehmen beim Fahren würde ich dennoch nie. So wie ich nie angetschickert fahre und generell meinen Blick nach vorne gerichtet habe im Auto.

Bei manchen verbessert so ein Autopilot aber sicher die Unfallbilanz, vor allem wenn der Kofferraum das KFZ beim Amaturenbrett beginnt...

(ich würds meinerseits jetzt mit "Autopilot" lassen, hab ich nur als Bsp. für meine Bedenken zu KI hergenommen)