KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14529

24.03.2023 - 13:58

Zitat aus einem Post von Daeda
und das kann chatgpt mit dem "browser plugin" jetzt auch. bin gespannt, inwiefern sich das dann von bing unterscheidet. dort nervt die werbung ja schon a bissl.

nice. hach, what a time to be alive :cool:

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 1990

24.03.2023 - 23:32

Ist mir wohl nicht allein so gegangen:

https://www.golem.de/news/ki-im-pro...303-172777.html

Jedimaster

Here to stay

Registered: Dec 2005
Location: Linz
Posts: 2938

24.03.2023 - 23:56

Ist leider hinter ner Paywall ... somit ... tldr ?

Edit: heute gehts, evtl. lags am Adblock ka ?

Bearbeitet von Jedimaster am 25.03.2023, 10:43

xtrm

social assassin

Registered: Jul 2002
Location:
Posts: 12087

25.03.2023 - 01:29

"Akzeptieren und weiter" klicken ist keine Paywall...

.

Bearbeitet von xtrm am 25.03.2023, 01:35

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19682

25.03.2023 - 08:22

Da ist mMn nichts überraschendes dran, genau so funktioniert der ganze DeepLearning Stuff. Es wird probiert und probiert bis eine Lösung gefunden wird und validiert ob die Lösung gut oder besser ist als vorher. Bei ChatGPT machen das halt die User, wenn wir schreiben "das ist ein Schaas" dann sagt dass der Engine die Lösung war schlecht. Trial und Error.
Nur der Clou daran ist halt dass die Engine irgendwann halt gut bzw besser als ein Mensch wird. ABER, Kreativität hat sie halt nicht und neue Probleme werden sicherlich schneller von Menschen gelöst (heute), das ist aber auch nur eine Frage der Rechenleistung bzw wie schnell man Lösungen verifizieren kann.

Denke dass die Technologie trotzdem auf Dauer die Menschheit verändern wird.

In meinen Augen kann man das sicher mit der Revolution des Internets (Informationsaustausch) vergleichen.

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14529

25.03.2023 - 08:24

Ich bezweifle ganz stark dass auch nur irgendein Parameter im ChatGPT Modell gelernt wird durch unüberprüfte Eingaben von normalen Menschen.

Probiert wird auch nichts. Es werden vorne Sätze reingestopft und hinten Sätze die als richtige Antwort gelten platziert. Danach wird der Satz durchs Netz propagiert und anschließend ein Fehler berechnet. Danach passiert ein
Gradientenabstieg und der Fehler wird durchs Netz backpropagated bis alle Layer durch sind. Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Halt immer nur stückchenweise.

Empfehle die Videos von 3Blue1Brown zu Neural Networks / Gradient Descent etc. Der erklärts echt gut

deleted060824

Registered: Aug 2024
Location:
Posts: 0

25.03.2023 - 08:38

ChatGPT hat mir gerade das empfohlen.. not sure if.. mal schaun

:ubeer: * -- dummes programm..

ok, now it get it .. es kennt mich mittlerweile recht gut oder doch nicht !

* 2 bierkrüge stoßen aneinander, aber trotzdem dumm, ich sauf schon lange kein Bier mehr, nur mehr Mineralwasser mit einem hauch von wein

Bearbeitet von deleted060824 am 25.03.2023, 08:42

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14529

25.03.2023 - 08:43

Falls wem ganz fad is:

https://arxiv.org/abs/1706.03762

Das original Transformer Paper.

Hier einfacher erklärt:

https://jalammar.github.io/illustrated-transformer/

Hier ne playlist vom grant anderson über die Grundlagen von Neuronalen Netzen.

https://m.youtube.com/playlist?list...7000Dx_ZCJB-3pi

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 1990

25.03.2023 - 10:32

Ein guter Artikel auf heise, wie man Llama selbst ausprobieren kann:

https://www.heise.de/hintergrund/Gr...he-7624131.html

Seit gestern kann ich auch Bing ausprobieren, dass ja auch schon auf GPT4 läuft. Es ist schon deutlich präziser als GPT3.5. Was auch gut gelaufen ist, man kann Bing einen Link zu einer PDF gehen, zb zu wissenschaftlichen Arbeiten und diese von Bing zusammenfassen lassen.

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

25.03.2023 - 11:00

Zitat aus einem Post von charmin
Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern.

Auch auf der technischen Seite wird probiert. Siehe dropout layer.
https://keras.io/api/layers/regular...layers/dropout/
Auch werden am Start die Weights per Zufall gesetzt.

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14529

25.03.2023 - 11:42

Zitat aus einem Post von Hansmaulwurf
Auch auf der technischen Seite wird probiert. Siehe dropout layer.
https://keras.io/api/layers/regular...layers/dropout/
Auch werden am Start die Weights per Zufall gesetzt.

Ja aber nicht während der Inferenz, sondern vorm Training.
Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden.

Das mit den zufälligen weights und "Probieren" is so ne Sache. Es wird gemacht, aber wenn ein Netz auf Industrie Hardware mal ein paar Wochen trainiert, dann wirst alt mit Probieren und Dingen wie grid search bei hyperparametet Optimierung.

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

25.03.2023 - 11:48

Zitat aus einem Post von charmin
Ja aber nicht während der Inferenz, sondern vorm Training.
Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden.

Zitat
The Dropout layer randomly sets input units to 0 with a frequency of rate at each step during training time, which helps prevent overfitting

Aus dem Link. Der Dropout Layer agiert während dem Training.

deleted060824

Registered: Aug 2024
Location:
Posts: 0

25.03.2023 - 11:52

Siggi und Sheldon lachen immer noch über ChatGPT.. wie lange noch ?

charmin

Super Moderator
10x

Registered: Dec 2002
Location: aut_sbg
Posts: 14529

25.03.2023 - 11:54

Zitat aus einem Post von Hansmaulwurf
Aus dem Link. Der Dropout Layer agiert während dem Training.

Ja, aber einstellen tust du den hyperparameter net während des trainings.Du definierst vorm Training das Verhalten und dann läuft das. Selbes mir temperature annealing bei softmax.
Da hab ich auch mehrere Verhaltensweisen probiert wie linear mit Epochenanzahl (ähnlich dropout in deinem link) runter oder exponentiell sinkend. Aber ändern musst das jedesmal vorm Start des Trainings.

Edit: um was es mir geht: wenn irgendein Hansl im Netz Chat gpt nutzt und dem als input irgend ein Wissen gibt. Dann wird das nicht einfach so übernommen.

edit: sieht man eh beim Nazi bot von Microsoft damals was passiert wenn ungefiltert zeugs gelernt wird

deleted060824

Registered: Aug 2024
Location:
Posts: 0

25.03.2023 - 11:57

charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14529	24.03.2023 - 13:58 Zitat aus einem Post von Daeda und das kann chatgpt mit dem "browser plugin" jetzt auch. bin gespannt, inwiefern sich das dann von bing unterscheidet. dort nervt die werbung ja schon a bissl. nice. hach, what a time to be alive
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 1990	24.03.2023 - 23:32 Ist mir wohl nicht allein so gegangen: https://www.golem.de/news/ki-im-pro...303-172777.html
Jedimaster Here to stay Registered: Dec 2005 Location: Linz Posts: 2938	24.03.2023 - 23:56 Ist leider hinter ner Paywall ... somit ... tldr ? Edit: heute gehts, evtl. lags am Adblock ka ? Bearbeitet von Jedimaster am 25.03.2023, 10:43
xtrm social assassin Registered: Jul 2002 Location: Posts: 12087	25.03.2023 - 01:29 "Akzeptieren und weiter" klicken ist keine Paywall... . Bearbeitet von xtrm am 25.03.2023, 01:35
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19682	25.03.2023 - 08:22 Da ist mMn nichts überraschendes dran, genau so funktioniert der ganze DeepLearning Stuff. Es wird probiert und probiert bis eine Lösung gefunden wird und validiert ob die Lösung gut oder besser ist als vorher. Bei ChatGPT machen das halt die User, wenn wir schreiben "das ist ein Schaas" dann sagt dass der Engine die Lösung war schlecht. Trial und Error. Nur der Clou daran ist halt dass die Engine irgendwann halt gut bzw besser als ein Mensch wird. ABER, Kreativität hat sie halt nicht und neue Probleme werden sicherlich schneller von Menschen gelöst (heute), das ist aber auch nur eine Frage der Rechenleistung bzw wie schnell man Lösungen verifizieren kann. Denke dass die Technologie trotzdem auf Dauer die Menschheit verändern wird. In meinen Augen kann man das sicher mit der Revolution des Internets (Informationsaustausch) vergleichen.
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14529	25.03.2023 - 08:24 Ich bezweifle ganz stark dass auch nur irgendein Parameter im ChatGPT Modell gelernt wird durch unüberprüfte Eingaben von normalen Menschen. Probiert wird auch nichts. Es werden vorne Sätze reingestopft und hinten Sätze die als richtige Antwort gelten platziert. Danach wird der Satz durchs Netz propagiert und anschließend ein Fehler berechnet. Danach passiert ein Gradientenabstieg und der Fehler wird durchs Netz backpropagated bis alle Layer durch sind. Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Halt immer nur stückchenweise. Empfehle die Videos von 3Blue1Brown zu Neural Networks / Gradient Descent etc. Der erklärts echt gut
deleted060824 Registered: Aug 2024 Location: Posts: 0	25.03.2023 - 08:38 ChatGPT hat mir gerade das empfohlen.. not sure if.. mal schaun :ubeer: * -- dummes programm.. ok, now it get it .. es kennt mich mittlerweile recht gut oder doch nicht ! * 2 bierkrüge stoßen aneinander, aber trotzdem dumm, ich sauf schon lange kein Bier mehr, nur mehr Mineralwasser mit einem hauch von wein Bearbeitet von deleted060824 am 25.03.2023, 08:42
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14529	25.03.2023 - 08:43 Falls wem ganz fad is: https://arxiv.org/abs/1706.03762 Das original Transformer Paper. Hier einfacher erklärt: https://jalammar.github.io/illustrated-transformer/ Hier ne playlist vom grant anderson über die Grundlagen von Neuronalen Netzen. https://m.youtube.com/playlist?list...7000Dx_ZCJB-3pi
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 1990	25.03.2023 - 10:32 Ein guter Artikel auf heise, wie man Llama selbst ausprobieren kann: https://www.heise.de/hintergrund/Gr...he-7624131.html Seit gestern kann ich auch Bing ausprobieren, dass ja auch schon auf GPT4 läuft. Es ist schon deutlich präziser als GPT3.5. Was auch gut gelaufen ist, man kann Bing einen Link zu einer PDF gehen, zb zu wissenschaftlichen Arbeiten und diese von Bing zusammenfassen lassen.
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	25.03.2023 - 11:00 Zitat aus einem Post von charmin Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Auch auf der technischen Seite wird probiert. Siehe dropout layer. https://keras.io/api/layers/regular...layers/dropout/ Auch werden am Start die Weights per Zufall gesetzt.
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14529	25.03.2023 - 11:42 Zitat aus einem Post von Hansmaulwurf Auch auf der technischen Seite wird probiert. Siehe dropout layer. https://keras.io/api/layers/regular...layers/dropout/ Auch werden am Start die Weights per Zufall gesetzt. Ja aber nicht während der Inferenz, sondern vorm Training. Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden. Das mit den zufälligen weights und "Probieren" is so ne Sache. Es wird gemacht, aber wenn ein Netz auf Industrie Hardware mal ein paar Wochen trainiert, dann wirst alt mit Probieren und Dingen wie grid search bei hyperparametet Optimierung.
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	25.03.2023 - 11:48 Zitat aus einem Post von charmin Ja aber nicht während der Inferenz, sondern vorm Training. Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden. Zitat The Dropout layer randomly sets input units to 0 with a frequency of rate at each step during training time, which helps prevent overfitting Aus dem Link. Der Dropout Layer agiert während dem Training.
deleted060824 Registered: Aug 2024 Location: Posts: 0	25.03.2023 - 11:52 Siggi und Sheldon lachen immer noch über ChatGPT.. wie lange noch ?
charmin Super Moderator 10x Registered: Dec 2002 Location: aut_sbg Posts: 14529	25.03.2023 - 11:54 Zitat aus einem Post von Hansmaulwurf Aus dem Link. Der Dropout Layer agiert während dem Training. Ja, aber einstellen tust du den hyperparameter net während des trainings.Du definierst vorm Training das Verhalten und dann läuft das. Selbes mir temperature annealing bei softmax. Da hab ich auch mehrere Verhaltensweisen probiert wie linear mit Epochenanzahl (ähnlich dropout in deinem link) runter oder exponentiell sinkend. Aber ändern musst das jedesmal vorm Start des Trainings. Edit: um was es mir geht: wenn irgendein Hansl im Netz Chat gpt nutzt und dem als input irgend ein Wissen gibt. Dann wird das nicht einfach so übernommen. edit: sieht man eh beim Nazi bot von Microsoft damals was passiert wenn ungefiltert zeugs gelernt wird
deleted060824 Registered: Aug 2024 Location: Posts: 0	25.03.2023 - 11:57 you will love Siggi Bearbeitet von deleted060824 am 25.03.2023, 12:44

KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Forum Index > Software > Artificial Intelligence

charmin

KruzFX

Jedimaster

xtrm

daisho

charmin

deleted060824

charmin

KruzFX

Hansmaulwurf

charmin

Hansmaulwurf

deleted060824

charmin

deleted060824