KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Dune

Dark mode

Registered: Jan 2002
Location: Wien
Posts: 10289

23.02.2025 - 21:05

Sie beruhigt, "sie" denkt nicht, sie ist sich nicht mal ihrer Existenz bewusst. Du bekommst nur Wahrscheinlichkeiten retour

Gibt's eure Konversation auch als txt? Würd's tatsächlich gerne lesen, aber über die Screenshots isses bissi wild mit meinem attention tokes und context windows.

MightyMaz

hat nun auch einen Titel

Registered: Feb 2003
Location: .de
Posts: 646

23.02.2025 - 21:40

Also ich finde es viel lustiger eine KI Unsinn erzählen zu lassen. Hier ein Beispiel für die Rechnung (9*5)+2 mit erhöhter Temperatur (das würde ewig so weiterlaufen).

Bearbeitet von MightyMaz am 23.02.2025, 21:46

sk/\r

i never asked for this

Registered: Dec 2002
Location: oö
Posts: 11059

23.02.2025 - 22:12

Zitat aus einem Post von Dune
Sie beruhigt, "sie" denkt nicht, sie ist sich nicht mal ihrer Existenz bewusst. Du bekommst nur Wahrscheinlichkeiten retour

Gibt's eure Konversation auch als txt? Würd's tatsächlich gerne lesen, aber über die Screenshots isses bissi wild mit meinem attention tokes und context windows.

nein. ich bekomm klare antworten zurück. selbst auf Nachfrage.
weiß nicht was du meinst?

txt gibt's nicht weil man die konversationen nicht gesamt copy&pasten kann. :/

Daeda

Here to stay

Registered: Aug 2007
Location: Graz
Posts: 1566

24.02.2025 - 09:26

Zitat aus einem Post von MightyMaz
Also ich finde es viel lustiger eine KI Unsinn erzählen zu lassen. Hier ein Beispiel für die Rechnung (9*5)+2 mit erhöhter Temperatur (das würde ewig so weiterlaufen).

ich glaub dein lama hat einen schlaganfall

Zitat aus einem Post von sk/\r
nein. ich bekomm klare antworten zurück. selbst auf Nachfrage.
weiß nicht was du meinst?

er meint vermutlich das llms nicht denken und nur ohne es zu verstehen tokens (wortfetzen) nach wahrscheinlichkeiten ausspucken.

Zitat aus einem Post von sk/\r
txt gibt's nicht weil man die konversationen nicht gesamt copy&pasten kann. :/

wenn der rest der conversation "safe" ist, könntest du einfach die ganze unterhaltung via link teilen.

MightyMaz

hat nun auch einen Titel

Registered: Feb 2003
Location: .de
Posts: 646

24.02.2025 - 09:42

Zitat
ich glaub dein lama hat einen schlaganfall

Eher eine assoziative Lockerung, ähnlich wie auch bei Menschen mit Psychosen. "Jetzt holt der Herr den Teller vom Bock zum Pferd" ist super.

Schon interessant wie menschenähnlich die Sprachmodelle dann auch in diesen Randbereichen "denken".

charmin

Elder
0_o

Registered: Dec 2002
Location: aut_sbg
Posts: 15401

24.02.2025 - 09:52

Research Papers in January 2024

Model Merging, Mixtures of Experts, and Towards Smaller LLMs

Link: magazine.sebastianraschka.com

Lesenswerter Artikel über Die Mixtral Architektur. Mixture Of Experts. Sehr lässig

Dune

Dark mode

Registered: Jan 2002
Location: Wien
Posts: 10289

24.02.2025 - 10:00

Zitat aus einem Post von MightyMaz
Also ich finde es viel lustiger eine KI Unsinn erzählen zu lassen. Hier ein Beispiel für die Rechnung (9*5)+2 mit erhöhter Temperatur (das würde ewig so weiterlaufen).

Das finde ich technisch gesehen gar nicht so spannend.

Was hier passiert ist eine Überladung von Anfragen. Natürlich hat's beim gleichen Chat ein beschränktes context window. Das kann gar nicht anders ausgehen, als dass irgendwann BS Antworten kommen.

Wenn du einen Menschen mit sinnlosen Aufgaben überladest kommt irgendwann auch kein brauchbares Ergebnis mehr. Da imitiert die LLM Architektur den Menschen schon sehr gut..

böhmi

Administrator
Spießer

Registered: May 2004
Location: Wels Land
Posts: 4671

24.02.2025 - 10:10

Zitat aus einem Post von sk/\r
txt gibt's nicht weil man die konversationen nicht gesamt copy&pasten kann. :/

Kann man ChatGPT nicht einfach nach einem Export der Konversation als .txt fragen?

Also irgendwie so:

Code:

export our conversation in a .txt-file from 23rd of february 2025 at 08:15am on

MightyMaz

hat nun auch einen Titel

Registered: Feb 2003
Location: .de
Posts: 646

24.02.2025 - 10:39

@Dune: Der BS kommt von Anfang an wenn man an den Parametern dreht und das terminiert dann auch nie. Was da technisch gesehen passiert weiß ich nicht. Aber auch ganz generell produzieren die Modelle unglaublich viel Unfug wenn man nicht auf den üblichen Pfaden wandelt.

Dune

Dark mode

Registered: Jan 2002
Location: Wien
Posts: 10289

24.02.2025 - 10:44

Ja aber ne Temperatur von 2 ist schon ein Fieberwahn für Rechenaufgaben. Ich kann auch nicht mehr int, x: sin(x2+sqrt(x))*e^x*e^(x+19)dx rechnen mit 42°C Fieber

Was du produziert hast mit den Parametern, ist eine technische Limitierung, die dann nachher mit Aufgaben überladen wurde, wofür LLMs ohnehin nicht geschaffen sind. Advanced Reasoning ist auch nicht die Stärke von Ollama.

MightyMaz

hat nun auch einen Titel

Registered: Feb 2003
Location: .de
Posts: 646

24.02.2025 - 10:57

Dass Rechenaufgaben zu solchen sehr kreativen Texten führen können finde ich schon interessant. Fieberwahn ist wohl das passende Wort. Die Texte sind ja auch nicht einfach random, z.B. hat die Anspielungen auf Lehrer und Schüler ja einen Bezug zum Thema.

Dune

Dark mode

Registered: Jan 2002
Location: Wien
Posts: 10289

24.02.2025 - 11:04

Weil man über Stochastik ohne Reasoning schlecht rechnen kann. LLMs sind extrem schlecht in Arithmetik. Es wäre interessant wie sich DeepSeek mit solchen Aufgaben tut. Reasoning ist dort ja viel besser.

Aber grundsätzlich, LLMs sind nicht zum Rechnen gemacht:
https://www.mindprison.cc/p/why-llm...for-calculators

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 50483

24.02.2025 - 11:21

Ich glaub Mathematik hat in LLM wenig verloren.
Das wird jetzt mit den Agent besser werden. Da fragt das LLM dann halt Wolfram Alpha und gibt die korrekte Antwort zurück

Dune

Dark mode

Registered: Jan 2002
Location: Wien
Posts: 10289

24.02.2025 - 11:23

Wie funktioniert das eigentlich technisch genau, mit APIs? Wolfram kann ja nicht sämtliche Ergebnisse auf jede beliebige Rechnung cachen. Wenn reasoning wieder nur verweis auf VektorDB Ergebnis bedeutet, ist es ja kein reasoning. Verstehe die Architektur da noch nicht so ganz.

Wolfram ist extrem geil, habe ich damals im Studium auch viel verwendet.

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5422

24.02.2025 - 11:36

Zitat aus einem Post von Daeda
hat mich echt gewundert, dass der das snake game so easy mit einfachen prompts hinbekommen hat, ohne großartig iterieren zu müssen. dann hab ich mir gedacht, das liegt fix an python!

als vergleich hab ichs jetzt mit bolt.new erstellt und ich bin erstaunt!

https://snake-via-bolt.netlify.app/

…

liegt also nicht an python. snake ist wohl einfach ein gutes beispiel weils davon schon tausende beispiele gibt, von denen die AIs gelernt haben. aber auch die custom wünsche die ich angegeben hab, haben sofort tadellos fasziniert. also geht das auch ohne o3 schon ganz gut - bolt.new benutzt glaub ich claude sonnet 3.5

Ich behaupte auch, dass es an snake liegt. Ein ähnlicher Versuch mit 2er Schnapsen landet beim üblichen „technically not wrong“. Er verhaspelt sich aber ständig mit Atout/Farbzwang, 20/40 etc… und ich hab absichtlich ein einfaches Spiel gewählt.

Wollte es dann noch einfacher: „Hosn owi“ und auch da mühsam.

Habe gpt4 und claude probiert.

Bearbeitet von Longbow am 24.02.2025, 11:38

Dune Dark mode Registered: Jan 2002 Location: Wien Posts: 10289	23.02.2025 - 21:05 Sie beruhigt, "sie" denkt nicht, sie ist sich nicht mal ihrer Existenz bewusst. Du bekommst nur Wahrscheinlichkeiten retour Gibt's eure Konversation auch als txt? Würd's tatsächlich gerne lesen, aber über die Screenshots isses bissi wild mit meinem attention tokes und context windows.
MightyMaz hat nun auch einen Titel Registered: Feb 2003 Location: .de Posts: 646	23.02.2025 - 21:40 Also ich finde es viel lustiger eine KI Unsinn erzählen zu lassen. Hier ein Beispiel für die Rechnung (95)+2 mit erhöhter Temperatur (das würde ewig so weiterlaufen). Bearbeitet von MightyMaz am 23.02.2025, 21:46*
sk/\r i never asked for this Registered: Dec 2002 Location: oö Posts: 11059	23.02.2025 - 22:12 Zitat aus einem Post von Dune Sie beruhigt, "sie" denkt nicht, sie ist sich nicht mal ihrer Existenz bewusst. Du bekommst nur Wahrscheinlichkeiten retour Gibt's eure Konversation auch als txt? Würd's tatsächlich gerne lesen, aber über die Screenshots isses bissi wild mit meinem attention tokes und context windows. nein. ich bekomm klare antworten zurück. selbst auf Nachfrage. weiß nicht was du meinst? txt gibt's nicht weil man die konversationen nicht gesamt copy&pasten kann. :/
Daeda Here to stay Registered: Aug 2007 Location: Graz Posts: 1566	24.02.2025 - 09:26 Zitat aus einem Post von MightyMaz Also ich finde es viel lustiger eine KI Unsinn erzählen zu lassen. Hier ein Beispiel für die Rechnung (95)+2 mit erhöhter Temperatur (das würde ewig so weiterlaufen). ich glaub dein lama hat einen schlaganfall Zitat aus einem Post von sk/\r* nein. ich bekomm klare antworten zurück. selbst auf Nachfrage. weiß nicht was du meinst? er meint vermutlich das llms nicht denken und nur ohne es zu verstehen tokens (wortfetzen) nach wahrscheinlichkeiten ausspucken. Zitat aus einem Post von sk/\r txt gibt's nicht weil man die konversationen nicht gesamt copy&pasten kann. :/ wenn der rest der conversation "safe" ist, könntest du einfach die ganze unterhaltung via link teilen.
MightyMaz hat nun auch einen Titel Registered: Feb 2003 Location: .de Posts: 646	24.02.2025 - 09:42 Zitat ich glaub dein lama hat einen schlaganfall Eher eine assoziative Lockerung, ähnlich wie auch bei Menschen mit Psychosen. "Jetzt holt der Herr den Teller vom Bock zum Pferd" ist super. Schon interessant wie menschenähnlich die Sprachmodelle dann auch in diesen Randbereichen "denken".
charmin Elder 0_o Registered: Dec 2002 Location: aut_sbg Posts: 15401	24.02.2025 - 09:52 Research Papers in January 2024 Model Merging, Mixtures of Experts, and Towards Smaller LLMs Link: magazine.sebastianraschka.com Lesenswerter Artikel über Die Mixtral Architektur. Mixture Of Experts. Sehr lässig
Dune Dark mode Registered: Jan 2002 Location: Wien Posts: 10289	24.02.2025 - 10:00 Zitat aus einem Post von MightyMaz Also ich finde es viel lustiger eine KI Unsinn erzählen zu lassen. Hier ein Beispiel für die Rechnung (9*5)+2 mit erhöhter Temperatur (das würde ewig so weiterlaufen). Das finde ich technisch gesehen gar nicht so spannend. Was hier passiert ist eine Überladung von Anfragen. Natürlich hat's beim gleichen Chat ein beschränktes context window. Das kann gar nicht anders ausgehen, als dass irgendwann BS Antworten kommen. Wenn du einen Menschen mit sinnlosen Aufgaben überladest kommt irgendwann auch kein brauchbares Ergebnis mehr. Da imitiert die LLM Architektur den Menschen schon sehr gut..
böhmi Administrator Spießer Registered: May 2004 Location: Wels Land Posts: 4671	24.02.2025 - 10:10 Zitat aus einem Post von sk/\r txt gibt's nicht weil man die konversationen nicht gesamt copy&pasten kann. :/ Kann man ChatGPT nicht einfach nach einem Export der Konversation als .txt fragen? Also irgendwie so: Code: `export our conversation in a .txt-file from 23rd of february 2025 at 08:15am on`
MightyMaz hat nun auch einen Titel Registered: Feb 2003 Location: .de Posts: 646	24.02.2025 - 10:39 @Dune: Der BS kommt von Anfang an wenn man an den Parametern dreht und das terminiert dann auch nie. Was da technisch gesehen passiert weiß ich nicht. Aber auch ganz generell produzieren die Modelle unglaublich viel Unfug wenn man nicht auf den üblichen Pfaden wandelt.
Dune Dark mode Registered: Jan 2002 Location: Wien Posts: 10289	24.02.2025 - 10:44 Ja aber ne Temperatur von 2 ist schon ein Fieberwahn für Rechenaufgaben. Ich kann auch nicht mehr int, x: sin(x2+sqrt(x))e^xe^(x+19)dx rechnen mit 42°C Fieber Was du produziert hast mit den Parametern, ist eine technische Limitierung, die dann nachher mit Aufgaben überladen wurde, wofür LLMs ohnehin nicht geschaffen sind. Advanced Reasoning ist auch nicht die Stärke von Ollama.
MightyMaz hat nun auch einen Titel Registered: Feb 2003 Location: .de Posts: 646	24.02.2025 - 10:57 Dass Rechenaufgaben zu solchen sehr kreativen Texten führen können finde ich schon interessant. Fieberwahn ist wohl das passende Wort. Die Texte sind ja auch nicht einfach random, z.B. hat die Anspielungen auf Lehrer und Schüler ja einen Bezug zum Thema.
Dune Dark mode Registered: Jan 2002 Location: Wien Posts: 10289	24.02.2025 - 11:04 Weil man über Stochastik ohne Reasoning schlecht rechnen kann. LLMs sind extrem schlecht in Arithmetik. Es wäre interessant wie sich DeepSeek mit solchen Aufgaben tut. Reasoning ist dort ja viel besser. Aber grundsätzlich, LLMs sind nicht zum Rechnen gemacht: https://www.mindprison.cc/p/why-llm...for-calculators
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 50483	24.02.2025 - 11:21 Ich glaub Mathematik hat in LLM wenig verloren. Das wird jetzt mit den Agent besser werden. Da fragt das LLM dann halt Wolfram Alpha und gibt die korrekte Antwort zurück
Dune Dark mode Registered: Jan 2002 Location: Wien Posts: 10289	24.02.2025 - 11:23 Wie funktioniert das eigentlich technisch genau, mit APIs? Wolfram kann ja nicht sämtliche Ergebnisse auf jede beliebige Rechnung cachen. Wenn reasoning wieder nur verweis auf VektorDB Ergebnis bedeutet, ist es ja kein reasoning. Verstehe die Architektur da noch nicht so ganz. Wolfram ist extrem geil, habe ich damals im Studium auch viel verwendet.
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5422	24.02.2025 - 11:36 Zitat aus einem Post von Daeda hat mich echt gewundert, dass der das snake game so easy mit einfachen prompts hinbekommen hat, ohne großartig iterieren zu müssen. dann hab ich mir gedacht, das liegt fix an python! als vergleich hab ichs jetzt mit bolt.new erstellt und ich bin erstaunt! https://snake-via-bolt.netlify.app/ … liegt also nicht an python. snake ist wohl einfach ein gutes beispiel weils davon schon tausende beispiele gibt, von denen die AIs gelernt haben. aber auch die custom wünsche die ich angegeben hab, haben sofort tadellos fasziniert. also geht das auch ohne o3 schon ganz gut - bolt.new benutzt glaub ich claude sonnet 3.5 Ich behaupte auch, dass es an snake liegt. Ein ähnlicher Versuch mit 2er Schnapsen landet beim üblichen „technically not wrong“. Er verhaspelt sich aber ständig mit Atout/Farbzwang, 20/40 etc… und ich hab absichtlich ein einfaches Spiel gewählt. Wollte es dann noch einfacher: „Hosn owi“ und auch da mühsam. Habe gpt4 und claude probiert. Bearbeitet von Longbow am 24.02.2025, 11:38

KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Forum Index > Software > Artificial Intelligence

Dune

MightyMaz

sk/\r

Daeda

MightyMaz

charmin

Dune

böhmi

MightyMaz

Dune

MightyMaz

Dune

Viper780

Dune

Longbow