KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Gordon Ramsey hasst diesen Trick hahaha

Das thinking wär mir noch wurscht, aber ich zuck bei chatGPT regelmäßig aus weil es diese elendslahme "typing animation" macht. Das braucht genau NIEMAND - gib einfach den full answer body retour, kkthxbye.

Ist das bei gpt wirklich unnötig? bei meinen lokalen llms wird währenddessen wirklich gearbeitet.

habt ihr die free version? gibt da glaub ich ordentlich unterschied und wurde zumindest vor ein paar monaten damit als einer der hauptgründe fürs bezahlabo gelistet.

beim copilot in der IDE gehn die antworten zB rucki-zucki. einzig mit dem o1-preview model "überlegt" es wirklich bis zu einer minute, bevor es dann recht schnell hunderte zeilen code innerhalb von ein paar sekunden ausspuckt.

Zitat aus einem Post von Dune

Ihr habt das sicher auch schon gehört dass fast alle LLMs dieses "thinking" als delayed response künstlich fabrizieren, aber und den User dann vorgeben, dass das Modell gerade nachdenken würde. In Wirklichkeit gibt es diesen Delay nicht in der Form.

Ich find's bei GPT beim scrollen für längeren prompts z.B. recht mühsam. Habe mal ein bisschen geschaut ob es da Optionen in der UI gibt, leider nichts gefunden. GPT tut auch so, als wäre das fix

Hat sich da jemand schon mal damit gespielt?

Ist das so?
Also ja, dass die responses schneller gehen würden wenn es nicht "getippt" wäre, klar. Aber das was du "thinking" nennst, ist ja dazu da um das Ergebnis weiter zu raffinieren, weshalb o1-preview (bei o1 trau ich mich es nicht zu behaupten) auch bei schlechten prompts bessere Ergebnisse liefert. Das LLM leistet interpretiert hier die Aufgabe, gleicht das Ergebnis mit dem prompt ab, erstellt selbst prompts um das Ergebnis zu verifizieren, etc und spuckt nicht einfach nur common internet knowledge aus.

Lasse mich gerne eines besseren belehren.

Mich nervt die lange Wartezeit nicht wirklich. Wenns schnell gehen muss, als google Ersatz wird eben ein entsprechend flottes Modell gewählt. Wenn ich etwas komplexeres benötige wird es eben Claude oder o1, wo ich dann nebenbei die Zeit nutze um selbst zu recherchieren zum Thema, oder die Idee weiter zu spinnen.

Es lohnt sich übrigens sehr, im Memory oder in den Custom Instructions festzuhalten, welche responses man per default will. Wenn die Antworten zu ausschweifend sind, dann muss man eben da ansetzen. "No bullshitting" oder "Bitte kein bla bla" wirkt wunder.

TLR
Die Chinesen haben ein Open Source Llm rausgebracht.
o4 performance mit dem 20gb Modell.
größte Modell ist um die 404gb und braucht sehr potente hardware. aug ollama auch schon verfügbar.

hat mich echt gewundert, dass der das snake game so easy mit einfachen prompts hinbekommen hat, ohne großartig iterieren zu müssen. dann hab ich mir gedacht, das liegt fix an python!

als vergleich hab ichs jetzt mit bolt.new erstellt und ich bin erstaunt!

https://snake-via-bolt.netlify.app/

hier die 4 einfachen prompts, 5 mit deployment:


liegt also nicht an python. snake ist wohl einfach ein gutes beispiel weils davon schon tausende beispiele gibt, von denen die AIs gelernt haben. aber auch die custom wünsche die ich angegeben hab, haben sofort tadellos fasziniert. also geht das auch ohne o3 schon ganz gut - bolt.new benutzt glaub ich claude sonnet 3.5

/e und der schluss vom o3 video ist natürlich noch ein ganz anderer level, dass er ein ML algo bauen lässt und das auch passiert, wow.
bei bolt bin ich da leider gerade ans rate-limit gestoßen, sonst hätt ich das auch noch probiert