KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Herst Bender

@Hansmaulwurf: aber ja, könnte man drüber streiten was genau jetzt mit probieren gemeint is. Theoretisch probierst nach jedem Trainingsbatch indemst auf dem validation set schaust wie gut das Netz generalisiert.

edit: is das jetz offtopic? Wohl eher schon.

Zitat aus einem Post von charmin

Ja, aber einstellen tust du den hyperparameter net während des trainings.Du definierst vorm Training das Verhalten und dann läuft das. Selbes mir temperature annealing bei softmax.

Ja, aber:

Zitat aus einem Post von charmin

Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern.

Dropout Layer droppen zufällig inputs während einzelnen Traininsschritten. Wenn sich das als vorteilhaft erweist, dann wird das übernehmen, insofern _probiert_ das Modell während dem Training Konfigurationsänderungen an der Struktur des Netzes.

Zitat aus einem Post von charmin

Edit: um was es mir geht: wenn irgendein Hansl im Netz Chat gpt nutzt und dem als input irgend ein Wissen gibt. Dann wird das nicht einfach so übernommen.

Nein, aber es gibt einen reinforcement learning process wo er anhand von sowas lernen kann, bzw. sogar trainiert wurde:

Zitat

The creators have used a combination of both Supervised Learning and Reinforcement Learning to fine-tune ChatGPT, but it is the Reinforcement Learning component specifically that makes ChatGPT unique. The creators use a particular technique called Reinforcement Learning from Human Feedback (RLHF), which uses human feedback in the training loop to minimize harmful, untruthful, and/or biased outputs.

https://www.assemblyai.com/blog/how...actually-works/
Ich weiß aber nicht ob das Inputs sind von den Leuten die das supervised learning überwachen oder auch inputs die irgendwo von normalen Usern eingegeben wurden.

Über die Chatgpt details können wir gerne quatschen, aber bei den neuronalen Netzen bin ich nur seh oberflächlich informiert, da ist mein Input quasi eh schon aus

Vielleicht zieh ich mir das mal rein. Wenn die Videos vom lex ned immer so lange dauern würden...

naja was muss man dafür groß wissen, sieht man doch... aber die katze ist leider schon ausm sack.

Microsoft verdient sauviel Kohle mit ihrem neuen Produkt.
Apple und Musk: mimimimi.

Zitat aus einem Post von charmin

Microsoft verdient sauviel Kohle mit ihrem neuen Produkt.
Apple und Musk: mimimimi.

Wozniak und Mostaque (CEO von Stability AI) haben ebenfalls unterzeichnet.

Ich persönlich bin aber trotzdem gegen jegliche Regulierung. Wenn wir uns selbst vernichten ham mas einfach verdient.

Zitat aus einem Post von Vinci

Wozniak und Mostaque (CEO von Stability AI) haben ebenfalls unterzeichnet.

Ich persönlich bin aber trotzdem gegen jegliche Regulierung. Wenn wir uns selbst vernichten ham mas einfach verdient.

Also noch zwei die nicht dran verdienen. Cool.

Bitte schaltets alles ab a halbes Jahr damit wir auch was aufn markt werfen können.