KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Zitat

Ich habe auch schon irgendwelche Texte generieren lassen, aber z.B. für die Problemlösung im IT-Bereich war ChatGPT für mich völlig unbrauchbar.

echt jetzt? also ich hab das schon öfter verwendet dass es mir viel Zeit gespart hat. z.B. im opensource Bereich wennst irgend ein Service konfigurieren musst wo man noch keine Erfahrungen hat. Das Grundgerüst der config kann man sich damit sehr gut erstellen lassen. Dann nur noch kontrollieren ob eh keine Fehler drin sind und die eigenen Anpassungen vornehmen.
Bei meinem Workflow ist das wesentlich schneller als wenn ich mit einer config von 0 anfang oder ein noch rudimentäreres sample aus der Doku hernehme.

oder auch shell commandos mit optionen die man ned im kopf hat oder filter für "jq", oder powershell kommandos, registry keys, regular expressions usw. usf.

klar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer.

ich verwends ja nicht für texte aber die quellen für zahlen etc. kann man sich doch sicher anzeigen lassen... ("if using statistic data specify source" oder so)

Zitat aus einem Post von davebastard

echt jetzt? also ich hab das schon öfter verwendet dass es mir viel Zeit gespart hat. z.B. im opensource Bereich wennst irgend ein Service konfigurieren musst wo man noch keine Erfahrungen hat. Das Grundgerüst der config kann man sich damit sehr gut erstellen lassen. Dann nur noch kontrollieren ob eh keine Fehler drin sind und die eigenen Anpassungen vornehmen.
Bei meinem Workflow ist das wesentlich schneller als wenn ich mit einer config von 0 anfang oder ein noch rudimentäreres sample aus der Doku hernehme.

oder auch shell commandos mit optionen die man ned im kopf hat oder filter für "jq", oder powershell kommandos, registry keys, regular expressions usw. usf.

klar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer.

Ich hab meist bei der Fehlersuche generierte Texte von meinen Arbeitskollegen erhalten.
Die hälfte der Punkte die Erwähnt werden habe ich meist innerhalb er ersten 2 Minuten kontrolliert (lange bevor ich das Mail von den Kollegen erhalten habe). Der Rest ist meistens Müll und hat nichts mit dem Problem zu tun.

Gestern Abend hatte ich z.B. Probleme mit einer Home Assistant Installation. Habe das Problem mit Google und etwas rumprobieren dann selber gelöst. Jetzt über den Mittag habe ich mal probiert, ob ich die Lösung von ChatGPT hätte schneller entlocken können. Nix da.

Für Neu-Konfigurationen von Diensten werde ichs vielleicht mal probieren. Ich sehe enormes potential in der ganzen "KI" Geschichte. Aktuell muss man aber immer noch abwägen können, ob die Angaben plausibel oder kompletter Mist sind.

Zitat

Aktuell muss man aber immer noch abwägen können, ob die Angaben plausibel oder kompletter Mist sind.

das auf jedenfall und ja es gibt Bereiche da generiert es wirklich nur unnütze Beschreibungen usw.
Man bekommt dann eh ein Gefühl dafür für was es taugt und für was eine schnelle Google Recherche oder Doku lesen sinnvoller ist.

hab mir grad einiges über phi3-mini durchgelesen.
gibts auf huggingface und ich glaub ich bau mir einen telegram bot.
würds einfach mal auf meiner cpu aufm unraid server im docker laufen lassen.
mal schauen ob das überhaupt halbwegs lauffähig is betreffend geschwindigkeit bei der inferenz.

Same as Rogaahl.

Es vergeht kein Arbeitstag wo ich es nicht verwende. Gerade gestern hatte ich wieder einen Fall wo ich sicher einen halben Tag Arbeit eingespart habe um ein Backup Script für einen Docker Stack zu erstellen.
Das gefolgt von einer Hilfestellung um eine übergroße Virtuabox vdi auf auf einen Proxmox host zu übersiedeln.
Mit Recherche und Herumpfuscherei bis ich das Dateisystem und die Partitions verkleinert habe hätte ich sicher einen Tag gebraucht. So hat die Aufgabe weniger lang gedauert als der Download vom und erneute Upload zum Kunden.

Ich hab mich nie so recht in Linux reingetraut und seit GPT find ich mich endlich zu Recht. Wenn man wichtige Konzepte und Begriffe in einem Fach nicht kennt, steht man mit Google schnell mal an. Mit ChatGPT fragt man einfach nach und das Ding weiß was man meint.

Im Troubleshooting ist es auch extrem gut. Config File mit Fehler rein; Korrektur raus.
Blöd halt, wenn es in Software Versionen hinterherhinkt. In GPT Anleitungen ist zB noch die Rede von "docker-compose" nicht "docker compose". Da muss man dann eben aufpassen und es ist wies immer war, ohne Doku lesen geht garnichts.

Alle Erkenntnisse, Scripts, Unterlagen, Dokus, Lessons learned etc landen aktuell in Notion und sollen über den Sommer dann in Obsidian übersiedelt werden. Ich hoffe stark, es ergibt sich in den nächsten Monaten eine gute Möglichkeit ergibt die persönliche Knowledgebase dann in ein Modell zu füttern.

Copilot in der paid Variante habe ich auch im Einsatz, aber das stinkt trotz GPT4 Basis total ab. Im einen Moment führt es einen Auftrag noch aus, im nächsten Moment wird die Convo abgebrochen mit der Aussage, dass kein Zugriff erlaubt ist. Jedes zweite mal hängt es sich sowieso einfach auf. Refung kann man sich aber einrexen. War eine unnötige Teure Erfahrung.

Das Kündigungsschreiben für meine Frau haben wir auch von GPT schreiben lassen. Alle Gründe zusammengefasst im Prompt, die Probleme warum sie den Hut draufhaut dazugemischt, gebeten um formell-höflich und voila, fertig ist das Kündigungsschreiben an dem man selbst vielleicht einen halben Tag gesessen wäre.

Hier ein paar brauchbare Tools:

English to SQL
https://querygenie.fly.dev/

Das selbe für Regex
https://www.autoregex.xyz/

@rad1oactive
Dann gib an, dass es nicht geschwollen geschrieben sein soll.
Ich nutz es auch viel um Skripten und Lernunertlagen auszuformulieren und da wirkt "use simple german without direct address" Wunder in der Lesbarkeit.

Es hängt immer sehr Stark vom Prompt ab, wie gut die Antwort ist.
Bei Mathe Themen machts beispiels Sinn im Prompt zu schreiben, dass ein Python Script benötigt wird um etwas zu berechnen. Funktioniert viel zuverlässiger als GPT etwas rechnen zu lassen.

LLM zum selber hosten mit WebUI:

Zitat

What is LocalAI? link
In a nutshell:

Local, OpenAI drop-in alternative REST API. You own your data.
NO GPU required. NO Internet access is required either
Optional, GPU Acceleration is available. See also the build section.
Supports multiple models