davebastard
Vinyl-Sammler
|
Ich habe auch schon irgendwelche Texte generieren lassen, aber z.B. für die Problemlösung im IT-Bereich war ChatGPT für mich völlig unbrauchbar. echt jetzt? also ich hab das schon öfter verwendet dass es mir viel Zeit gespart hat. z.B. im opensource Bereich wennst irgend ein Service konfigurieren musst wo man noch keine Erfahrungen hat. Das Grundgerüst der config kann man sich damit sehr gut erstellen lassen. Dann nur noch kontrollieren ob eh keine Fehler drin sind und die eigenen Anpassungen vornehmen. Bei meinem Workflow ist das wesentlich schneller als wenn ich mit einer config von 0 anfang oder ein noch rudimentäreres sample aus der Doku hernehme. oder auch shell commandos mit optionen die man ned im kopf hat oder filter für "jq", oder powershell kommandos, registry keys, regular expressions usw. usf. klar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer.
Bearbeitet von davebastard am 02.05.2024, 11:43
|
Viper780
Er ist tot, Jim!
|
@charmin wie stellst du sicher dass die Daten noch korrekt bleiben bzw bei der Recherche dass die Quellen stimmen?
|
davebastard
Vinyl-Sammler
|
ich verwends ja nicht für texte aber die quellen für zahlen etc. kann man sich doch sicher anzeigen lassen... ("if using statistic data specify source" oder so)
|
charmin
Super Moderator10x
|
@charmin wie stellst du sicher dass die Daten noch korrekt bleiben bzw bei der Recherche dass die Quellen stimmen? Stichprobenartige Kontrolle bzw Überprüfung der keyfacts mittels händischer Stichproben. klar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer. hatte letztens ein problem wo auch gpt4 mit rag versagt hat. war ein problem mit rotationsmatrizen und vektorrechnung.
|
othan
Layer 8 Problem
|
echt jetzt? also ich hab das schon öfter verwendet dass es mir viel Zeit gespart hat. z.B. im opensource Bereich wennst irgend ein Service konfigurieren musst wo man noch keine Erfahrungen hat. Das Grundgerüst der config kann man sich damit sehr gut erstellen lassen. Dann nur noch kontrollieren ob eh keine Fehler drin sind und die eigenen Anpassungen vornehmen.
Bei meinem Workflow ist das wesentlich schneller als wenn ich mit einer config von 0 anfang oder ein noch rudimentäreres sample aus der Doku hernehme.
oder auch shell commandos mit optionen die man ned im kopf hat oder filter für "jq", oder powershell kommandos, registry keys, regular expressions usw. usf.
klar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer. Ich hab meist bei der Fehlersuche generierte Texte von meinen Arbeitskollegen erhalten. Die hälfte der Punkte die Erwähnt werden habe ich meist innerhalb er ersten 2 Minuten kontrolliert (lange bevor ich das Mail von den Kollegen erhalten habe). Der Rest ist meistens Müll und hat nichts mit dem Problem zu tun. Gestern Abend hatte ich z.B. Probleme mit einer Home Assistant Installation. Habe das Problem mit Google und etwas rumprobieren dann selber gelöst. Jetzt über den Mittag habe ich mal probiert, ob ich die Lösung von ChatGPT hätte schneller entlocken können. Nix da. Für Neu-Konfigurationen von Diensten werde ichs vielleicht mal probieren. Ich sehe enormes potential in der ganzen "KI" Geschichte. Aktuell muss man aber immer noch abwägen können, ob die Angaben plausibel oder kompletter Mist sind.
|
charmin
Super Moderator10x
|
ja ma muss extrem aufpassen. oft werden total wichtige details weggelassen usw.
und imho: gpt 3.0 oder 3.5 is sowieso unnutzbar, also plus subscription is schon pflicht bei chatgpt.
zum selberhosten troitzdem fast unmöglich, die brauchen ordentlich gpu speicher. inferenz zwar nur einen bruchteil vom training, aber trotzdem.
es gibt aber schon viele quantized oder smal language models wie bspw phi 3 von microsoft, da bin ich mir echt am überlegen ob ich mir net einen signal oder telegram bot self hosted bau als gratis chatgpt quasi. hat dann halt kein RAG und keine plugins.
|
davebastard
Vinyl-Sammler
|
Aktuell muss man aber immer noch abwägen können, ob die Angaben plausibel oder kompletter Mist sind. das auf jedenfall und ja es gibt Bereiche da generiert es wirklich nur unnütze Beschreibungen usw. Man bekommt dann eh ein Gefühl dafür für was es taugt und für was eine schnelle Google Recherche oder Doku lesen sinnvoller ist.
|
rad1oactive
knows about the birb
|
Ich benutz den 3.5er ab und zu für englische texte zum formulieren, aber es teilweise extremst übertrieben geschwollen geschrieben.
Also 1:1 kann man das ned nehmen, aber als Basis ists ok.
|
charmin
Super Moderator10x
|
hab mir grad einiges über phi3-mini durchgelesen.
gibts auf huggingface und ich glaub ich bau mir einen telegram bot.
würds einfach mal auf meiner cpu aufm unraid server im docker laufen lassen.
mal schauen ob das überhaupt halbwegs lauffähig is betreffend geschwindigkeit bei der inferenz.
|
Rogaahl
Super Moderatorinterrupt
|
also plus subscription is schon pflicht bei chatgpt. fullack. Für mich ist es bei weiten das wichtigste Tool und verwende es täglich, von programmieren, zu Config-File, Problemlösungen, Vorschläge wie man etwas umsetzen kann, Scripts schreiben, Werbungen schalten, Support E-Mails schreiben usw.. Ich verwende nicht einmal mehr google (nur noch als backup), was in den letzten 3 Jahren katastrophal schlecht geworden ist. Wenn es um wichtige Informationen geht, sage ich das er zu alles quellen mit dazu posten muss. Es wird ja gemunkelt das sie in Kürze eine GPT Search Engine releasen wollen, ich kann es kaum erwarten! Wie man Fragen stellt, macht halt einen massiven Unterschied, für gute Resultate sind Vorkenntnisse zum Thema erforderlich.
|
hynk
Super Moderatorlike totally ambivalent
|
Same as Rogaahl. Es vergeht kein Arbeitstag wo ich es nicht verwende. Gerade gestern hatte ich wieder einen Fall wo ich sicher einen halben Tag Arbeit eingespart habe um ein Backup Script für einen Docker Stack zu erstellen. Das gefolgt von einer Hilfestellung um eine übergroße Virtuabox vdi auf auf einen Proxmox host zu übersiedeln. Mit Recherche und Herumpfuscherei bis ich das Dateisystem und die Partitions verkleinert habe hätte ich sicher einen Tag gebraucht. So hat die Aufgabe weniger lang gedauert als der Download vom und erneute Upload zum Kunden. Ich hab mich nie so recht in Linux reingetraut und seit GPT find ich mich endlich zu Recht. Wenn man wichtige Konzepte und Begriffe in einem Fach nicht kennt, steht man mit Google schnell mal an. Mit ChatGPT fragt man einfach nach und das Ding weiß was man meint. Im Troubleshooting ist es auch extrem gut. Config File mit Fehler rein; Korrektur raus. Blöd halt, wenn es in Software Versionen hinterherhinkt. In GPT Anleitungen ist zB noch die Rede von "docker-compose" nicht "docker compose". Da muss man dann eben aufpassen und es ist wies immer war, ohne Doku lesen geht garnichts. Alle Erkenntnisse, Scripts, Unterlagen, Dokus, Lessons learned etc landen aktuell in Notion und sollen über den Sommer dann in Obsidian übersiedelt werden. Ich hoffe stark, es ergibt sich in den nächsten Monaten eine gute Möglichkeit ergibt die persönliche Knowledgebase dann in ein Modell zu füttern. Copilot in der paid Variante habe ich auch im Einsatz, aber das stinkt trotz GPT4 Basis total ab. Im einen Moment führt es einen Auftrag noch aus, im nächsten Moment wird die Convo abgebrochen mit der Aussage, dass kein Zugriff erlaubt ist. Jedes zweite mal hängt es sich sowieso einfach auf. Refung kann man sich aber einrexen. War eine unnötige Teure Erfahrung. Das Kündigungsschreiben für meine Frau haben wir auch von GPT schreiben lassen. Alle Gründe zusammengefasst im Prompt, die Probleme warum sie den Hut draufhaut dazugemischt, gebeten um formell-höflich und voila, fertig ist das Kündigungsschreiben an dem man selbst vielleicht einen halben Tag gesessen wäre. Hier ein paar brauchbare Tools: English to SQL https://querygenie.fly.dev/Das selbe für Regex https://www.autoregex.xyz/@rad1oactive Dann gib an, dass es nicht geschwollen geschrieben sein soll. Ich nutz es auch viel um Skripten und Lernunertlagen auszuformulieren und da wirkt "use simple german without direct address" Wunder in der Lesbarkeit. Es hängt immer sehr Stark vom Prompt ab, wie gut die Antwort ist. Bei Mathe Themen machts beispiels Sinn im Prompt zu schreiben, dass ein Python Script benötigt wird um etwas zu berechnen. Funktioniert viel zuverlässiger als GPT etwas rechnen zu lassen.
|
Rogaahl
Super Moderatorinterrupt
|
Dann gib an, dass es nicht geschwollen geschrieben sein soll. Genau, ohne angaben kannst die meisten texte vergessen. "Keine unnötigen Freundlichkeiten, keine Umschreibungen, komme zum Punkt, schreibe professionell und fasse dich kurz." Spuckt dir dafür fast immer was Brauchbares aus. Edit: "schreibe passiv-aggressiv" ist sehr lustig  Ich hab mich nie so recht in Linux reingetraut und seit GPT find ich mich endlich zu Recht. Wenn man wichtige Konzepte und Begriffe in einem Fach nicht kennt, steht man mit Google schnell mal an. Mit ChatGPT fragt man einfach nach und das Ding weiß was man meint. Sehr cool! Genau so ist es, man traut sich auch einfach alles zu fragen, wo man andere schon nerven oder man sich genieren würde (weil die fragen so deppad sind). Ich verwende es quer durch alle Berufsgruppen "wie heist es wenn.." "wie heist das teil ..."
|
hynk
Super Moderatorlike totally ambivalent
|
LLM zum selber hosten mit WebUI: OverviewWhat is LocalAI? Link: localai.io What is LocalAI? link
In a nutshell:
Local, OpenAI drop-in alternative REST API. You own your data.
NO GPU required. NO Internet access is required either
Optional, GPU Acceleration is available. See also the build section.
Supports multiple models
|
charmin
Super Moderator10x
|
Danke, schaut gut aus. Mal schauen ob man phi 3 damit koppeln kann. Wobei mir telegram bot lieber wäre
|
hynk
Super Moderatorlike totally ambivalent
|
Das is wovon Mr. Nvidia geschwärmt hat. Simuliert es virtuell, übertragt es IRL. KI lässt uns einen großen Gap in der Robotik schließen.
|
Anmeldung