Mistral Le Chat

Zitat aus einem Post von Umlüx

Einen non-US Ki Assistenten würd ich ja begrüße

deepseek?

habs auch schon getestet.

bei mir war z.B. die Anfrage die Größe von einer Apple Watch 10 mit der Garmin Sq2 zu vergleichen.

Le Chat konnte von der Garmin keine Größe finden. ChatGPT schon ...

aber vielleicht entwickelt sich da noch was

Ich verwende Le Chat jetzt alternativ zu Google Gemini Flash/Pro und unserer eigenen ChatGPT 4o Lösung, der "Academic AI", die aber mit Oktober 2023 datentechnisch eingeforen wurde, was sie leider zunehmend nutzloser macht.

Ich finds mittlerweile zumindest ChatGPT 4o gegenüber ebenbürtig, wenn nicht knapp überlegen. Gemini Pro 2.5 scheint mir in technischen Belangen aber hin und wieder einen Tick besser zu sein.

Le Chat ist aber mittlerweile meine Go-To Lösung wenn ich Sachen fragen will wo es nicht ganz so tragisch ist wenn die KI Mal wieder mit Schaum vor'm Mund irgendwas daherphantasiert. Also eigentlich jetzt wirklich schon die KI, die ich am meisten verwende.

Allerdings mit angemeldetem Account. Dann rechnet die KI zwar langsamer, aber man kriegt ein besseres Modell als die anonyme Variante hat. Für Geld gäbe es dann ein noch besseres, aber najo.

Zu Deepseek: Da das ja "die" Chinesische KI ist, habe ich mich auch dort Mal angemeldet um etwas auszuprobieren!

Nach mehreren Versuchen bei denen die Chinesische KI mir eine Antwort verweigert hatte ist es mir dann doch noch gelungen sie mit Erfolg zu fragen "warum China so viele Landungsboote braucht" und "ob das was mit Taiwan zu tun hätte". Tatsächlich hat die KI dann einen kompletten Invasionsvorgang grob umrissen beschrieben und dann gefragt ob ich noch gerne Details dazu hätte. Habe nur "Ja bitte" geschrieben, und sie meinte dann "Darüber kann ich leider nicht sprechen". Das war löl.

Ja, ich will's ja nicht wirklich verwenden (also Deepseek), ich wollte wirklich nur testen ob ich das Ding dazu bringen kann mir "verbotene" Dinge über Taiwaninvasionen zu erzählen. Und das ist gelungen! Quasi so wie bei den Jailbreaks bei ChatGPT... Version 3 glaube ich war es?

Wobei auch Le Chat natürlich bei diversen Anfragen Riegel vorschiebt, in Bezug auf rassistische oder gewalttätige Handlungen und so weiter, was ja aber eh gut ist so. Bei Le Chat habe ich eigentlich noch gar keine Jailbreaks ausprobiert...

Was brauchen so fertig trainierte LLMs der Kategorie "Le Chat" oder "ChatGPT 4o" eigentlich an Ressourcen? Also CPU, RAM, GPU, VRAM, Flash und so? Ich weiß das ja gar nicht. Die Modelle die wir hier rechnen sind alle so klein, daß wir tlw. mit 4 - 10 GiB vGPU Slices und 16 GiB Systemspeicher schon auskommen. Aber das sind eben auch keine LLMs.

Zitat aus einem Post von GrandAdmiralThrawn

Ich finds mittlerweile zumindest ChatGPT 4o gegenüber ebenbürtig, wenn nicht knapp überlegen.

Wut? GPT-4o is von May 2024 und war schon damals Mist

Ressourcen hängen stark vom jeweiligen Model ab, u.a. von deren Parametergröße aber auch wieviel TPS (token per second) Output du damit erreichen willst, also wie schnell die Ausgabe ist.

Zitat aus einem Post von davebastard

wenn du was vergleichbares zu einer cloud LLM willst dann musst aber die großen modelle nehmen und bist schon in dem Bereich wie ein bitcoin Mining Rig also mit mehreren High End GPUs

edit:



ich hab das at work eigentlich recht viel verwendet bevor das 5er kam und "Mist" finde ich halt stark übertrieben...
vor allem auch wenn mans mit copilot usw. vergleicht.

edit: ich weiß schon jeder hat andere Anforderungen/Anfragen aber ich würde sagen meine Abfragen sind recht breit gestreut

4o hatte soviel ich weiß die allerschlimmsten Halluzinationen. Die im August von OpenAI veröffentlichten gpt-oss Modelle 120b und 20b sind 4o haushoch überlegen. Das 20b Modell kann ma auf so gut wie jedem PC mit brauchbarem Speed laufen lassen, auf Highend Gaming sogar das 120b. Also nix mit Bitcoin-Rig.

Direkte Vergleiche:
https://artificialanalysis.ai/model...s-20b-vs-gpt-4o
https://artificialanalysis.ai/model...-120b-vs-gpt-4o

Und da gibts auch noch andere open models, die allesamt besser als 4o sind, schon lange.
Meine "Meinung" kommt zwar hauptsächlich aus der Programmierer-Bubble, aber da wird auch viel für general usecase getestet.

Auch im Vergleich mit anderen Open Source Modellen ist es am untersten Ende zu finden:

Mehr auf https://artificialanalysis.ai/models/open-source
Und ja, die Benschmarks sind nie eine absolute Wahrheit, aber trotzdem ein besserer Anhaltspunkt als einzelne Erfahrungen nach Gefühl - besonders wenn der Unterschied so eindeutig ausfällt.

Den Windows/Office Copilot hab ich zuletzt für über einem Jahr verwendet, war damals so enttäuscht, dass ichs seitdem intensiv meide.

Ich habs grad getestet und habe nach Le Chats „Meinung“ zu iPhone 12 gefragt. Die Antwort war nicht schlecht, ich habe dann nach offizielle Stellungnahmen gefragt und die Ergebnissen waren hilfreich und von guten Quellen. Es erinnert mich eher an perplexity.ai als ChatGPT. Werde es weitertesten.