"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

phono 27.01.2023 - 13:10 217462 742 Thread rating
Posts

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2006
Ich versuche mich gerade mit RAG mittels Ollama mit dem Llama 8B Modell. Jetzt eine kurze Frage, zahlt sich das mit so einem kleinen Modell überhaupt aus, oder ist das eigentlich eh zu ungenau?
Der Vorteil am 8B ist, dass es auf meinem Simulations-PC mit einem 9900KS super läuft, fürs 70B müsste ich wahrscheinlich den PC aufrüsten lassen, da ich vor allem nur eine Mini GPU drin verbaut habe.

Dune

dark mode lover
Registered: Jan 2002
Location: Wien
Posts: 10072
Zu ungenau wo für und wie spezifisch bzw noise behaftet sind die Trainingsdaten? Ein 8B Netz als Basis reicht für viele generische Anwendungen mbMn. Wenn du willst, dass es was sehr außergewöhnliches kann, dann eher nicht.

DAO das kommt dich auf die Definition an oder nicht? Ich sehe Asfing, Austrocontrol, ÖBB usw als wesentlich schmerzhafter für kurzfristige Konsequenzen als irgendwelche Geheimdienste, da sterben nicht adhoc Leute, wenn's Leaks gibt.
Bearbeitet von Dune am 22.05.2024, 12:23

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2006
Ich füttere das Modell mit Fachliteratur und möchte dann Fragen dazu stellen können. Die Antworten sollten dann natürlich eine gewisse Qualität haben, sonst kann man sichs halt gleich sparen.

Dune

dark mode lover
Registered: Jan 2002
Location: Wien
Posts: 10072
Ja ist klar, wie viele Bücher haust du dafür rein? Cooler Use Case :) Bin unsicher ob es nicht auch öffentliche LLMs mit Fachliteratur gibt, aber es ist ne sehr sinnvolle Anwendung.

Man kann ja mal grob überschlagen wie viele der 9B man bei den Neuronen mit der gewünschten Datenmenge belegen möchte. Ich denke man braucht schon einige Bücher um eine sinnvolle Medianantwort zu kriegen, allerdings ist dann auch das Rauschen größer.

DAO

Si vis pacem, para bellum
Avatar
Registered: Mar 2001
Location: Austria
Posts: 4967
Zitat aus einem Post von Dune
DAO das kommt dich auf die Definition an oder nicht? Ich sehe Asfing, Austrocontrol, ÖBB usw als wesentlich schmerzhafter für kurzfristige Konsequenzen als irgendwelche Geheimdienste, da sterben nicht adhoc Leute, wenn's Leaks gibt.

kritische infrastruktur = alle im bereich öffentliche sicherheit (= mit blaulicht am dach),energiesektor, das transportwesen (rail/air/road...) usw.

ich rede jetzt nicht unbeding von geheimdiensten -> ausserhalb unserer alpen/banannenrepublik gibts auch viel kritische infrastruktur, welche zt deutlich besser beinand ist als unsere bzw zum teil erschreckend antiquiert ist.

das hauptproblem (geld/knowhow aussen vor) ist immer der mensch, da hilft zwar schulen und nochmehr schulen, aber in wahrheit sch.. selbst personen deren job es ist sicherheit zu leben auf eben diese.

hatte dazu erst eine rege und sehr angenehme diskussion mit einer hackerin aus dem akademischen umfeld -> am ende liegt das hauptproblem an den ausführenden personen und selten an der architektur.
Bearbeitet von DAO am 22.05.2024, 12:47

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2006
Momentan versuch ichs mal mit den PDFs eines Fachmagazins der letzten 12 Jahre. Wird dann spannend wie er mit den ganzen Noise von Werbung, Editoral usw. umgeht. Das wird das Ergebnis tendenziell nicht verbessern.

Dune

dark mode lover
Registered: Jan 2002
Location: Wien
Posts: 10072
Also meiner Erfahrung nach würde ich's beim fine tunen schon selektieren um die Datenmenge einzuschränken. Gerade Fachmagazin hat gern viel Slang und nutzenlosen content.

Bin gespannt wie's läuft! Gerne berichten :)

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2006
So mit der Magazinsammlung läuft es sehr durchwachsen. Da schreibt er einfach irgendwas und druckt Gschichtln. Anders sieht es aus, wenn man nur ein spezifisches PDF verwendet mit wenig noise. Da sind die Antworten schon akkurat. Mal schauen wies weiterläuft.

Dune

dark mode lover
Registered: Jan 2002
Location: Wien
Posts: 10072
Ich hab sowas nur mal mit sehr spezifischen Dokumenten gemacht, ohne Ablenkung. Da haben wenige Dokumente gereicht. Das ging auch mit wenigen PDFs gut. Verwendest du Beautifulsoup für's DB erstellen?

Sonst könnte ich mir vorstellen dass wissenschaftlich Fachliteratur reichen könnte. Wenn man da zB 20-30 Python Bücher nehmen würde, kommt da schon bissl was zusammen.

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2006
Das macht die Ollama Webui selber. Ich muss die pdf im Documents-Reiter laden und kann sie dann im Chat per #... referenzieren. Geht mittlerweile recht easy.

smashIt

master of disaster
Avatar
Registered: Feb 2004
Location: OÖ
Posts: 5218
ich hätte 120gb fachbücher :D

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2006
Hats bei den Schattenbibliotheken mal einen "Download all" Button gegeben?

deleted428578

Bloody Newbie
Registered: Jul 2024
Location:
Posts: 0
Zitat aus einem Post von KruzFX
Ich füttere das Modell mit Fachliteratur und möchte dann Fragen dazu stellen können. Die Antworten sollten dann natürlich eine gewisse Qualität haben, sonst kann man sichs halt gleich sparen.

das wär für mich auch ein ernsthaft sinnvoller anwendungs fall lokale K"I". da kann man super die zillionen gehorteten ebooks von humblebundle reinballern und dann seinen persönlichen buchbestand viel effienter nach lösungen oder hinweisen "fragen" und dann sogar selber weiterforschen und dabei sogar noch draufkommen wenns halus waren, da man die quellen ja hat.

folgts du da einer anleitung dafür oder howto im netz, die du sharen würdest?

roscoe

tinkerer
Avatar
Registered: Mar 2005
Location: 1050 Wien
Posts: 708
What a time to be alive:)

watercool

BYOB
Registered: Jan 2003
Location: -
Posts: 5942
Wie mach das grad mit unserem Wiki zu unserem Prozess. Da gibt’s schon hunderte Anleitungen. Wär cool wenn man das wo reinstopft und dann einfach Fragen stellen kann.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz