KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Ich versuche mich gerade mit RAG mittels Ollama mit dem Llama 8B Modell. Jetzt eine kurze Frage, zahlt sich das mit so einem kleinen Modell überhaupt aus, oder ist das eigentlich eh zu ungenau?
Der Vorteil am 8B ist, dass es auf meinem Simulations-PC mit einem 9900KS super läuft, fürs 70B müsste ich wahrscheinlich den PC aufrüsten lassen, da ich vor allem nur eine Mini GPU drin verbaut habe.

Ich füttere das Modell mit Fachliteratur und möchte dann Fragen dazu stellen können. Die Antworten sollten dann natürlich eine gewisse Qualität haben, sonst kann man sichs halt gleich sparen.

Zitat aus einem Post von Dune

DAO das kommt dich auf die Definition an oder nicht? Ich sehe Asfing, Austrocontrol, ÖBB usw als wesentlich schmerzhafter für kurzfristige Konsequenzen als irgendwelche Geheimdienste, da sterben nicht adhoc Leute, wenn's Leaks gibt.

kritische infrastruktur = alle im bereich öffentliche sicherheit (= mit blaulicht am dach),energiesektor, das transportwesen (rail/air/road...) usw.

ich rede jetzt nicht unbeding von geheimdiensten -> ausserhalb unserer alpen/banannenrepublik gibts auch viel kritische infrastruktur, welche zt deutlich besser beinand ist als unsere bzw zum teil erschreckend antiquiert ist.

das hauptproblem (geld/knowhow aussen vor) ist immer der mensch, da hilft zwar schulen und nochmehr schulen, aber in wahrheit sch.. selbst personen deren job es ist sicherheit zu leben auf eben diese.

hatte dazu erst eine rege und sehr angenehme diskussion mit einer hackerin aus dem akademischen umfeld -> am ende liegt das hauptproblem an den ausführenden personen und selten an der architektur.

Also meiner Erfahrung nach würde ich's beim fine tunen schon selektieren um die Datenmenge einzuschränken. Gerade Fachmagazin hat gern viel Slang und nutzenlosen content.

Bin gespannt wie's läuft! Gerne berichten

Ich hab sowas nur mal mit sehr spezifischen Dokumenten gemacht, ohne Ablenkung. Da haben wenige Dokumente gereicht. Das ging auch mit wenigen PDFs gut. Verwendest du Beautifulsoup für's DB erstellen?

Sonst könnte ich mir vorstellen dass wissenschaftlich Fachliteratur reichen könnte. Wenn man da zB 20-30 Python Bücher nehmen würde, kommt da schon bissl was zusammen.

ich hätte 120gb fachbücher

Zitat aus einem Post von KruzFX

Ich füttere das Modell mit Fachliteratur und möchte dann Fragen dazu stellen können. Die Antworten sollten dann natürlich eine gewisse Qualität haben, sonst kann man sichs halt gleich sparen.

das wär für mich auch ein ernsthaft sinnvoller anwendungs fall lokale K"I". da kann man super die zillionen gehorteten ebooks von humblebundle reinballern und dann seinen persönlichen buchbestand viel effienter nach lösungen oder hinweisen "fragen" und dann sogar selber weiterforschen und dabei sogar noch draufkommen wenns halus waren, da man die quellen ja hat.

folgts du da einer anleitung dafür oder howto im netz, die du sharen würdest?

Wie mach das grad mit unserem Wiki zu unserem Prozess. Da gibt’s schon hunderte Anleitungen. Wär cool wenn man das wo reinstopft und dann einfach Fragen stellen kann.