URL: https://www.overclockers.at/artificial-intelligence/ki-modelle-gpt-xlstm-stable-diffusion-etc_261430/page_43 - zur Vollversion wechseln!
Ich versuche mich gerade mit RAG mittels Ollama mit dem Llama 8B Modell. Jetzt eine kurze Frage, zahlt sich das mit so einem kleinen Modell überhaupt aus, oder ist das eigentlich eh zu ungenau?
Der Vorteil am 8B ist, dass es auf meinem Simulations-PC mit einem 9900KS super läuft, fürs 70B müsste ich wahrscheinlich den PC aufrüsten lassen, da ich vor allem nur eine Mini GPU drin verbaut habe.
Zu ungenau wo für und wie spezifisch bzw noise behaftet sind die Trainingsdaten? Ein 8B Netz als Basis reicht für viele generische Anwendungen mbMn. Wenn du willst, dass es was sehr außergewöhnliches kann, dann eher nicht.
DAO das kommt dich auf die Definition an oder nicht? Ich sehe Asfing, Austrocontrol, ÖBB usw als wesentlich schmerzhafter für kurzfristige Konsequenzen als irgendwelche Geheimdienste, da sterben nicht adhoc Leute, wenn's Leaks gibt.
Ich füttere das Modell mit Fachliteratur und möchte dann Fragen dazu stellen können. Die Antworten sollten dann natürlich eine gewisse Qualität haben, sonst kann man sichs halt gleich sparen.
Ja ist klar, wie viele Bücher haust du dafür rein? Cooler Use Case 
Bin unsicher ob es nicht auch öffentliche LLMs mit Fachliteratur gibt, aber es ist ne sehr sinnvolle Anwendung.
Man kann ja mal grob überschlagen wie viele der 9B man bei den Neuronen mit der gewünschten Datenmenge belegen möchte. Ich denke man braucht schon einige Bücher um eine sinnvolle Medianantwort zu kriegen, allerdings ist dann auch das Rauschen größer.
Zitat aus einem Post von DuneDAO das kommt dich auf die Definition an oder nicht? Ich sehe Asfing, Austrocontrol, ÖBB usw als wesentlich schmerzhafter für kurzfristige Konsequenzen als irgendwelche Geheimdienste, da sterben nicht adhoc Leute, wenn's Leaks gibt.
Momentan versuch ichs mal mit den PDFs eines Fachmagazins der letzten 12 Jahre. Wird dann spannend wie er mit den ganzen Noise von Werbung, Editoral usw. umgeht. Das wird das Ergebnis tendenziell nicht verbessern.
Also meiner Erfahrung nach würde ich's beim fine tunen schon selektieren um die Datenmenge einzuschränken. Gerade Fachmagazin hat gern viel Slang und nutzenlosen content.
Bin gespannt wie's läuft! Gerne berichten
So mit der Magazinsammlung läuft es sehr durchwachsen. Da schreibt er einfach irgendwas und druckt Gschichtln. Anders sieht es aus, wenn man nur ein spezifisches PDF verwendet mit wenig noise. Da sind die Antworten schon akkurat. Mal schauen wies weiterläuft.
Ich hab sowas nur mal mit sehr spezifischen Dokumenten gemacht, ohne Ablenkung. Da haben wenige Dokumente gereicht. Das ging auch mit wenigen PDFs gut. Verwendest du Beautifulsoup für's DB erstellen?
Sonst könnte ich mir vorstellen dass wissenschaftlich Fachliteratur reichen könnte. Wenn man da zB 20-30 Python Bücher nehmen würde, kommt da schon bissl was zusammen.
Das macht die Ollama Webui selber. Ich muss die pdf im Documents-Reiter laden und kann sie dann im Chat per #... referenzieren. Geht mittlerweile recht easy.
ich hätte 120gb fachbücher 
Hats bei den Schattenbibliotheken mal einen "Download all" Button gegeben?
Zitat aus einem Post von KruzFXIch füttere das Modell mit Fachliteratur und möchte dann Fragen dazu stellen können. Die Antworten sollten dann natürlich eine gewisse Qualität haben, sonst kann man sichs halt gleich sparen.
What a time to be alive
Wie mach das grad mit unserem Wiki zu unserem Prozess. Da gibt’s schon hunderte Anleitungen. Wär cool wenn man das wo reinstopft und dann einfach Fragen stellen kann.
overclockers.at v4.thecommunity
© all rights reserved by overclockers.at 2000-2025