CSV -> MySQL import - Seite 2

Seite 2 von 2 - Forum: Coding Stuff auf overclockers.at

URL: https://www.overclockers.at/coding-stuff/csv-mysql-import_245888/page_2 - zur Vollversion wechseln!

Umlüx schrieb am 04.04.2016 um 16:09

schön wärs! hier ein ausschnitt aus der datensatzstruktur

hctuB schrieb am 04.04.2016 um 16:14

Das sieht doch eh brauchbar aus? die Positionen sind immer fix

Umlüx schrieb am 04.04.2016 um 16:16

klar. ich muss die werte aber dennoch einzeln rauspicken. das ist aber nicht das problem.
da die zeit drückt, muss ich auf bekanntes zurückgreifen und werd es wohl über die php-cli ins mysql importieren und dann weiterverarbeiten.

Tosca schrieb am 04.04.2016 um 16:18

Ich würd vorher ron's editor versuchen, da gibts eh eine Trial. Das sollte normal klappen, wenn er die Dateigröße verträgt. Ist sicher weniger Arbeit

Umlüx schrieb am 04.04.2016 um 16:27

ja der liegt schon hier bei mir, der wird mir bei einem anderen anwendungsfall nützlich sein
hier hilft er mir aber leider nicht, da kein csv format.
ich sollte vielleicht den threadtitel umschreiben..

Tosca schrieb am 04.04.2016 um 16:34

Du kannst eine Textdatei mit fixen Feldbreiten importieren und quasi als CSV behandeln. Geht auch mit Excel, nur mag das die Größe nicht.

UnleashThebeast schrieb am 04.04.2016 um 16:50

del

COLOSSUS schrieb am 04.04.2016 um 16:50

Also einfacher als damit (zumindest wenn das Byte-Offsets, und nicht Codepoint-Offsets mit einem VLE wie UTF-8 sind) kann man es dir wohl nicht machen. Das schaut stark so aus als waere die gesamte Datei einfach mit einem relativ primitiven Format String geschrieben worden, der sich perfekt zum Konsumieren via sscanf() eignet.

Umlüx schrieb am 05.04.2016 um 09:17

ron's editor wurde leider abgelehnt.
also bleibts bei der php hax0rei... ich werds nachts direkt nach der generierung über die cli einlesen und dann per webformular drauf zugreifen.

aber danke nochmal für euren input!

(ich sollte mir echt mal eine gescheite programmier/script sprache für windows tools aneignen..)

Umlüx schrieb am 06.04.2016 um 14:56

zusatz: (kann den post nicht mehr editieren)
ron's editor beitelt bei meinen files leider auch schon die patschen
bis zur line 2095986 kommt er, danach gibts eine arrayüberschreitung.

Rektal schrieb am 08.04.2016 um 18:33

Zitat von Umlüx
ich kann aber wohl kaum 30x2gb am mysql server ablegen.

Now we're talking!

Trotzdem: disk storage ist cheap, an der "Menge" reichts nicht, die ist klein. Aus https://www.overclockers.at/include...e_2#post3729768 kann ich trotzdem nicht erkennen wie damit gearbeitet werden soll.

- Ist eher die Frage, wie du auf die Daten zugreifen willst, sprich welche Art von Abfragen?
- Brauchts viel grouping und/oder self-joining?
- Gehts um full-text-search?
- Wie viele Concurrent user?
- Sind das eher "ich such einmal vielleicht was" abfrage oder wird das nochmal wo an ein System geschlossen wo regelmaessig darauf zugegriffen wird?

Hmm. Fragen ueber Fragen

Da du geschrieben hast, Zeit naht usw., eventuell eh schon erledigt. Gerne bitte sharen was du wie geloest hast :>