CSV -> MySQL import

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 9007

04.04.2016 - 16:09

schön wärs! hier ein ausschnitt aus der datensatzstruktur

hctuB

Bloody Newbie

Registered: Feb 2002
Location: Pampa LL
Posts: 2410

04.04.2016 - 16:14

Das sieht doch eh brauchbar aus? die Positionen sind immer fix

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 9007

04.04.2016 - 16:16

klar. ich muss die werte aber dennoch einzeln rauspicken. das ist aber nicht das problem.
da die zeit drückt, muss ich auf bekanntes zurückgreifen und werd es wohl über die php-cli ins mysql importieren und dann weiterverarbeiten.

Tosca

Here to stay

Registered: Feb 2002
Location: 1030
Posts: 990

04.04.2016 - 16:18

Ich würd vorher ron's editor versuchen, da gibts eh eine Trial. Das sollte normal klappen, wenn er die Dateigröße verträgt. Ist sicher weniger Arbeit

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 9007

04.04.2016 - 16:27

ja der liegt schon hier bei mir, der wird mir bei einem anderen anwendungsfall nützlich sein

hier hilft er mir aber leider nicht, da kein csv format.
ich sollte vielleicht den threadtitel umschreiben..

Tosca

Here to stay

Registered: Feb 2002
Location: 1030
Posts: 990

04.04.2016 - 16:34

Du kannst eine Textdatei mit fixen Feldbreiten importieren und quasi als CSV behandeln. Geht auch mit Excel, nur mag das die Größe nicht.

UnleashThebeast

unsäglicher Prolet

Registered: Dec 2005
Location: 127.0.0.1
Posts: 3569

04.04.2016 - 16:50

del

Bearbeitet von UnleashThebeast am 04.04.2016, 16:51

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12142

04.04.2016 - 16:50

Also einfacher als damit (zumindest wenn das Byte-Offsets, und nicht Codepoint-Offsets mit einem VLE wie UTF-8 sind) kann man es dir wohl nicht machen. Das schaut stark so aus als waere die gesamte Datei einfach mit einem relativ primitiven Format String geschrieben worden, der sich perfekt zum Konsumieren via sscanf() eignet.

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 9007

05.04.2016 - 09:17

ron's editor wurde leider abgelehnt.
also bleibts bei der php hax0rei... ich werds nachts direkt nach der generierung über die cli einlesen und dann per webformular drauf zugreifen.

aber danke nochmal für euren input!

(ich sollte mir echt mal eine gescheite programmier/script sprache für windows tools aneignen..)

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 9007

06.04.2016 - 14:56

zusatz: (kann den post nicht mehr editieren)
ron's editor beitelt bei meinen files leider auch schon die patschen

bis zur line 2095986 kommt er, danach gibts eine arrayüberschreitung.

Rektal

Here to stay

Registered: Dec 2002
Location: Inside
Posts: 4477

08.04.2016 - 18:33

Zitat von Umlüx
ich kann aber wohl kaum 30x2gb am mysql server ablegen.

Now we're talking!

Trotzdem: disk storage ist cheap, an der "Menge" reichts nicht, die ist klein. Aus https://www.overclockers.at/include...e_2#post3729768 kann ich trotzdem nicht erkennen wie damit gearbeitet werden soll.

- Ist eher die Frage, wie du auf die Daten zugreifen willst, sprich welche Art von Abfragen?
- Brauchts viel grouping und/oder self-joining?
- Gehts um full-text-search?
- Wie viele Concurrent user?
- Sind das eher "ich such einmal vielleicht was" abfrage oder wird das nochmal wo an ein System geschlossen wo regelmaessig darauf zugegriffen wird?

Hmm. Fragen ueber Fragen

Da du geschrieben hast, Zeit naht usw., eventuell eh schon erledigt. Gerne bitte sharen was du wie geloest hast :>

Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 9007	04.04.2016 - 16:09 schön wärs! hier ein ausschnitt aus der datensatzstruktur
hctuB Bloody Newbie Registered: Feb 2002 Location: Pampa LL Posts: 2410	04.04.2016 - 16:14 Das sieht doch eh brauchbar aus? die Positionen sind immer fix
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 9007	04.04.2016 - 16:16 klar. ich muss die werte aber dennoch einzeln rauspicken. das ist aber nicht das problem. da die zeit drückt, muss ich auf bekanntes zurückgreifen und werd es wohl über die php-cli ins mysql importieren und dann weiterverarbeiten.
Tosca Here to stay Registered: Feb 2002 Location: 1030 Posts: 990	04.04.2016 - 16:18 Ich würd vorher ron's editor versuchen, da gibts eh eine Trial. Das sollte normal klappen, wenn er die Dateigröße verträgt. Ist sicher weniger Arbeit
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 9007	04.04.2016 - 16:27 ja der liegt schon hier bei mir, der wird mir bei einem anderen anwendungsfall nützlich sein hier hilft er mir aber leider nicht, da kein csv format. ich sollte vielleicht den threadtitel umschreiben..
Tosca Here to stay Registered: Feb 2002 Location: 1030 Posts: 990	04.04.2016 - 16:34 Du kannst eine Textdatei mit fixen Feldbreiten importieren und quasi als CSV behandeln. Geht auch mit Excel, nur mag das die Größe nicht.
UnleashThebeast unsäglicher Prolet Registered: Dec 2005 Location: 127.0.0.1 Posts: 3569	04.04.2016 - 16:50 del Bearbeitet von UnleashThebeast am 04.04.2016, 16:51
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12142	04.04.2016 - 16:50 Also einfacher als damit (zumindest wenn das Byte-Offsets, und nicht Codepoint-Offsets mit einem VLE wie UTF-8 sind) kann man es dir wohl nicht machen. Das schaut stark so aus als waere die gesamte Datei einfach mit einem relativ primitiven Format String geschrieben worden, der sich perfekt zum Konsumieren via sscanf() eignet.
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 9007	05.04.2016 - 09:17 ron's editor wurde leider abgelehnt. also bleibts bei der php hax0rei... ich werds nachts direkt nach der generierung über die cli einlesen und dann per webformular drauf zugreifen. aber danke nochmal für euren input! (ich sollte mir echt mal eine gescheite programmier/script sprache für windows tools aneignen..)
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 9007	06.04.2016 - 14:56 zusatz: (kann den post nicht mehr editieren) ron's editor beitelt bei meinen files leider auch schon die patschen bis zur line 2095986 kommt er, danach gibts eine arrayüberschreitung.
Rektal Here to stay Registered: Dec 2002 Location: Inside Posts: 4477	08.04.2016 - 18:33 Zitat von Umlüx ich kann aber wohl kaum 30x2gb am mysql server ablegen. Now we're talking! Trotzdem: disk storage ist cheap, an der "Menge" reichts nicht, die ist klein. Aus https://www.overclockers.at/include...e_2#post3729768 kann ich trotzdem nicht erkennen wie damit gearbeitet werden soll. - Ist eher die Frage, wie du auf die Daten zugreifen willst, sprich welche Art von Abfragen? - Brauchts viel grouping und/oder self-joining? - Gehts um full-text-search? - Wie viele Concurrent user? - Sind das eher "ich such einmal vielleicht was" abfrage oder wird das nochmal wo an ein System geschlossen wo regelmaessig darauf zugegriffen wird? Hmm. Fragen ueber Fragen Da du geschrieben hast, Zeit naht usw., eventuell eh schon erledigt. Gerne bitte sharen was du wie geloest hast :>

CSV -> MySQL import

Forum Index > Software > Coding Stuff

Umlüx

hctuB

Umlüx

Tosca

Umlüx

Tosca

UnleashThebeast

COLOSSUS

Umlüx

Umlüx

Rektal