Verwaltung großer Datenmengen (binär) in PHP/MSSQL

Ich hab keine Vorstellung davon, wie schwierig/umstaendlich es ist, eine PHP-Erweiterung in C zu schreiben... Wenn du dich aber darauf verlassen kannst, dass serialize() in diesem Fall ganz sicher einer bestimmten Form folgende Daten ausspuckt - dann kannst du ziemlich sicher auch einen effizienteren Deserialisierer schreiben, als PHP in by default hat (in schaetzungsweise eigentlich trivialem C).

serialize() ist eine furchtbare Art und Weise ein Array zu verpacken. Es macht einen fast lesbaren String daraus inklusive unnötiger Delimiter. Abhilfe wird dir wohl nur eine PHP-Extension schaffen, die das für dich effizient umwandelt und am besten auch gleich direkt mit der Datenbank kommuniziert.

Btw, obwohl es hier schon gesagt wurde: Große Datenmengen in einem Table können sich höllisch auf die Performance auswirken. Wie man es dreht und wendet, besonders auf Linux ist das automatische Caching auf Filesystem-Ebene bei weitem schneller.

Ich fasse einfach nochmal zusammen, wie ich versuchen wuerde, an eine Loesung fuer deinen speziellen Fall heranzugehen:

Im jeweils untersten Verzeichnis eines solchen DATA/*/-Baumes liegen nicht mehr als rund tausend Files. Wenn du also mit einer 5stelligen Anzahl Arrays rechnen musst, und diese durch eine eindeutige, fortlaufende, dezimale Nummer indizieren willst (wird das Einfachste sein), dann hast du 2 Ebenen Verzeichnisse: ./{0..9}/{0..9}/, und in den jeweils untersten dann bis zu 1000 Dateien [0-9][0-9][0-9]. Jedes dieser Files, also ./0/0/000 bis ./9/9/999, enthaelt die BDB-Strukturen mit wahlfreiem Index als Key (deine Row# bietet sich natuerlich an), und der zugehoerige Value entspricht der wie ich auch immer serialisierten Row-Payload deines Arrays.

Ich hab gestern vor der Heia noch ein bisschen gegoogelt, wie man PHP Extensions selbst zusammenschustern kann; hab zwar nur zwei Guides fuer PHP4 und MSVC++ gefunden, aber es schien keine Lebensaufgabe zu sein. You can do it! \o/