Charset Problem mit Perl Globbing auf Windows mit BSD_glob() *solved*

Grüß euch,

Ich hätte eine Frage bezüglich der Verwendung von bsd_glob() auf Win32, weil ich da ein Problem mit Verzeichnisnamen habe. Ich kann nicht den kompletten Code posten, also muß es etwas unvollständiger "Pseudo"code tun. bsd_glob() wird statt dem Perl Builtin verwendet, damit Leerzeichen keine Pattern Delimiter darstellen können. Es wird eine Folderstruktur mit 3 Ebenen abgegrast. Ca. so:

Code: PERL

use strict;             # Strict code only, no dodgy stuff.
use File::Glob 'glob';  # Use BSD_glob() instead of builtin.

my(@tree) = glob("E:/Data/*");      # Read folders on level 2 into array ("E:/Data" is considered level 1, "E:" level 0).

foreach $branch (@tree) {           # Iterate through folder level 2.
  if (-d $branch) {                 # Check if branch folder is truly a directory.
    @leaves = glob("$branch/*");    # Read folder names on level 3 into array using BSD_glob.
    foreach $leaf (@leaves) {       # Iterate through folders on L3.
    if (-d $leaf) {                 # Check whether leaf folder is truly a directory.
      $mtime = stat($leaf)->mtime;  # If so, read modification time stamp.
      $mtimestamps{$leaf} = $mtime; # Add timestamp as a value to the hashtable for the current folder name as key.
      $leafcount++;                 # Increment total folder count.
      }
    }
  }
}

Sinn des ganzen ist die Visualisierung einer bestimmten Folderstruktur, sortiert nach Modification Timestamps. Der Code soll auch auf *nix lauffähig sein, und ich baue sowohl auf Linux als auch Windows, daher Perl.

Aber der Punkt ist, daß ich am Sonderzeichen ź hängenbleibe! glob() scheint Verzeichnisse mit diesem Zeichen im Namen einfach nicht zu expanden! Damit wird jeder betroffene Folder einfach übersprungen und fällt unter'n Tisch.

Etwas Recherche hat ergeben, daß ź kein Mitglied des ISO-8859-15 Zeichensatzes ist, den mein Windows NT5.2 aber nutzen sollte. Dennoch lassen sich Datei- und Verzeichnisnamen mit ź im Windows Explorer problemlos anzeigen und nutzen. Das scheint mir aber nur in UTF-8 zu existieren, nämlich als [U+017A]. Oder verwendet Windows in Wahrheit irgendein krankes Hybridencoding a la IRC für Dateinamen?!

Andere Zeichen, die in ISO-8859-15 existieren werden problemlos behandelt, so z.B. ø, ©, ç, ¾ und so weiter und so fort.

Was soll ich jetzt tun? Echt keine Ahnung wie ich das behandeln sollte. Das Script selbst ist übrigens als UTF-8 ohne BOM encoded, falls das eine Rolle spielen sollte.

Danke!

Bitte entschuldige meine Unwissenheit, aber "W"? "A"? Ich verstehe nicht.

Darf ich deiner Antwort entnehmen, daß Windows hier ein Hybrid Encoding (CP1252+UTF-16) nutzt, um Dateinamen zu kodieren?

Wo Perl ist, muß es doch einen Weg geben..

Ich glaub ich geb's auf. Es gibt Module, die können z.B. UTF-16LE Dateinamen bzw. Metadaten durch Nutzung der richtigen API Calls einlesen (Win32API::File) und selbst das Core readdir() kanns, aber selbst so simple Core-Geschichten wie ein "Ist das Element ein Verzeichnis?" failen..

Also z.B. if (-d $leaf) geht auch schon nicht mehr...

Das is echt ein Saudreck..

Ich verstehe nicht was du meinst. Wo soll die Weiche implementiert sein? So wie ich das verstehe, sitzt im Perl Core (oder im Perl Modul, wenn man ein solches verwendet) der API Call drin. Man müßte schon das Modul oder den Core umschreiben und rekompilieren fürchte ich?!

Ich glaub kaum, daß ich allen Perl Modulen und dem Core einfach aufzwingen kann, global nur mehr Wide Calls aufs NTFS abzusetzen..

Selbst den API Call absetzen. Ok. Verstehe. Mal schaun ob das geht, und wie.

Hmm, eher [hier], so scheint es. Aber auf einen grünen Zweig mußt da auch erst Mal kommen. Neben Dirchecking brauchts ja auch noch das Auslesen von Timestamps. Die Ordner listen und in einen Array reinholen geht z.B. schon Mal mit readdir(). Habs im :raw Modus gelesen, damit da nur ja keine automatischen Konversionen passieren.

Dennoch scheint das was ich bekomme irgendwie kein UTF-16le zu sein, sondern immer was anderes, wirkt eher wie UCS-2?!

Scheinbar ist das En-/Decoding von Dateinamen generell eine Schwachstelle in Perl (meinen zumindest einige Leute im Netz).

Langsam treibt mich das jedenfalls in den Wahnsinn!

Edit: Ok, es scheint, als würde readdir() besagte Folder zwar einlesen, aber als CP-1252 statt UCS-2le. Geh bitte...

Ok, hier kommt die Saugeilheit! Und du hast mich zumindest teilweise drauf gebracht!

In Perl 5.8.1 wurde ein Switch disabled ("-C"), mit dem man Perl erklären kann, bitte nur WIDE API Calls aufs Filesystem abzusetzen. Angeblich wurde er entfernt, weil das eh keiner benutzt haben soll (he, super Grund!!).

Also hab ich echt Mal ein steinaltes Perl 5.6 installiert, das Skript mit Parameter -C für Perl gestartet und siehe da, es funktioniert..

Wie DUMM ist das bitte?!

Edit: Die API Calls selbst aus der kernel32.dll aufzurufen [geht übrigens auch], aber das will glaube ich wirklich keiner, wenn ich mir das so anschau.

Zitat von GrandAdmiralThrawn

Edit: Die API Calls selbst aus der kernel32.dll aufzurufen [geht übrigens auch], aber das will glaube ich wirklich keiner, wenn ich mir das so anschau.

Aber vielleicht gibts dafür wieder selbst gecodete Wrapper irgendwo in den Weiten des Netz