Hilfe Partition voll

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8962

19.10.2011 - 11:59

Code:

[root@xen01 /]# mount
/dev/cciss/c0d0p1 on / type ext3 (rw)
none on /proc type proc (rw)
none on /sys type sysfs (rw)
none on /dev/pts type devpts (rw)
none on /dev/shm type tmpfs (rw)
/opt/xensource/packages/iso/XenCenter.iso on /var/xen/xc-install type iso9660 (ro,loop=/dev/loop0)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
//10.37.101.215/iso on /var/run/sr-mount/4b11ab4c-77fe-4ef6-be7d-3fc4626f5690 type cifs (rw,mand)
//nas3.springerreisen.com/software on /var/run/sr-mount/23f8b998-e10c-ec2c-9f8b-660488d49ecf type cifs (rw,mand)
[root@xen01 /]# uname -a
Linux xen01 2.6.27.42-0.1.1.xs5.6.0.44.111158xen #1 SMP Mon May 3 21:26:51 EDT 2010 i686 i686 i386 GNU/Linux

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12070

19.10.2011 - 12:05

WTF, das ist ein i686-System :eek:

Ich weisz ja dass dieses Citrix-Zeugs nicht das Gelbe vom Ei ist, aber DAS haette ich mir ehrlich nicht mal im Traum erwartet. Gerade fuer Virtualisierung...

Ich hab selbst kein i386 lsof binary im Talon, aber so kannst du an eines kommen:

Code:

cd /tmp/
wget http://ftp.de.debian.org/debian/pool/main/l/lsof/lsof_4.81.dfsg.1-1_i386.deb
ar x lsof_4.81.dfsg.1-1_i386.deb
tar xf data.tar.gz ./usr/bin/lsof --strip-components=3
./lsof

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8962

19.10.2011 - 12:10

Zitat von COLOSSUS
Ich weisz ja dass dieses Citrix-Zeugs nicht das Gelbe vom Ei ist

da musste ich lachen, danke für die aufheiterung

lsof_173000.txt (downloaded 83x)

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12070

19.10.2011 - 12:15

Die PID 14498 (xapi) hat jede Menge stale fds in /var/xapi/, die alle den Namen von UUIDs tragen. Wird wohl irgendeine Xen-Mgmt-API sein?

PID 16388 (tapdisk) hat auch noch offene Handles. Schau mal, ob man den Prozessen SIGHUP senden darf. Wenn ja, tu es. Gleiches gilt fuer PID 28986 (cmanicd).

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8962

19.10.2011 - 12:21

richtig, die xapi gehört zum xen toolstack. die sollte ich halbwegs gefahrlos killen können. ich versuchs mal.

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12070

19.10.2011 - 12:23

SIGHUP killt einen Daemon nicht (zwangsweise). Per Konvention schlieszt und oeffnet das Programm auf SIGHUP hin seine Logfile-fds, liest seine Config neu ein, und macht dann weiter als waer nix gewesen. Sollte auf jeden Fall dokumentiert sein (in der Manpage des jeweiligen Daemons).

Es ist uebrigens immer eine gute Idee, /var auf ein eigenes Dateisystem zu legen - zur Not auch per loop-Device. So kann es dir nicht passieren, dass ein Amokloggender Prozess dein / mit Muell zukleistert, und du evtl. nicht mal mehr einen Login zustandebringst.

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8962

19.10.2011 - 13:26

verdammt. xapi hat sich jetzt verabschiedet und lässt sich auch nicht mehr anfahren.
ich kann nichtmal mehr den speicherplatz prüfen..
"df: cannot read table of mounted file systems"

die maschine ist noch original so, wie sie damals von XEN installiert wurde. ich glaube die setup routine liess auch gar keine großartigen änderungen zu.
immerhin hab ich jetzt kontakt mit dem support unseres retailers. ich schildere ihm gerade alles und hoffe das beste.

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12070

19.10.2011 - 15:59

Wuerde mich interessieren, wie/ob sie dir aus der Patsche helfen (koennen). Waere schoen, koenntest du das hier noch fuer die Oeffentlichkeit festhalten.

Es sollte auf jeden Fall moeglich sein, die virtuellen Maschinen via der durch Xen emulierten seriellen Konsole runterzufahren. Zumindest, wenn es sich um entsprechend konfigurierte GNU/Linux-Gastsysteme handelt. Dann behebt ein Reboot der Hypervisor-Maschine vermutlich all deine Probleme sofort.

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8962

19.10.2011 - 16:16

da die VMs soweit alle noch zu reagieren scheinen, werde ich heut abend einfach die wichtigsten systeme sauber über rdp herunterfahren und danach die maschine neustarten.

danke für die hilfe erstmal.

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12070

19.10.2011 - 16:26

Um das Problem in Zukunft im Griff zu haben solltest du /var/ auf ein eigenes FS auslagern (wenn du LVM hast in eine eigene LV, sonst wie loop-Mount, vgl. http://uranus.chrysocome.net/linux/ex2fsfile.htm). Zusaetzlich solltest du auch zu klaeren versuchen, welcher Prozess bzw. welches Logfile genau fuer die Misere verantwortlich war; irgendwie musst du das ueber kurz oder lang baendigen. Beobachte beim naechsten Mal nach dem Start des System einfach mittels

Code:

tail -n0 -f /var/log/* /var/log/*/*

was sich in deinen logfiles so tut, und ob sich irgendeines besonders schnell zu fuellen scheint. Dann kannst du dich an die Bekaempfung der Ursache des Problems machen.

DAO

Si vis pacem, para bellum

Registered: Mar 2001
Location: Austria
Posts: 4964

19.10.2011 - 18:12

btw wenn du in zukunft mit citrix xen arbeitest enable die repos (im Verzeichnis /etc/yum.repos.d/ ) und installier dann via yum die gewünschten packete und nicht irgendwelche bins von irgendwo benutzen

das geht nat. nur wenn du noch genug space frei hast

Umlüx

Huge Metal Fan

Registered: Jun 2001
Location: Kärnten
Posts: 8962

19.10.2011 - 21:06

nach einem reboot läuft die kiste erstmal wieder.
und die logs scheinen auch nicht mehr aufzugehen wie ein germknödel.
bin dennoch gespannt was der support noch zu sagen hat.

Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8962	19.10.2011 - 11:59 Code: [root@xen01 /]# mount /dev/cciss/c0d0p1 on / type ext3 (rw) none on /proc type proc (rw) none on /sys type sysfs (rw) none on /dev/pts type devpts (rw) none on /dev/shm type tmpfs (rw) /opt/xensource/packages/iso/XenCenter.iso on /var/xen/xc-install type iso9660 (ro,loop=/dev/loop0) none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw) sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw) //10.37.101.215/iso on /var/run/sr-mount/4b11ab4c-77fe-4ef6-be7d-3fc4626f5690 type cifs (rw,mand) //nas3.springerreisen.com/software on /var/run/sr-mount/23f8b998-e10c-ec2c-9f8b-660488d49ecf type cifs (rw,mand) [root@xen01 /]# uname -a Linux xen01 2.6.27.42-0.1.1.xs5.6.0.44.111158xen #1 SMP Mon May 3 21:26:51 EDT 2010 i686 i686 i386 GNU/Linux
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12070	19.10.2011 - 12:05 WTF, das ist ein i686-System Ich weisz ja dass dieses Citrix-Zeugs nicht das Gelbe vom Ei ist, aber DAS haette ich mir ehrlich nicht mal im Traum erwartet. Gerade fuer Virtualisierung... Ich hab selbst kein i386 lsof binary im Talon, aber so kannst du an eines kommen: Code: `cd /tmp/ wget http://ftp.de.debian.org/debian/pool/main/l/lsof/lsof_4.81.dfsg.1-1_i386.deb ar x lsof_4.81.dfsg.1-1_i386.deb tar xf data.tar.gz ./usr/bin/lsof --strip-components=3 ./lsof`
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8962	19.10.2011 - 12:10 Zitat von COLOSSUS Ich weisz ja dass dieses Citrix-Zeugs nicht das Gelbe vom Ei ist da musste ich lachen, danke für die aufheiterung lsof_173000.txt (downloaded 83x)
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12070	19.10.2011 - 12:15 Die PID 14498 (xapi) hat jede Menge stale fds in /var/xapi/, die alle den Namen von UUIDs tragen. Wird wohl irgendeine Xen-Mgmt-API sein? PID 16388 (tapdisk) hat auch noch offene Handles. Schau mal, ob man den Prozessen SIGHUP senden darf. Wenn ja, tu es. Gleiches gilt fuer PID 28986 (cmanicd).
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8962	19.10.2011 - 12:21 richtig, die xapi gehört zum xen toolstack. die sollte ich halbwegs gefahrlos killen können. ich versuchs mal.
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12070	19.10.2011 - 12:23 SIGHUP killt einen Daemon nicht (zwangsweise). Per Konvention schlieszt und oeffnet das Programm auf SIGHUP hin seine Logfile-fds, liest seine Config neu ein, und macht dann weiter als waer nix gewesen. Sollte auf jeden Fall dokumentiert sein (in der Manpage des jeweiligen Daemons). Es ist uebrigens immer eine gute Idee, /var auf ein eigenes Dateisystem zu legen - zur Not auch per loop-Device. So kann es dir nicht passieren, dass ein Amokloggender Prozess dein / mit Muell zukleistert, und du evtl. nicht mal mehr einen Login zustandebringst.
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8962	19.10.2011 - 13:26 verdammt. xapi hat sich jetzt verabschiedet und lässt sich auch nicht mehr anfahren. ich kann nichtmal mehr den speicherplatz prüfen.. "df: cannot read table of mounted file systems" die maschine ist noch original so, wie sie damals von XEN installiert wurde. ich glaube die setup routine liess auch gar keine großartigen änderungen zu. immerhin hab ich jetzt kontakt mit dem support unseres retailers. ich schildere ihm gerade alles und hoffe das beste.
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12070	19.10.2011 - 15:59 Wuerde mich interessieren, wie/ob sie dir aus der Patsche helfen (koennen). Waere schoen, koenntest du das hier noch fuer die Oeffentlichkeit festhalten. Es sollte auf jeden Fall moeglich sein, die virtuellen Maschinen via der durch Xen emulierten seriellen Konsole runterzufahren. Zumindest, wenn es sich um entsprechend konfigurierte GNU/Linux-Gastsysteme handelt. Dann behebt ein Reboot der Hypervisor-Maschine vermutlich all deine Probleme sofort.
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8962	19.10.2011 - 16:16 da die VMs soweit alle noch zu reagieren scheinen, werde ich heut abend einfach die wichtigsten systeme sauber über rdp herunterfahren und danach die maschine neustarten. danke für die hilfe erstmal.
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12070	19.10.2011 - 16:26 Um das Problem in Zukunft im Griff zu haben solltest du /var/ auf ein eigenes FS auslagern (wenn du LVM hast in eine eigene LV, sonst wie loop-Mount, vgl. http://uranus.chrysocome.net/linux/ex2fsfile.htm). Zusaetzlich solltest du auch zu klaeren versuchen, welcher Prozess bzw. welches Logfile genau fuer die Misere verantwortlich war; irgendwie musst du das ueber kurz oder lang baendigen. Beobachte beim naechsten Mal nach dem Start des System einfach mittels Code: `tail -n0 -f /var/log/* /var/log//` was sich in deinen logfiles so tut, und ob sich irgendeines besonders schnell zu fuellen scheint. Dann kannst du dich an die Bekaempfung der Ursache des Problems machen.
DAO Si vis pacem, para bellum Registered: Mar 2001 Location: Austria Posts: 4964	19.10.2011 - 18:12 btw wenn du in zukunft mit citrix xen arbeitest enable die repos (im Verzeichnis /etc/yum.repos.d/ ) und installier dann via yum die gewünschten packete und nicht irgendwelche bins von irgendwo benutzen das geht nat. nur wenn du noch genug space frei hast
Umlüx Huge Metal Fan Registered: Jun 2001 Location: Kärnten Posts: 8962	19.10.2011 - 21:06 nach einem reboot läuft die kiste erstmal wieder. und die logs scheinen auch nicht mehr aufzugehen wie ein germknödel. bin dennoch gespannt was der support noch zu sagen hat.

Hilfe Partition voll

Forum Index > Software > Linux and other OS

Umlüx

COLOSSUS

Umlüx

COLOSSUS

Umlüx

COLOSSUS

Umlüx

COLOSSUS

Umlüx

COLOSSUS

DAO

Umlüx