CrowdStrike-Update legt weltweit Windows-Systeme lahm

Smut

takeover &amp; ether

Registered: Feb 2003
Location: VIE
Posts: 16827

19.07.2024 - 13:28

Zitat aus einem Post von COLOSSUS
Nein, wird es imo nicht. Das ist wohl der mit Abstand folgenschwerste Ausfall von IT-Infrastruktur, den wir als Zivilisation bisher erlebt haben. Leider sind relativierende und kalmierende Aussagen wie deine hier genau das, was mit dazu fuehren wird, dass er (vielleicht schon bald?) in Zukunft durchaus uebertroffen werden wird.

wenn du wüsstest welche Diskussionen ich die letzten Jahre rund um Crowdstrike hatte rund um ihre Software Architektur

Relativier hier nicht sondern stelle einfach den Vergleich mit Medizin und Nebenwirkungen an. Die Haupt Bedrohung war ransomware - dafür ist es eine gute Medizin/schutz.
würd ich alles andere machen bevor ich EDR einsetze? JA.
Rede ich in einem Forum vorschnell von snakeoil weils mir in mein Vorurteilgeprägtes Bild passt, nein.

mr.nice.

differential image maker

Registered: Jun 2004
Location: Wien
Posts: 6449

19.07.2024 - 13:30

Problematisch ist halt, dass die Rechner die in der BSOD-Schleife gefangen sind zumindest einen physischen Eingriff erfordern, weil Windows nicht von alleine in den abgesicherten Modus mit Netzwerkunterstützung booten kann wenn Bitlocker aktiviert ist. Das wird viele Vorort-Mannstunden brauchen diverse Rechner wieder zum Laufen zu bringen.

Bearbeitet von mr.nice. am 19.07.2024, 13:35

Smut

takeover &amp; ether

Registered: Feb 2003
Location: VIE
Posts: 16827

19.07.2024 - 13:38

Ja. Ist grausam ohne anderen Remote Möglichkeiten.
Genau das was dir bei ransomware blüht.

DAO

Si vis pacem, para bellum

Registered: Mar 2001
Location: Austria
Posts: 4962

19.07.2024 - 13:56

die werden wohl virtuallisieren und wenn nicht ilo/idrac und co lizensiert haben für so teure systeme -> wenn nicht -> sskm

mr.nice.

differential image maker

Registered: Jun 2004
Location: Wien
Posts: 6449

19.07.2024 - 13:56

Ich denke nur wenige Firmen haben für Clients ein OOB-Management wie Intel ME oder AMD DASH im Einsatz,
die die vom fehlerhaften CrowdStrike Update betroffen sind und soetwas haben können sich heute glücklich schätzen.

Bearbeitet von mr.nice. am 19.07.2024, 14:01

DAO

Si vis pacem, para bellum

Registered: Mar 2001
Location: Austria
Posts: 4962

19.07.2024 - 13:58

geld für crowstrike aber für kein hw mgt ausgeben ist halt wieder ein fall für sskm

aber du hast nat. recht > wie oft braucht man schon einen sicherheitsgurt also wird das eingespart

Smut

takeover &amp; ether

Registered: Feb 2003
Location: VIE
Posts: 16827

19.07.2024 - 14:06

Zitat aus einem Post von DAO
die werden wohl virtuallisieren und wenn nicht ilo/idrac und co lizensiert haben für so teure systeme -> wenn nicht -> sskm

Geht um die ganzen Clients. Da gehen gerade viele Bilder von Microsoft recovery mode herum.
Server gehen da vergleichsweise easy. True

d0lby

reborn

Registered: Jul 2004
Location:
Posts: 6123

19.07.2024 - 14:19

Die wichtigste Frage

Aktien kaufen?

RoNin

Here to stay

Registered: Sep 2003
Location: CH, Au SG
Posts: 1099

19.07.2024 - 14:46

Zitat aus einem Post von d0lby
Die wichtigste Frage

Aktien kaufen?

Auch meine Frage .. aber Objektiv gesehen lieber warten ob die Bude nicht Dank Massenklagen zumachen muss...

Interessant wäre ob's nicht ne direkte Konkurrenz gibt zu der die Kunden fix abspringen können ? Geht das überhaupt?

semteX

Risen from the banned

Registered: Oct 2002
Location: Pre
Posts: 14569

19.07.2024 - 14:47

Zitat aus einem Post von Smut
Ja. Ist grausam ohne anderen Remote Möglichkeiten.
Genau das was dir bei ransomware blüht.

als ob das alternativlos ist. ma haut halt in guter alter manier ein zusätzliches pflaster auf das drunter liegende problem. wenn ein kompromitiertes end-device deine firma wrecked dann hast ganz andere schmerzen.

bsox

Schwarze Socke

Registered: Jun 2009
Location: Dschibuti
Posts: 1065

19.07.2024 - 15:07

Bei meinem Account haben wir das gottseidank nicht im Einsatz, aber bei etlichen anderen großen Kunden von uns hat es heute auch ordentlich rumort und die Kollegen waren dezent im Stress.

Mir fallt echt nix ein, was an Windows Kisten gut sein sollte. So ein bissl Schlangenöl müssen wir laut Vertrag leider auch einsetzen, und das macht wie zu erwarten immer und immer wieder Ärger. Frisst CPU Ressourcen, verlängert die eh schon quälenden Windows Updates um ein Vielfaches, frisst gerne mal diverse executables wie sshd.exe für die man dann wieder Ausnahmen definieren muss, usw. usw. Looking at you, Mr. Trellix.

d0lby

reborn

Registered: Jul 2004
Location:
Posts: 6123

19.07.2024 - 15:43

Zitat aus einem Post von Maestro
Ich hab nie verstanden warum Updates auf Servern "einfach so" passieren.

Bei unserer Software wird jede neue Version von den Kunden in Ihrer Entwicklungsumgebung getestet bevor es dann auf die Live-Systeme geht. Sonst stehen auch dort die Anlagen.
Unsere Windows Updates erfolgen auch geplant und verzögert zum Release.

Ich zweifle, dass das "einfach so" passiert ist. Ich kann mir auch nicht vorstellen, dass das NICHT getestet wurde.
Aber kann natürlich sein.

Wo gearbeitet wird, fallen Späne, hier ist halt der ganze Wald abgebrannt.
Ich kann mich erinnern, wo ich ein Script testen wollte, ob es einfach ohne Fehler durchgeht, habe die Server zwar drinnen gelassen, aber den Befehl mit dem die Server gestoppt werden verändert indem ich einfach am Ende des Befehls "_Mickymouse" geschrieben habe.

Der Befehl wurde ausgeführt, weil mir nicht bewusst war, dass "_Mickymouse" ignoriert wird, wenn davor alles passt....

Ich habe die gesamte Produktion lahmgelegt, zwar nur 10 Minuten, aber da hatte ich das Glück, dass auch das Startscript fehlerlos funktioniert hat. Manuel würd ich das in der Stresssituation nicht machen wollen, da hatte ich eh schon Kacki in der Hose

Und ja, manchmal machen Menschen Fehler und selbst wenn es ein 4 Augenprinzip ist, kanns es passieren. Also derjenige der den roten Knopf gedrückt hat, hat es vermutlich nicht gewollt.... außer er will die Firma killen

Eines ist geblieben: Das war vor (lass mich nachrechnen) 5 oder 6 Jahren und noch immer ist es so, dass ich bei manchen Dingen viel vorsichtiger bin und kurz davor noch mehr konzentriert bin. Ja, das Script wurde ja auch Entwicklung und in FAT getestet. Es reicht manchmal halt ein kleines...

https://youtu.be/XoCof5AtMoI?t=21

Aber ja... man wird es vermutlich nie erfahren, was wirklich passiert war. Nur das was die oberste Etage kommuniziert und das ist dann bestimmt nicht die Wahrheit. Wenn man eine Liste hat und dann das falsche anklickt und der Kollege gibts es frei... und und und.

Edit: Ich glaube mal ans Gute und behaupte, demjenigen war nicht bewusst, was er bewirkt.

Bearbeitet von d0lby am 19.07.2024, 15:50

mr.nice.

differential image maker

Registered: Jun 2004
Location: Wien
Posts: 6449

19.07.2024 - 15:53

Was mir kurz in den Sinn kam, vielleicht war es Kasperskys Rache wegen dem Verbot in den USA?
Aber das ist natürlich ist nicht ganz ernst zu nehmen

Eine Verkettung unglücklicher Umstände erscheint mir viel wahrscheinlicher.

Bearbeitet von mr.nice. am 19.07.2024, 16:22

Kirby

0x19

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 893

19.07.2024 - 17:02

So. Bei uns haben wir jeden PC händisch mit USB-Boot einen neuen Recoverykey gegeben und danach die neuen CS Treiber gelöscht. Derweil alles funktionstüchtig.

E: im Windows\System32\drivers\CrowdStrike Ordner die c-00000291* dateien glöscht

@Roman: Ja wenn die ganze Linie ausfällt schauen wir immer blöd ^^ Ich habs am Raucherhof erfragt und wurde eine Minute später ins Büro geordert

Anbei der Link zum BSI und auch zum Download über die Informationen vom Fehlerhaften Update von Crowdstrike Falcon.

BSI Weltweite IT-Ausfälle

Bearbeitet von Kirby am 19.07.2024, 17:24

TOM

Super Moderator
Oldschool OC.at'ler

Registered: Nov 2000
Location: Vienna
Posts: 7362

19.07.2024 - 17:31

Zitat aus einem Post von d0lby
Aber ja... man wird es vermutlich nie erfahren, was wirklich passiert war.

Geh davon aus, dass es hier zu einem _sehr_ ausführlichen post mortem kommen wird.

@kirby

Mit was für einem USB-Stick kann man jegliche Bitlocker Keys abändern?!

Smut takeover &amp; ether Registered: Feb 2003 Location: VIE Posts: 16827	19.07.2024 - 13:28 Zitat aus einem Post von COLOSSUS Nein, wird es imo nicht. Das ist wohl der mit Abstand folgenschwerste Ausfall von IT-Infrastruktur, den wir als Zivilisation bisher erlebt haben. Leider sind relativierende und kalmierende Aussagen wie deine hier genau das, was mit dazu fuehren wird, dass er (vielleicht schon bald?) in Zukunft durchaus uebertroffen werden wird. wenn du wüsstest welche Diskussionen ich die letzten Jahre rund um Crowdstrike hatte rund um ihre Software Architektur Relativier hier nicht sondern stelle einfach den Vergleich mit Medizin und Nebenwirkungen an. Die Haupt Bedrohung war ransomware - dafür ist es eine gute Medizin/schutz. würd ich alles andere machen bevor ich EDR einsetze? JA. Rede ich in einem Forum vorschnell von snakeoil weils mir in mein Vorurteilgeprägtes Bild passt, nein.
mr.nice. differential image maker Registered: Jun 2004 Location: Wien Posts: 6449	19.07.2024 - 13:30 Problematisch ist halt, dass die Rechner die in der BSOD-Schleife gefangen sind zumindest einen physischen Eingriff erfordern, weil Windows nicht von alleine in den abgesicherten Modus mit Netzwerkunterstützung booten kann wenn Bitlocker aktiviert ist. Das wird viele Vorort-Mannstunden brauchen diverse Rechner wieder zum Laufen zu bringen. Bearbeitet von mr.nice. am 19.07.2024, 13:35
Smut takeover &amp; ether Registered: Feb 2003 Location: VIE Posts: 16827	19.07.2024 - 13:38 Ja. Ist grausam ohne anderen Remote Möglichkeiten. Genau das was dir bei ransomware blüht.
DAO Si vis pacem, para bellum Registered: Mar 2001 Location: Austria Posts: 4962	19.07.2024 - 13:56 die werden wohl virtuallisieren und wenn nicht ilo/idrac und co lizensiert haben für so teure systeme -> wenn nicht -> sskm
mr.nice. differential image maker Registered: Jun 2004 Location: Wien Posts: 6449	19.07.2024 - 13:56 Ich denke nur wenige Firmen haben für Clients ein OOB-Management wie Intel ME oder AMD DASH im Einsatz, die die vom fehlerhaften CrowdStrike Update betroffen sind und soetwas haben können sich heute glücklich schätzen. Bearbeitet von mr.nice. am 19.07.2024, 14:01
DAO Si vis pacem, para bellum Registered: Mar 2001 Location: Austria Posts: 4962	19.07.2024 - 13:58 geld für crowstrike aber für kein hw mgt ausgeben ist halt wieder ein fall für sskm aber du hast nat. recht > wie oft braucht man schon einen sicherheitsgurt also wird das eingespart
Smut takeover &amp; ether Registered: Feb 2003 Location: VIE Posts: 16827	19.07.2024 - 14:06 Zitat aus einem Post von DAO die werden wohl virtuallisieren und wenn nicht ilo/idrac und co lizensiert haben für so teure systeme -> wenn nicht -> sskm Geht um die ganzen Clients. Da gehen gerade viele Bilder von Microsoft recovery mode herum. Server gehen da vergleichsweise easy. True
d0lby reborn Registered: Jul 2004 Location: Posts: 6123	19.07.2024 - 14:19 Die wichtigste Frage Aktien kaufen?
RoNin Here to stay Registered: Sep 2003 Location: CH, Au SG Posts: 1099	19.07.2024 - 14:46 Zitat aus einem Post von d0lby Die wichtigste Frage Aktien kaufen? Auch meine Frage .. aber Objektiv gesehen lieber warten ob die Bude nicht Dank Massenklagen zumachen muss... Interessant wäre ob's nicht ne direkte Konkurrenz gibt zu der die Kunden fix abspringen können ? Geht das überhaupt?
semteX Risen from the banned Registered: Oct 2002 Location: Pre Posts: 14569	19.07.2024 - 14:47 Zitat aus einem Post von Smut Ja. Ist grausam ohne anderen Remote Möglichkeiten. Genau das was dir bei ransomware blüht. als ob das alternativlos ist. ma haut halt in guter alter manier ein zusätzliches pflaster auf das drunter liegende problem. wenn ein kompromitiertes end-device deine firma wrecked dann hast ganz andere schmerzen.
bsox Schwarze Socke Registered: Jun 2009 Location: Dschibuti Posts: 1065	19.07.2024 - 15:07 Bei meinem Account haben wir das gottseidank nicht im Einsatz, aber bei etlichen anderen großen Kunden von uns hat es heute auch ordentlich rumort und die Kollegen waren dezent im Stress. Mir fallt echt nix ein, was an Windows Kisten gut sein sollte. So ein bissl Schlangenöl müssen wir laut Vertrag leider auch einsetzen, und das macht wie zu erwarten immer und immer wieder Ärger. Frisst CPU Ressourcen, verlängert die eh schon quälenden Windows Updates um ein Vielfaches, frisst gerne mal diverse executables wie sshd.exe für die man dann wieder Ausnahmen definieren muss, usw. usw. Looking at you, Mr. Trellix.
d0lby reborn Registered: Jul 2004 Location: Posts: 6123	19.07.2024 - 15:43 Zitat aus einem Post von Maestro Ich hab nie verstanden warum Updates auf Servern "einfach so" passieren. Bei unserer Software wird jede neue Version von den Kunden in Ihrer Entwicklungsumgebung getestet bevor es dann auf die Live-Systeme geht. Sonst stehen auch dort die Anlagen. Unsere Windows Updates erfolgen auch geplant und verzögert zum Release. Ich zweifle, dass das "einfach so" passiert ist. Ich kann mir auch nicht vorstellen, dass das NICHT getestet wurde. Aber kann natürlich sein. Wo gearbeitet wird, fallen Späne, hier ist halt der ganze Wald abgebrannt. Ich kann mich erinnern, wo ich ein Script testen wollte, ob es einfach ohne Fehler durchgeht, habe die Server zwar drinnen gelassen, aber den Befehl mit dem die Server gestoppt werden verändert indem ich einfach am Ende des Befehls "_Mickymouse" geschrieben habe. Der Befehl wurde ausgeführt, weil mir nicht bewusst war, dass "_Mickymouse" ignoriert wird, wenn davor alles passt.... Ich habe die gesamte Produktion lahmgelegt, zwar nur 10 Minuten, aber da hatte ich das Glück, dass auch das Startscript fehlerlos funktioniert hat. Manuel würd ich das in der Stresssituation nicht machen wollen, da hatte ich eh schon Kacki in der Hose Und ja, manchmal machen Menschen Fehler und selbst wenn es ein 4 Augenprinzip ist, kanns es passieren. Also derjenige der den roten Knopf gedrückt hat, hat es vermutlich nicht gewollt.... außer er will die Firma killen Eines ist geblieben: Das war vor (lass mich nachrechnen) 5 oder 6 Jahren und noch immer ist es so, dass ich bei manchen Dingen viel vorsichtiger bin und kurz davor noch mehr konzentriert bin. Ja, das Script wurde ja auch Entwicklung und in FAT getestet. Es reicht manchmal halt ein kleines... https://youtu.be/XoCof5AtMoI?t=21 Aber ja... man wird es vermutlich nie erfahren, was wirklich passiert war. Nur das was die oberste Etage kommuniziert und das ist dann bestimmt nicht die Wahrheit. Wenn man eine Liste hat und dann das falsche anklickt und der Kollege gibts es frei... und und und. Edit: Ich glaube mal ans Gute und behaupte, demjenigen war nicht bewusst, was er bewirkt. Bearbeitet von d0lby am 19.07.2024, 15:50
mr.nice. differential image maker Registered: Jun 2004 Location: Wien Posts: 6449	19.07.2024 - 15:53 Was mir kurz in den Sinn kam, vielleicht war es Kasperskys Rache wegen dem Verbot in den USA? Aber das ist natürlich ist nicht ganz ernst zu nehmen Eine Verkettung unglücklicher Umstände erscheint mir viel wahrscheinlicher. Bearbeitet von mr.nice. am 19.07.2024, 16:22
Kirby 0x19 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 893	19.07.2024 - 17:02 So. Bei uns haben wir jeden PC händisch mit USB-Boot einen neuen Recoverykey gegeben und danach die neuen CS Treiber gelöscht. Derweil alles funktionstüchtig. E: im Windows\System32\drivers\CrowdStrike Ordner die c-00000291* dateien glöscht @Roman: Ja wenn die ganze Linie ausfällt schauen wir immer blöd ^^ Ich habs am Raucherhof erfragt und wurde eine Minute später ins Büro geordert Anbei der Link zum BSI und auch zum Download über die Informationen vom Fehlerhaften Update von Crowdstrike Falcon. BSI Weltweite IT-Ausfälle Bearbeitet von Kirby am 19.07.2024, 17:24
TOM Super Moderator Oldschool OC.at'ler Registered: Nov 2000 Location: Vienna Posts: 7362	19.07.2024 - 17:31 Zitat aus einem Post von d0lby Aber ja... man wird es vermutlich nie erfahren, was wirklich passiert war. Geh davon aus, dass es hier zu einem _sehr_ ausführlichen post mortem kommen wird. @kirby Mit was für einem USB-Stick kann man jegliche Bitlocker Keys abändern?!

CrowdStrike-Update legt weltweit Windows-Systeme lahm

Forum Index > Software > Windows

Smut

mr.nice.

Smut

DAO

mr.nice.

DAO

Smut

d0lby

RoNin

semteX

bsox

d0lby

mr.nice.

Kirby

TOM