CrowdStrike is down

[bags]

@Weenie Pooh

Mislim da ce ovaj put ipak morati biti eksterni audit. Kakav takav...

[Lucia]

11 minutes ago, bags said:

Jos jedna cinjenica je kad bi se napravio stvarno fantastican security proces za sve, produktivnost bi bila barem 80% dole. Ionako veliki IT troskovi bi eksplodirali. Ja sam radio 5 god u takvom okruzenju i frustracija je neverovatna.

 

 

Jasno da balans mora da postoji.
Zanima me da li cete ako se tvoj firma sad odluci da umesto Crowdstrike koristi neciji drugi, da li cete gledati ima li ta druga firma i te sertifikate? 

Edited July 20 by Lucia

[bags]

Kod nas ce to CEO odluciti na golf terenu a mi cemo samo napisati report koji to potvrdjuje.

 

Salim se naravno...

 

Ima jako puno faktora koji odlucuju a sertifikati i akreditacije su sigurno medju njima ali nisu presudne.

 

PS.

Samo da pojasnim da na trenutnom poslu nemamo Crowdstrike (ali imamo konkurentski proizvod koji je verovatno gori). 

[Shan Jan]

2 hours ago, Weenie Pooh said:

Kako su tačno povezani CrowdStrike i Microsoft, nisam obavešten?  

 

Čuo sam nekog kako priča da je u pitanju bio "perfect storm" dva nezavisna zajeba, faulty updates u nekakvoj neželjenoj interakciji...

Ja ne vidim bas ovde sta je mogao Windows da uradi. Third-party software je napravio update koji rusi OS. Ako ja odlucim da pritisnem format C i sjebem svoju OS, sta je tu tacno Windows kriv?

 

2 hours ago, Zaboravan said:

Namerno sam pisao doom temi.

IT servisi su postali od životne važnosti recimo kao el. energija samo komplikovanije, skuplje i sa više spof-ova nego što IT sada može da hendla. 

Mislim da je ovo deo globalnog privrednog trenda - ustedeti na svakom koraku, cak i ako to znaci manje ljudi, manje obuceni ljudi, losija oprema, prebrze promene, nedostatak redundansi, evo i testiranja... 

 

2 hours ago, Lucia said:

@Shan Jan slazem se ali nije vise ni sve do kvaliteta pojedinaca, softver vise odavno nije samo za inzenjersku elitu. IMO najvise je sad do kvaliteta internih inzenjerskih sistema, alata, privilegija i procedura u firmi, a to dobre inzenjeri/timovi/firme stalno grade kroz RCA svega (ne kazem da firme ne treba da se trude da privuku najbolje inzenjere, naprotiv).

Ludilo je da neko moze najnormalnije ubaciti stagod u release a da nije proslo kompletni test & validation pipeline sa svim ostalim upgrade kodom - ili cak da takvog pipeline ni nema.

Sta imaju u tom CrowdStrike kad je tako nesto uopste bilo izvodljivo!? Njima treba da ih dobro proceslja neka eksterna ekipa. Ako vec ne postoji, eto prilika da se pojave nezavisni sertifikatori svih tih internih procedura code validacije i deployment - ako ih vec ima, ovi su im napravili najbolju reklamu zasto su potrebni. Bez toga, ako se tvoja i @bags firma odluce da predju na neku konkurentsku cybersec, kako cete znati da i tu nije sve prepusteno pameti pojedinca (sto by default vodi u javasluk/nesposobnost)? 

Da, ti si bolje to rekla. Ne treba od pojedinca da zavisi vec cela kultura rada i sistem moraju biti kako treba. Samo sto toga vise nema nigde. I tu je sustina problema, mozes se okrenuti drugoj kompaniji za njihov proizvod ali oni verovatno rade na slican nacin.

 

2 hours ago, bags said:

Sve to vec postoji. Ja sam sad pre koju nedelju imao ljude iz EY koji su odradili detaljan security audit. U te dve nedelje bukvalno sve tvoje navedene tacke i jos ddoatnih sto sitnica ispreturaju i dobijes fantastican findings report. Mi smo tu dobili 3 izvestaja. Dva potrebna za odredjene certifikate i treci kao nice to have. Meni je bilo iznenadjenje sta je sve na toj listia ne na prve dve.

 

E tu dolazi do problema. Neke firme jednostavno imaju iz raznih razloga visok prag tolerancije dok neke na drugoj strani neke nizak. Izracunati taj rizik je daleko od trivijalnog nego vecina gleda da ispuni samo potrebni minimum propisan zakonom.

 

Jos jedna cinjenica je kad bi se napravio stvarno fantastican security proces za sve, produktivnost bi bila barem 80% dole. Ionako veliki IT troskovi bi eksplodirali. Ja sam radio 5 god u takvom okruzenju i frustracija je neverovatna.

Te ozbiljne sertifikacije bi mogle biti neko resenje. Generalno to firme slabo traze jedna od druge u ovom trenutku. I slazem se da sto jaci security to je teze raditi tako da mora da se nadje pravi balans.

  

1 hour ago, bags said:

Kod nas ce to CEO odluciti na golf terenu a mi cemo samo napisati report koji to potvrdjuje.

 

Salim se naravno...

 

Ima jako puno faktora koji odlucuju a sertifikati i akreditacije su sigurno medju njima ali nisu presudne.

 

PS.

Samo da pojasnim da na trenutnom poslu nemamo Crowdstrike (ali imamo konkurentski proizvod koji je verovatno gori). 

Ovo. Sa tim da se ja ne salim. Imali smo sitaciju gde smo proveli dva meseca analizirajuci u detalje dva suprostavljena proizvoda i izvestaj je bio nedvosmislen - prvi je sasvim ok, drugi ne sme nikako zbog celog niza tacaka. I onda stigne samo vest da je CEO odlucio da se implementira drugi, za svih 25 datacentra po svetu, ne samo nas. Ja ne razumem kako ovi gore ne shvataju da je IT infrastruktura core celog biznisa, da ako non stop radis subpar, da ce se u jednom trenuktu sve srusiti. Ili znaju ali ih boli tuki.

[bags]

Evo navodno nekog interno:

 

Quote

 

CrowdStrike in this context is a NT kernel loadable module (a .sys file) which does syscall level interception and logs then to a separate process on the machine. It can also STOP syscalls from working if they are trying to connect out to other nodes and accessing files they shouldn't be (using some drunk ass heuristics).

What happened here was they pushed a new kernel driver out to every client without authorization to fix an issue with slowness and latency that was in the previous Falcon sensor product. They have a staging system which is supposed to give clients control over this but they pissed over everyone's staging and rules and just pushed this to production.

 

 

Quote

There is no shared responsibility. CrowdStrike pushed a broken driver out, then triggered the breakage, overriding customer requirement and configuration for staging. It is a faulty product with no viable security controls or testing.

 

Quote

Windows does have that (kernel rollback on bad driver) and does do that. Crowdstrike does stuff at UEFI level to install itself again.

 

[vememah]

 

[Lucia]

29 minutes ago, vememah said:

 

kakva je ovo besmislica tipa "videla zaba da se konji potkivaju..." 
ovaj CrowdStrike Falcon ni ne podrzava Windows 3.1 koji je obican GUI nad DOS-om (a tek sto nema ni driver model, WDM je poceo od Windows NT)

ne bi bili impacted ovim ni da imaju najnoviji Windows ako nemaju ovaj CrowdStrike proizvod - to je ono sto im saving butt (mada za neverovati je ako je zaista tacno da kompanija jos koristi Windows 3.1)
glupavo hvalisanje ali ne znaci da marketinski ne pogadja neku publiku

 

Edited July 20 by Lucia

[Venom]

Ne razumem šta je glupavo. Da su na nekom novijem sistemu garant bi imali i Crowdstrike jer je to standard™. Pokojni Joe Armstrong je imao neki keynote gde je rekao da IT treba da dobije "congressional medal of honor" za količinu posla koji generiše. 

[bags]

Verovatno su koristili kao embedded resenje na aerodromu tj. racunarima koji su deo nekog drugog uredjajima. Tu cesto nema upgrade patha...

 

DB ima ogroman broj vozova sa Win 3.11.

 

Wiener Linien imaju Windows 95 na dosta stanica i metroa.

 

2015. najveca mreza bankomata u Austriji je bila nekih 50% na Windows NT 3.51. Bio je plan da se do 2025 izbaci iz upotrebe.

 

 

 

 

 

 

[Zaboravan]

https://www.theverge.com/2020/8/11/21363122/boeing-747s-floppy-disc-updates-critical-software

 

Imam u firmi it-jevce koji ostanu zbunjeni kada im kažem da narežu cd.

 

[Shan Jan]

Do skoro u USA ICBM silosima

 

 

[Lucia]

11 hours ago, Venom said:

Ne razumem šta je glupavo. Da su na nekom novijem sistemu garant bi imali i Crowdstrike jer je to standard™. Pokojni Joe Armstrong je imao neki keynote gde je rekao da IT treba da dobije "congressional medal of honor" za količinu posla koji generiše. 

Sta bi imali na novijem sistemu bi opet bilo do njih, ima citav niz slicnih cybersecurity kompanija (sta ti sto znaci "CrowdStrike je standard™" !?).
Ne bi bilo glupavo da su imali Crowdstrike Falcon nad tim Windows 3.1 koji ni nema drajvere pa ih to spasilo.

Ali ovo im je kao kad napisu gluten-free na nekom mlecnom proizvodu koji by default ne moze da ima gluten.

 

@bags mogu to sasvim da razumem na masini koja sluzi 1 okamenjenoj application, izolovanoj od sveta - to sto kazes "nema upgrade path". Ali ocekujem da nije to sve sto avio kompanija ima.

 

@Shan Jan cak sam i ja videla 8-inch floppy samo 1x u zivotu, kad smo u prvoj firmi nesto cistili kanc pa izronila ispod stola  (a ja sam bas metuzalem - imala sam prvi program na faxu na busenim karticama). Nezgodne bile te savitljive 5.25 - traze neznu ruku (kad su se pojavile tvrde 3.5-inch bilo je olaksanje). Srecom je USA Army u sigurnim rukama 
 

 

[Venom]

16 minutes ago, Lucia said:

Sta bi imali na novijem sistemu bi opet bilo do njih, ima citav niz slicnih cybersecurity kompanija (sta ti sto znaci "CrowdStrike je standard™" !?).
Ne bi bilo glupavo da su imali Crowdstrike Falcon nad tim Windows 3.1 koji ni nema drajvere pa ih to spasilo.

Ali ovo im je kao kad napisu gluten-free na nekom mlecnom proizvodu koji by default ne moze da ima gluten.

 

@bags mogu to sasvim da razumem na masini koja sluzi 1 okamenjenoj application, izolovanoj od sveta - to sto kazes "nema upgrade path". Ali ocekujem da nije to sve sto avio kompanija ima.

 

@Shan Jan cak sam i ja videla 8-inch floppy samo 1x u zivotu, kad smo u prvoj firmi nesto cistili kanc pa izronila ispod stola  (a ja sam bas metuzalem - imala sam prvi program na faxu na busenim karticama). Nezgodne bile te savitljive 5.25 - traze neznu ruku (kad su se pojavile tvrde 3.5-inch bilo je olaksanje). Srecom je USA Army u sigurnim rukama 
 

 

 

U IT-u dominira pop kultura. Šta je "standard" zavisi od toga kako vetar duva i šta je popularno u tom trenutku. Ljudi menjaju firme, odlaze u druge i tegle sa sobom tehnologiju koju su koristili ranije. 

 

Uloga avio kompanije nije da održava kompjuterske sisteme nego da transportuje ljude i za to prodaje karte. Ova je mogla da prodaje karte dok konkurencija nije i razlog tome je što nisu imali određeni software koji nisu mogli da koriste jer koriste nešto praistorijsko. Većina ljudi u IT-u bi trebalo da se zamisli nad činjenicom da se to ispostavilo kao feature a ne propust.

[vememah]

 

Quote

We currently estimate that CrowdStrike’s update affected 8.5 million Windows devices, or less than one percent of all Windows machines. While the percentage was small, the broad economic and societal impacts reflect the use of CrowdStrike by enterprises that run many critical services. 

https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

 

 

Edited July 21 by vememah

[Lucia]

sa tog MS bloga:

We currently estimate that CrowdStrike’s update affected 8.5 million Windows devices, or less than one percent of all Windows machines. While the percentage was small, the broad economic and societal impacts reflect the use of CrowdStrike by enterprises that run many critical services.