CrowdStrike is down

[Shan Jan]

Sobzirom na kolicinu i raznolikos Windows okruzenja koje je uspeo update da srusi - ocigledno testiranje nije uradjeno kako treba. 

[bags]

ocigledno testiranje nije uradjeno kako treba.   

 

 

Kod mene na poslu se odradi canary za aplikaciju koja ima 5 instanci u produkciji ( svaki sa 10 servisa), a plus pre deploymenta ide paralelno jedan dan u pre-production okruzenju.

Pre toga naravno dev,test, staging (gde biznis korisnici testiraju), a imamo samo oko 50% test code coverage i opet nemamo vise od 1 buga u 2 meseca i to uglavnom neka specificna sitnica.

 

Ne moze se porediti naravno field ali ovi indijanci rade deployment na milijardu racunara bez smoke testa.

 

[Shan Jan]

Nagledao sam se vrlo specificni bagova u zivotu. Tipa ako imas Windows 2016 te i te verzije i fali ti taj update a instalirao si SQL te i te verzije sa AlwaysOn a taj i taj bit u registru ti je 1 a ne 0 e onda moze da se desi da ako imas prekid u mrezi izmedju dve masine da se srusi sistem. 

 

Al ovo je u svakoj firmi koja ima Crowdstrike porusilo pola Windows Servera, nevezano za tip OS, update, proizvode za koje se koriste, stanje u infrastrukturi... mislim realno svaka cast, pokrili su sve sto postoji. I to je uspeh uraditi  

 

Za one koji misle da je Linux supersiguran... imate viruse i za Linux a imate i Crowdstrike za Linux Srecom pa nisu sjebali update i za njega u isto vreme. Opet, nama je DNS, DHCP, AD, mail itd... na Windowsu, tako da su nam i Linux serveri bili pogodjeni ni krivi ni duzni.

 

P.S: Iskreno sam iznenadjen da su akcije Crowdstrike-a tako malo pale. Ono sto vidim po netu je da krive za to sto su daleko ispred konkurencije po detekciji malicioznog ponasanja. Crowdstrike zapravo nadgleda ponasanje u OSu i kad vidi nesto sto mu lici na sumnjivo ponasanje blokira to. Imali smo vec instance da nam izblokira neke nase programe ali sa druge strane nismo imali security problema od kad je implementiran (doduse, ovo ne mora da bude direktna korelacija). Koristimo ga u saradnji sa Windows Defenderom, sto je jos jedna korisna stvar, za razliku od klasicnih security resenja, ne kolje se generalno sa legacy AV programima.

[garmonbozia]

1 hour ago, Shan Jan said:

Za one koji misle da je Linux supersiguran... imate viruse i za Linux a imate i Crowdstrike za Linux Srecom pa nisu sjebali update i za njega u isto vreme. Opet, nama je DNS, DHCP, AD, mail itd... na Windowsu, tako da su nam i Linux serveri bili pogodjeni ni krivi ni duzni.

 

Ne što je siguran, već što potpuno drugačije funkcioniše sistem i menjanje sistemskih stvari - Windows arhitektura je očajna i flakey. Naravno, uz opensource dolazi drugi set problema (recimo famozan Jia Tan i xz explot), ali je meni nejasno da, eto, npr u 2024. godini neko koristi Windows za mailserver. Da ne pričamo tek o DNS i DHCP  Nije ovo ništa lično, više mislim na to kako korporacije biraju sisteme i vendore.

 

also

Edited July 20 by garmonbozia

[Shan Jan]

Jbg, nisam linuksas tako da zaista ne mogu da poredim. Ono sto mi se cini je da su mail opcije sa Linuxa na koje sam nailazio siromasnije i losije od Exchange-a. Takodje nisam primetio da postoji nesto sto zaista moze da zameni Active Directory. 

 

Mada mislim da je od samog OS-a mozda jos bitnije kako inzenjeri rade, opreznost i procedure. Nikad nisam imao problem sa AD/DNS/DHCP na Windowsu, prosto imas gomilu servera koji rade u paraleli, procedure da se bilo koje promene rade na jednom delu pre nego krene na drugi posle dovoljno vremena i sl. Jos secam, kad sam bio junosa, da mi je jedan matori inzenjer rekao da svi problemi u ITu nastaju kad neko nesto menja. Opreznost, opreznost, opreznost.

 

Rekao bih da je bar 95% sranja koje se desavaju u ITu posledica losih inzenjera a ne losih proizvoda. Ili ti, najopasniji "proizvod" u ITu je junior DevOps sa full privilegijama.

[Hamlet Strašni]

Сплитовао сам ово. Било би занимљиво да видимо шта има и о овоме као о појединачном догађају и као феномену генерално. Ако има предлога за бољи наслов, неко друго место на форуму или да се споји са неким старијим топиком, дајте...

[garmonbozia]

Svakako, ali sam više mislio na ovako nešto:

 

https://infosec.exchange/@masek/112817758224618946

 

 

[Weenie Pooh]

Kako su tačno povezani CrowdStrike i Microsoft, nisam obavešten?  

 

Čuo sam nekog kako priča da je u pitanju bio "perfect storm" dva nezavisna zajeba, faulty updates u nekakvoj neželjenoj interakciji...

[Zaboravan]

Namerno sam pisao doom temi.

IT servisi su postali od životne važnosti recimo kao el. energija samo komplikovanije, skuplje i sa više spof-ova nego što IT sada može da hendla. 

[vememah]

11 minutes ago, Hamlet Strašni said:

Сплитовао сам ово. Било би занимљиво да видимо шта има и о овоме као о појединачном догађају и као феномену генерално. Ако има предлога за бољи наслов, неко друго место на форуму или да се споји са неким старијим топиком, дајте...

 

Dodaj i postove s teme "Stanje u IT sektoru", i tamo se pisalo o ovome.

[Lucia]

@Shan Jan slazem se ali nije vise ni sve do kvaliteta pojedinaca, softver vise odavno nije samo za inzenjersku elitu. IMO najvise je sad do kvaliteta internih inzenjerskih sistema, alata, privilegija i procedura u firmi, a to dobre inzenjeri/timovi/firme stalno grade kroz RCA svega (ne kazem da firme ne treba da se trude da privuku najbolje inzenjere, naprotiv).

Ludilo je da neko moze najnormalnije ubaciti stagod u release a da nije proslo kompletni test & validation pipeline sa svim ostalim upgrade kodom - ili cak da takvog pipeline ni nema.

Sta imaju u tom CrowdStrike kad je tako nesto uopste bilo izvodljivo!? Njima treba da ih dobro proceslja neka eksterna ekipa. Ako vec ne postoji, eto prilika da se pojave nezavisni sertifikatori svih tih internih procedura code validacije i deployment - ako ih vec ima, ovi su im napravili najbolju reklamu zasto su potrebni. Bez toga, ako se tvoja i @bags firma odluce da predju na neku konkurentsku cybersec, kako cete znati da i tu nije sve prepusteno pameti pojedinca (sto by default vodi u javasluk/nesposobnost)? 

Edited July 20 by Lucia

[bags]

2 hours ago, garmonbozia said:

Windows arhitektura je očajna i flakey.

 

Ako krenemo od donjeg layera prema gore NT kernel je puno napredniji od Linux kernela. Sad treba svaku komponentu analizirati ali nikad se ne bi usudio reci da je Windows arhitektura ocajna. Vise je ovo sto @Shan Jan kaze. Mozda Linux server voze internet ali windows vozi biznis.

 

95% Fortune500 koristi jednu od ove tri tehnologije Active Directory, Exchange ili M365. Najtvrdokorniji korisnici Open Source  -univerziteti su mahom presli na M365 za email. Open source jednostavno nema kvalitet za milion slucajeva.

 

Ozbiljan security hardening servera je sigurno laksi na Linuxu ali daleko da je nemoguc na Windowsu.

 

 

[Weenie Pooh]

12 minutes ago, Lucia said:

Sta imaju u tom CrowdStrike kad je tako nesto uopste bilo izvodljivo!? Njima treba da ih dobro proceslja neka eksterna ekipa.

 

LOL, CrowdStrike da pročešljavaju eksterni istražitelji, ništa lakše  

 

U pitanju je firma koja se proslavila 2014-16 mahom sumnjivim tvrdnjama da su ustanovili ove ili one aktivnosti kineskih ili ruskih hakera. Tokom Russiagate afere traženo je da FBI ispita njihove nalaze ali je to bilo glatko odbijeno - DNC je unajmio CrowdStrike i za njih su zaključci do kojih je CrowdStrike došao jedini validni because reasons. Kasnije u istrazi je bilo pojašnjeno da nalazi nisu bili nikakvi faktički nalazi već educated guesses.

 

[bags]

23 minutes ago, Lucia said:

Ako vec ne postoji, eto prilika da se pojave nezavisni sertifikatori svih tih internih procedura code validacije i deployment - ako ih vec ima, ovi su im napravili najbolju reklamu zasto su potrebni. Bez toga, ako se tvoja i @bags firma odluce da predju na neku konkurentsku cybersec, kako cete znati da i tu nije sve prepusteno pameti pojedinca (sto by default vodi u javasluk/nesposobnost)? 

 

Sve to vec postoji. Ja sam sad pre koju nedelju imao ljude iz EY koji su odradili detaljan security audit. U te dve nedelje bukvalno sve tvoje navedene tacke i jos ddoatnih sto sitnica ispreturaju i dobijes fantastican findings report. Mi smo tu dobili 3 izvestaja. Dva potrebna za odredjene certifikate i treci kao nice to have. Meni je bilo iznenadjenje sta je sve na toj listia ne na prve dve.

 

E tu dolazi do problema. Neke firme jednostavno imaju iz raznih razloga visok prag tolerancije dok neke na drugoj strani neke nizak. Izracunati taj rizik je daleko od trivijalnog nego vecina gleda da ispuni samo potrebni minimum propisan zakonom.

 

Jos jedna cinjenica je kad bi se napravio stvarno fantastican security proces za sve, produktivnost bi bila barem 80% dole. Ionako veliki IT troskovi bi eksplodirali. Ja sam radio 5 god u takvom okruzenju i frustracija je neverovatna.

 

 

[Lucia]

msm da me nisi razumeo @Weenie Pooh - pricam o code validation & deployment koji je izazvao ovaj WW outage, ne o tim njihovim analizama/radovima/tvrdnjama kojima govoris