CrowdStrike is down

[Zaboravan]

Mislim da ćemo ovakve stvari viđati/iskusiti sve češće.

Migracija servisa u oblak, porast zahteva i naravno manjak ljudi. 

Ako se tome doda da i hw proizvođači jure zelenu agendu, prave opremu ne baš proverenom tehnologijom imaćemo savršene oluje™ više nego što bi želeli. 

[Krošek]

13 hours ago, vememah said:

 

 

Tvit se poziva na neki digital trends koji kaze 3.1 i 95, koji se poziva na neku forbes stranicu reklamnog tipa (reklama za neke knjige iz usta autora) koji kaze 95, koji se poziva na dallas morning news koji 2022 citira predsednika sindikata koji kaze da neki njihovi in-house programu *izgledaju* "istorijski", kao da su dizajnirani za Win95.

 

Win 3.1 izmisljen.

[Lucia]

35 minutes ago, Zaboravan said:

Mislim da ćemo ovakve stvari viđati/iskusiti sve češće.

Migracija servisa u oblak, porast zahteva i naravno manjak ljudi. 

Ako se tome doda da i hw proizvođači jure zelenu agendu, prave opremu ne baš proverenom tehnologijom imaćemo savršene oluje™ više nego što bi želeli. 

Ovakvi outages bi se i do sada desavali na dnevnoj bazi (kad bi normalno moglo tako da u release upada stagod bez validation i u cugu se deploy-uje svim korisnicima). Postoji gomila safety procedura/sistema/alata u mojoj firmi kojim se ovako nesto sprecava na svim mogucim nivoima. I takve se safety mere vremenom samo uvecavaju zasnovano na anticipaciji i RCA prethodnih situacija.

Ocekuje da ovaj outage podstakne kupce da provere da li proizvodjac njima kriticnog softvera zadovoljava kriterijeme safe code validation & deployment (pricali smo o sertifikatima), da li ima customer maintenance windows i sl. Iz ovog mogu da izadju mnoge korisne lessons learned i nove prakse, a ne suprotno da ode u tu neku doomed-is-upon-us stranu.

Vrlo me zanima odogvor koji je obecao CrowdStrike CEO na To Our Customers and Partners | CrowdStrike:
 

Quote

As we resolve this incident, you have my commitment to provide full transparency on how this occurred and steps we’re taking to prevent anything like this from happening again.

 

 

 

Edited July 21 by Lucia

[braca]

1 hour ago, Venom said:

 

U IT-u dominira pop kultura. Šta je "standard" zavisi od toga kako vetar duva i šta je popularno u tom trenutku. Ljudi menjaju firme, odlaze u druge i tegle sa sobom tehnologiju koju su koristili ranije. 

 

Uloga avio kompanije nije da održava kompjuterske sisteme nego da transportuje ljude i za to prodaje karte. Ova je mogla da prodaje karte dok konkurencija nije i razlog tome je što nisu imali određeni software koji nisu mogli da koriste jer koriste nešto praistorijsko. Većina ljudi u IT-u bi trebalo da se zamisli nad činjenicom da se to ispostavilo kao feature a ne propust.

Au brate… 

 

Ne znam odakle da počnem. Da, uloga kompanije je da transportuje ljude. Da bi tu ulogu mogla da ispuni u današnjem svetu mora da bude povezana sa svim i svačim, da bi mogla da rezerviše sedišta za te ljude. Bez toga, za svako sedište bi se radilo kao nekad, telefonom “alo, treba mi dva sedišta za taj i taj datum”, “da samo trenutak da to zapišem olovkom u svesku rezervacija…”  Karta bi koštala mnogo više, kao što je i koštala pre digitalizacije.

 

E sad, povezani sistemi mogu biti ranjivi i tu je neprestana borba, svaki dan se otkrije rupa tu i tamo i to treba zakrpiti, i.e. instalirati novi verziju itd.

 

Tvrditi da je korišćenje starog softvera prednost je glupost nevidjena. To što se u ovom konkretnom slučaju desilo je anegdota a ne “feature”.  Sistem razmišljanja “ne diraj ga dok radi” je svetsku ekonomiju koštao par hiljada milijardi…

 

Edited July 21 by braca

[Shan Jan]

1 hour ago, Lucia said:

sa tog MS bloga:

We currently estimate that CrowdStrike’s update affected 8.5 million Windows devices, or less than one percent of all Windows machines. While the percentage was small, the broad economic and societal impacts reflect the use of CrowdStrike by enterprises that run many critical services. 

I na pola Windows masina koje su imale Crowdstrike  

 

BTW, COBOL, FORTRAN, zastareli Windows OS, prastare aplikacije... sve to stoji u gomili firmi jer su izracunali da im je veci rizik i previse kosta da se menja. Uzmi u obzir i da su moderniji jezici, aplikacije i OS sve kompleksniji (ergo, sve veca sansa da se nesto sjebe) plus da je vec par decenija bukvalno kultura pravljenja aplikacija da se izbace sto brze. Npr. neke moje drugare su grdili sto previse lickaju kod i previse testiraju - za ozbiljne globalne firme. Ako radi u 99% slucajeva sa 50% performansi, teraj. Taman da im lepo naplatimo support, performance enhancing i bug fixing, da ne pomisle da mogu bez nas. Uostalom slicne zahteve za cutting corners dobijamo i mi iz infrastrukture.

 

A onda sa strane kompanija-kupaca, kad i vide da im prastari sistem trokira pod load-om, opet ce radije da racunaju na to da ce povremeno da bude sranje pre nego da investiraju nenormalne pare i godine razvoja da ga zamene. Osnovni problem je sto to rade i kompanije koje se bave aviosaobracajem, bolnicama, finansijskim sistemima i ostalim kriticnim funkcijama, gde se greske mere ljudskim zivotima.

 

@Lucia i @bags vi ste skroz u pravu, dobra sertifikacija je way to go. Ako vec nece drzava da drzi kompanije accountable, morace jedna drugu. Ovo sto je obecao CEO Crowdstrike-a da ce biti transparentni i da ce srediti problem u procedurama - dzaba. Samo ce sledeci put da voda popusti na drugom mestu. Kultura koja je dozvolila da se takav propust desi treba da se menja, dakle rad cele kompanije a to CEO kompanije na berzi nikad nece uraditi sam od sebe. Tako da mora da postoji spoljni pritisak, npr. u vidu sertifikacije i auditor-a, kao sto ste rekli.

 

P.S: Evo kako to izgleda u praksi:

 

[Sammael]

Do pre neku godinu, bez obzira na "spoljni" tech stack, sve rezervacije letova su kao standard koristile nešto toliko drevno da verujem da su ljudi koji to održavaju plaćeni suvim zlatom. 

 

Od tada nisam proveravao ali nešto sumnjam da je napredovalo s obzirom na krizu avio prevoza tokom i nakom korone.

[Zaboravan]

12 minutes ago, Lucia said:

Ovakvi outages bi se i do sada desavali na dnevnoj bazi (kad bi normalno moglo tako da u release upada stagod bez validation i u cugu se deploy-uje svim korisnicima). Postoji gomila safety procedura/sistema/alata u mojoj firmi kojim se ovako nesto sprecava na svim mogucim nivoima. I takve se safety mere vremenom samo uvecavaju zasnovano na anticipaciji i RCA prethodnih situacija.

Ocekuje da ovaj outage podstakne kupce da provere da li proizvodjac njima kriticnog softvera zadovoljava kriterijeme safe code validation & deployment (pricali smo o sertifikatima), da li ima customer maintenance windows i sl. Iz ovog mogu da izadju mnoge korisne lessons learned i nove prakse, a ne suprotno da ode u tu neku doomed-is-upon-us stranu.

Vrlo me zanima odogvor koji je obecao CrowdStrike CEO na To Our Customers and Partners | CrowdStrike:
 

 

 

 

Nisam siguran, sada kada nas ne bi mrzelo pa da se vratimo unazad godinu dana pa da izbrojimo broj patcheva koje je recimo MS izbacio i koji su pravili problem većem ili manjem broju korisnika, da ne govorim o tome koliko je bilo incidenata patch-drugi vendor/3rd party.

Da, imamo odlične alate, imamo standarde, procedure, DR site etc ali mislim da idemo ritmom koji se ne može ispratiti na ovaj način.

Pritisak biznisa je takav da sve mora odmah i logika to ti je samo par klikova™. 

Naravno ima i solidan broj kompanija gde se radi kako treba pa makar gorelo™ 

[Engineer]

Move slow and fix things

Edited July 21 by Engineer

[Venom]

1 hour ago, braca said:

Au brate… 

 

Ne znam odakle da počnem. Da, uloga kompanije je da transportuje ljude. Da bi tu ulogu mogla da ispuni u današnjem svetu mora da bude povezana sa svim i svačim, da bi mogla da rezerviše sedišta za te ljude. Bez toga, za svako sedište bi se radilo kao nekad, telefonom “alo, treba mi dva sedišta za taj i taj datum”, “da samo trenutak da to zapišem olovkom u svesku rezervacija…”  Karta bi koštala mnogo više, kao što je i koštala pre digitalizacije.

 

E sad, povezani sistemi mogu biti ranjivi i tu je neprestana borba, svaki dan se otkrije rupa tu i tamo i to treba zakrpiti, i.e. instalirati novi verziju itd.

 

Tvrditi da je korišćenje starog softvera prednost je glupost nevidjena. To što se u ovom konkretnom slučaju desilo je anegdota a ne “feature”.  Sistem razmišljanja “ne diraj ga dok radi” je svetsku ekonomiju koštao par hiljada milijardi…

 

 

Southwest je na taj dan imao 4390 planiranih letova, prevezli su verovatno oko 50k ljudi. Očigledno nemaju problem da budu povezani sa svim i svačim. Da li imaš neku konkretnu zamerku na njihove sisteme i šta mogu?

 

Nigde nisam rekao da je nešto prednost, rekao sam da se (ovde) ispostavilo kao feature. Edit: što je nešto o čemu ljudi u IT-u ne razmišljaju dovoljno.

 

Ovo za hiljade milijardi je isto zanimljivo. Kojim naučnim metodom si došao do tog iznosa?

 

Moje iskustvo je drugačije. Skoro sam imao dobar primer u razgovoru s bivšim kolegom. Firmu u kojoj je dugo su preuzeli stručnjaci koji već godinama rade na novom sistemu koji ne može da uradi ni deo onoga što je mogao da uradi stari sistem. Stari sistem je uradio rođak od vlasnika koji je hteo da nauči nešto novo. Taj sistem je firmi doneo desetine, verovatnije stotine miliona prihoda u prethodnih 15 godina. 

 

Većini ljudi u IT-u je to sve nerazumljivi koncept. Zato uglavnom rešavaju probleme koji suštini i ne postoje, jer su to videli kod nekog drugog. To su za mene odlike pop kulture a ne prave struke.

Edited July 21 by Venom

[Lucia]

@Shan Jan sve se slazem, jasna mi je price-performance logika, i borba za trziste.

Jedino za ovo boldovano imam drugaciji utisak: 

Quote

Uzmi u obzir i da su moderniji jezici, aplikacije i OS sve kompleksniji (ergo, sve veca sansa da se nesto sjebe) plus da je vec par decenija bukvalno kultura pravljenja aplikacija da se izbace sto brze.

Iz mog iskustva, stalni trend je bio u suprotnom smeru: vremenom je bilo sve lakse razvijati softver (pricam samo za MS OS/dev.environment, par kasnijih izleta u druge svetove delovalo je kao povratak u praistoriju). Najvise sam mogla nesto da zeznem u davno doba asemblerskog koda ili C/C++ pointera, uz rudimentarne debugging tools. Vremenom se broj safety nets i pomagaca samo povecavao (kad se setim koliko mi je znacio prvi VS Intellisense). Sve to je omogucilo spregu brzeg i lakseg razvoja softvera i omasovljenja developera, porast potreba i potraznje. Mozda zato deluje da je sad veca sansa zbog sveprisutnosti, koja bi bila nemoguca na nekadasnjim jezicima i alatima.

[Lezilebovich]

mozda se desi da ekonomija malo poradi i u nasu korist. Ako cloud strike bude snosio izvanredno veliku $$$ stetu, to ce mozda uticati na promenu obrasca i vrati fokus na sigurnost umesto na brzinu

[garcia]

3 hours ago, Venom said:

Zato uglavnom rešavaju probleme koji suštini i ne postoje, jer su to videli kod nekog drugog. To su za mene odlike pop kulture a ne prave struke.

 

periodično dobijam zahteve da novotarije i trenutne buzz-pojmove ubacim na običan marketinški sajt firme iako za tim nema nikakve potrebe.

 

Videli blockchain, 'oće blockchain.

videli AI, 'oće AI.

majmun 'oće, što majmun vidi 

 

moj problem je što nisam uspeo to da kapitalizujem nekako.

[Shan Jan]

1 hour ago, garcia said:

 

periodično dobijam zahteve da novotarije i trenutne buzz-pojmove ubacim na običan marketinški sajt firme iako za tim nema nikakve potrebe.

 

Videli blockchain, 'oće blockchain.

videli AI, 'oće AI.

majmun 'oće, što majmun vidi 

 

moj problem je što nisam uspeo to da kapitalizujem nekako.

Sa tim da bih rekao da ti zahtevi dolaze od neznalica koji su uglavnom par nivoa iznad. Vi se mozda ne secate hyperconverged hajpa. Sranje koje je bilo manje fleksibilno i teze implementirati nego klasicnu server/network/storage infrastrukturu plus je kostalo 3-4 puta vise. I opet se prodavalo kao ludo. Nutanix i dalje jase na toj idiotskoj prici.

 

@Lucia ja doduse gledam sa strane sistem administratora. Aplikacije/OS/DB... you name it, sve je postalo vece i kompleksnije, sa vise interakcije sa drugim proizvodima, sa vise parametara, vise konfiguracionih fajlova. To povecava sansu da nesto u celom tom lancu ne funkcionise kako treba. Moguce je da je samo programiranje olaksano, daaaavno sam ucio na faksu  

 

@Venom ako dobro shvatam, zelis da kazes da ITevci cesto izgube fokus na potrebe firme kad se pravi sistem i isteruju neke svoje zelje i standarde koji zapravo ne pomazu?

[garcia]

13 minutes ago, Shan Jan said:

Sa tim da bih rekao da ti zahtevi dolaze od neznalica koji su uglavnom par nivoa iznad.

 

tako je, s tim što ume da dođe i sa samog vrha (COO, CEO).

[brusli]

Ali najjaci hajp je bio pre par godina sa mikroservisima, pa su gurali i sto treba i sto ne treba, spalivsi ogromne pare, bez rezultata.

Menadzmentu prodali pricu, evo klijent ima kockice i onda slaze samo sta mu treba kao lego, moram priznati da super zvuci.

A u pozadini vrebaju distriburine transakcije, to ne bi preporucio ni neprijatelju za iole bitne stvari.

 

Edited July 21 by brusli