Studenten som kraschade företagets infrastruktur
I tisdags höll Karén Har-Yan på DevOps Malmö föreläsning om en student som råkat ta ner ett helt företag. Föreläsningen ägde rum på Foo Café på Stora Varvsgatan 6a i Malmö.
Cirka tio utvecklare och administratörer dök upp på kvällens föreläsning. Några kom från egna företag, och några från stora företag som Axis och Ikea.
Idag arbetar Karén Har-Yan på Boozt, men historien han berättar ikväll är från ett annat företag.
Infrastrukturen var upp uppbyggt av 45 000 Docker containers, och orkestrerades med Kubernetes. När studenten skulle göra en ändring i konfigurationen råkade ett syntaxfel slinka igenom. När ändringen rullades ut trodde Kubernetes att samtliga 45 000 containrar hade gått ner, och svarade med att starta upp 45 000 nya containrar. Nu fanns alltså 90 000 containrar live, som alla försökte komma åt databaserna, nätverket och diskarna. Detta resulterade i att hela produktionsmiljön blev oerhört långsam. Utvecklingsmiljön gick ner helt. Flertalet diskar blev skadade på grund av alla skrivningarna.
Karén Har-Yan förklarar hur infrastrukturen var uppbyggd
Men vad Karén vill föra fram ikväll är inte farorna med studenten, utan tvärtom. Karén menar att studenten inte ska skuldbeläggas, istället ska man ge honom ännu mer ansvar. Man ska ge studenten de viktigaste uppgifterna.
– We always think we can do it better. But even I could have failed. So we had a discussion if this could have happened to us. And we realized it could have happened to anyone of us, förklarar Karén Har-Yan.
Karén berättar också om hur viktigt det är att inte skrämma studenten efter en sådan här incident. Gör man det kommer han aldrig igen att våga arbeta med det, någonsin. För så fungerar vi människor. När vi får rädsla och skräck för något undviker vi det.
– He had a lot of potential, so we gave him a lot of trust instead. So he didn’t grew fear.
Karén menar också att det var ett bra test av infrastrukturen, och något som man bör använda sig av för att testa och övervaka sin miljö. Man tror alltid att den egna miljö är osårbar.
– A single student could bring down the whole infrastructure. It was a good test, because we thought it was unbreakable, as we always do.
Karén delar också med sig av några visa tankar kring DevOps. Vi tror alltid att det vi har byggt är det bästa som någonsin skapats. Därför är det viktigt att komma in mentaliteten att göra sig av med delar som uppenbarligen inte är så bra. Vi klamrar oss annars fast vid det vi skapat, men vi måste vi lära oss att släppa det.
– Kill your darlings, poängterar Karén.
DevOps Malmö
Gruppen startade den 15 januari 2018 av Karén Har-Yan. Han startade gruppen för att det då inte fanns några arrangemang eller träffar inom it-branschen. Och de få som fanns var svåra att hitta.
Hittills har DevOps Malmö haft strax över 20 träffar. För den som vill föreläsa på DevOps Malmö är det bara att skriva upp sig på gruppens GitHub
Du kan läsa mer om DevOps Malmö på deras MeetUp-sida
Kommentarer
Kommentarsfältet är modererat. Det innebär att alla kommentarer granskas av ansvarig utgivare före publicering.
Du väljer själv om du vill ange ditt riktiga namn, en pseudonym eller vara helt anonym. Ingen registrering behövs.
Relaterade artiklar
-
Retroloppis i Påarp
Idag var det retroloppis hos Andreas Nilsson i Påarp. På baksidan av huset fanns hundratals spel uppradade på långa bord. Trots friska vindar och sval temperatur var loppisen välbesökt.
-
Stort deltagande på årets Gubbdata
I helgen var det Gubbdata i Lund – ett av Sveriges största demoparty. På plats fanns cirka ett hundra deltagare, alla med en passion för retrodatorer.
-
Kapad identitet
I mitten av september förra året blev Kristina utsatt för ett id-kapningsförsök. Någon hade ansökt om ett lån på 250 000 kr i hennes namn. Låneansökan gick ut till ett 20-tal banker.
-
Amiga-scenen lever än
I en villa mellan Ljungskile och Stenungsund den 27 november träffades de igen, ett gäng glada Amiga-entusiaster. Man träffas för att prata, titta på demos, spela och ha allmänt trevligt.
Senaste nyheterna och inläggen
-
PGP-krypterat formulär
Jag blev inspirerad av Tutanotas Secure Connect – ett säkert webbformulär som skickar uppgifterna krypterat direkt till inkorgen. Skulle det inte gå att bygga något liknande med PGP? Det gick, och det var dessutom förvånansvärt enkelt då det redan finns ett GnuPG-bibliotek för PHP.
-
Var försiktig med att curl:a skript som root
Att installera program i Linux genom att omdirigera utdata från Curl till skalet är snabbt och smidigt. Men det är ack så farligt om du inte känner till programmet eller dess ursprung.
-
DOSBox för att programmera gamla personsökare
DOSBox kan användas till betydligt mer än bara gamla spel. Ett intressant användningsområde är att kunna använda gamla DOS-program för att programmera diverse enheter över serieporten. Oftast behövs inte ens en serieport, istället går det att använda en USB-serieportsadapter.
-
GDPR som ett stöd, inte ett hinder
Företag, föreningar och kommuner borde se GDPR som ett stöd och en vägledning, inte ett hinder. Trots det är det många som väntar ut Schrems II-domens efterspel för att inte behöva göra något. Andra försöker komma runt GDPR på olika sätt. Men man får glömma inte bort vem GDPR ska skydda – organisationens viktigaste tillgångar; kunderna, medlemmarna och invånarna.
-
Vidarebefordran av SSH-agenten
SSH agent forwarding, eller vidarebefordran av SSH-agenten, innebär att man kan vidarebefordra SSH-agenten till ett fjärrsystem. På så sätt behöver man inte kopiera sin privata SSH-nyckel till fjärrsystemet, eller skapa flera nycklar för olika system. Men det finns risker med det.
Utvalda artiklar
-
Poliser satte dit oskyldig
Två poliser dömdes i juni till vardera ett års fängelse av Lunds tingsrätt för att ha misshandlat och gripit en oskyldig man i hans bostad i Landskrona. Händelsen ägde rum en natt i mars förra året och spelades in av en övervakningskamera i mannens bostad.
-
Retroloppis i Påarp
Idag var det retroloppis hos Andreas Nilsson i Påarp. På baksidan av huset fanns hundratals spel uppradade på långa bord. Trots friska vindar och sval temperatur var loppisen välbesökt.
-
Stort deltagande på årets Gubbdata
I helgen var det Gubbdata i Lund – ett av Sveriges största demoparty. På plats fanns cirka ett hundra deltagare, alla med en passion för retrodatorer.
-
Kapad identitet
I mitten av september förra året blev Kristina utsatt för ett id-kapningsförsök. Någon hade ansökt om ett lån på 250 000 kr i hennes namn. Låneansökan gick ut till ett 20-tal banker.
-
Amiga-scenen lever än
I en villa mellan Ljungskile och Stenungsund den 27 november träffades de igen, ett gäng glada Amiga-entusiaster. Man träffas för att prata, titta på demos, spela och ha allmänt trevligt.
CyberInfo Sverige är ett IT- och medieföretag i nordvästra Skåne som tillhandahåller böcker, utbildningar, nyheter och konsulttjänster inom Linux, säkerhet och programmering.
CyberInfo Sverige är godkänd för F-skatt, är momsregistrerat och innehar
utgivningsbevis för webbplatsen www.cyberinfo.se.