I tisdags höll Karén Har-Yan på DevOps Malmö föreläsning om en student som råkat ta ner ett helt företag. Föreläsningen ägde rum på Foo Café på Stora Varvsgatan 6a i Malmö.

Cirka tio utvecklare och administratörer dök upp på kvällens föreläsning. Några kom från egna företag, och några från stora företag som Axis och Ikea.

Idag arbetar Karén Har-Yan på Boozt, men historien han berättar ikväll är från ett annat företag.

Infrastrukturen var upp uppbyggt av 45 000 Docker containers, och orkestrerades med Kubernetes. När studenten skulle göra en ändring i konfigurationen råkade ett syntaxfel slinka igenom. När ändringen rullades ut trodde Kubernetes att samtliga 45 000 containrar hade gått ner, och svarade med att starta upp 45 000 nya containrar. Nu fanns alltså 90 000 containrar live, som alla försökte komma åt databaserna, nätverket och diskarna. Detta resulterade i att hela produktionsmiljön blev oerhört långsam. Utvecklingsmiljön gick ner helt. Flertalet diskar blev skadade på grund av alla skrivningarna.

Karén Har-Yan förklarar hur infrastrukturen var uppbyggd
Karén Har-Yan förklarar hur infrastrukturen var uppbyggd

Men vad Karén vill föra fram ikväll är inte farorna med studenten, utan tvärtom. Karén menar att studenten inte ska skuldbeläggas, istället ska man ge honom ännu mer ansvar. Man ska ge studenten de viktigaste uppgifterna.

– We always think we can do it better. But even I could have failed. So we had a discussion if this could have happened to us. And we realized it could have happened to anyone of us, förklarar Karén Har-Yan.

Karén berättar också om hur viktigt det är att inte skrämma studenten efter en sådan här incident. Gör man det kommer han aldrig igen att våga arbeta med det, någonsin. För så fungerar vi människor. När vi får rädsla och skräck för något undviker vi det.

– He had a lot of potential, so we gave him a lot of trust instead. So he didn’t grew fear.

Karén menar också att det var ett bra test av infrastrukturen, och något som man bör använda sig av för att testa och övervaka sin miljö. Man tror alltid att den egna miljö är osårbar.

– A single student could bring down the whole infrastructure. It was a good test, because we thought it was unbreakable, as we always do.

Karén delar också med sig av några visa tankar kring DevOps. Vi tror alltid att det vi har byggt är det bästa som någonsin skapats. Därför är det viktigt att komma in mentaliteten att göra sig av med delar som uppenbarligen inte är så bra. Vi klamrar oss annars fast vid det vi skapat, men vi måste vi lära oss att släppa det.

– Kill your darlings, poängterar Karén.

DevOps Malmö

Gruppen startade den 15 januari 2018 av Karén Har-Yan. Han startade gruppen för att det då inte fanns några arrangemang eller träffar inom it-branschen. Och de få som fanns var svåra att hitta.

Hittills har DevOps Malmö haft strax över 20 träffar. För den som vill föreläsa på DevOps Malmö är det bara att skriva upp sig på gruppens GitHub

Du kan läsa mer om DevOps Malmö på deras MeetUp-sida