Derfor gikk Microsoft ned: Testa på feil maskinvare

En fiks Microsoft rulla ut i juli, testing på for gammel maskinvare og problemet med en restart skal forklare deres enorme nedetid.

Microsoft fikk enorme tekniske problemer, og mange arbeidsplasser lå nede for telling når blant annet Outlook forsvant, også for oss her i kode24.
Publisert

Microsoft har endelig begynt å lette på sløret rundt hva som egentlig skjedde da Microsoft 365-tjenester som Outlook og Teams gikk ned, og forble nede i over et døgn, fredag forrige uke. 

Nedetida lammet både privat næringsliv og offentlig sektor, både i Norge og resten av verden. 

– Vi er dypt lei oss for innvirkningen dette hadde på alle våre kunder, skriver direktør Charles Lamanna i Microsoft på X, i det som skal være et foreløpig post-mortem. 

Rekken av feil som totalt sett førte til havariet handler blant annet om testing på feil maskinvare, og hvordan det å restarte noe ikke alltid er den enkleste løsningen. 

Testa på feil maskinvare

Alt skal ha starta i juli i år, da Microsoft kjørte ut en oppdatering for Microsoft 365 sine gateway-servere. Dette introduserte en feil, som først slo ut denne svarte fredagen, da serverne ble "overvelda" og til slutt ikke-responsive. 

Feilen ble altså ikke oppdaga før den slo ut for fullt, og dette skal ifølge Lamanna handle om at Microsoft testa juli-oppdateringen på feil maskinvare. 

– Problemet ble verre på maskiner med flere kjerner og nyere maskinvare, mens vår last-testing ofte fokuserer på svakere maskinvare med færre kjerner, innrømmer Lamanna. 

Microsoft kjører to network gateways; hvis den ene feiler, tar den andre over. 15 timer før nedetida ble Teams-trafikken ført fra den ene til den andre, og da denne også støtter Exchange Online, ble det for mye og for annerledes trafikk enn normalt. Dessuten hadde Microsoft 14 prosent mindre serverkapasitet enn vanlig på dette tidspunktet, på grunn av et urelatert problem dagen før. 

Alt dette førte til at juli-feilen slo ut i full blomst. 

Problemet ble verre på maskiner med flere kjerner og nyere maskinvare.

Overvelda av ventende trafikk

Videre skal Microsoft ha fått problemer med hvordan nettverket deres balanserer lasten sin rundt om i verden, som gjorde at nedetida spredte seg raskt. 

Og da feilene endelig var identifisert, var problemene langt fra over: Da serverne ble restarta, ble de umiddelbart overvelda av den enorme trafikken som venta på dem.

– Vår automatiserte gjenopprettelses-prosesser var ikke designet for å komme seg tilbake fra en så stor ikke-responsiv tilstand, skriver Lamanna. 

Da kjerneproblemet lå i en oppdatering fra juli, kunne de heller ikke like enkelt rulle tilbake koden sin. Men de fiksa en fiks til slutt, og fant en måte å rulle den ut på: 

– For å effektivt kunne fikse dette, og for å sakte få ting på nett igjen, tok vi grupper av servere ut av tjeneste, gjorde endringen, og restarta dem, forteller Lamanna, og alt dette tok tid. 

Han avslutter med at et endelig "Post-Incident Review" vil komme senere denne uka. 

"Hyssing og teip"

Det har blitt spekulert mye de siste dagene rundt hva som egentlig ligger bak nedetida. Alt fra masseoppsigelser som gjør at utviklerne forsvinner, til hvorvidt vibbekoding er synderen. 

– Folk forventer at disse feilene skyldes vibbekode, mens det mest åpenbare svaret er 50 år med organisk utvikling, etterfulgt av å bli kvitt de mest erfarne utviklerne, skriver en mye oppstemt bruker på r/programming. 

– Dette viser bare hvor vanskelig programvareutvikling i stor skala er. Det er en veldig menneskelig ting, mener en annen. 

– Gitt hvor vanlig trafikproblemer er, er alt dette ganske overraskende, men når man også vet litt om hvor grusom epost-verdenen er, og hvor mye som holdes sammen av hyssing og teip, er det kanskje ikke så uventa, skriver en tredje. 

Foretrekk oss i Google Discover

Ved å legge oss til som foretrukket kilde i Google vil du blant annet få opp flere av sakene våre i Google Discover. Tusen takk for støtten!

Foretrekk oss 😻
Bygget med Labrador CMS