Derfor feila Lotto-trekninga påskeaften: Brukte feil metode
Norsk Tipping måtte kalle folk tilbake fra påskeferien, etter surr med Linked List og Array List.
Mange spillere var misfornøyde med ventetida for å få svar på om de hadde vunnet i Lotto på påskeaften. For det varte og rakk, uten at vinnerne ble annonsert.
Dagen etter trekninga forklarte Tonje Sagstuen, administrerende direktør i Norsk Tipping, at årsaken var «en stor fil som står og "henger" i systemet». Og i dagene etter sa Norsk Tipping at de ikke ville svare på hva som gikk galt, fordi de ville informere Lotteri- og stiftelsestilsynet først.
Nå er saken avklart:
Leverandøren «valgte feil metode for å skrive fra serverminne til egen fil på disk», opplyser Norsk Tipping til kode24.
283 millioner rekker
Rent praktisk innebar dette at leverandørene hadde valgt å bruke lenkede lister (Linked List), mens de ifølge Norsk Tipping burde ha brukt Array List (matrise/tabell).
Enkelt forklart må man med en Linked List traversere gjennom hele listen for å nå det elementet du trenger, mens du med en Array List kan hoppe direkte til et bestemt element i listen.
– Lenkede lister kan lagre enorme mengder informasjon, men tilgangen er treg, sier Trond Laupstad, sikkerhetssjef i Norsk Tipping, til kode24.
Problemet var bare at det viktigste for Norsk Tipping var rask skriving, siden det er snakk om veldig store volum. Totalt skal det ha vært snakk om rundt 283 millioner rekker.
Lenkede lister kan lagre enorme mengder informasjon, men tilgangen er treg.
– Leverandørens interne testing av dette hadde heller ikke avdekket at dette ville bli en utfordring for Norsk Tipping påskeaften, sier Laupstad.
Han forklarer at den lenkede listen senere ble erstatta av en arrayliste, som er et indeksert og raskt lagringssystem.
– Når man skriver til en fil, blir hver rad skrevet til filen uten bufring, noe som forårsaker hyppig kommunikasjon mellom IT-tjenesten og operativsystemet. I den nye løsningen fra leverandøren ble bufret skriving aktivert, noe som økte hastigheten dramatisk, sier Laupstad.
Trodde det kunne fikses raskt
Men det tok tid å komme fram til denne løsningen. Trekninga ble gjennomført klokka 18:20, og 19:30 hadde Norsk Tipping satt krisestab. For første gang i denne omgang.
Laupstad forteller at de første meldingene fra leverandøren i timene etter trekninga, var at det skulle være mulig å få levert en fiks for å koble kundebasen mot trekningsresultatet samme kveld.
– Vi satte da en våre IT-driftsansvarlige til å overvåke fremdriften. Tidlig søndag morgen fikk vi varsel om at tjenesten likevel ikke var ferdig. Vi satte da ny krisestab klokken 09:00 søndag morgen.
Det ble da avgjort at de måtte ha en fiks fra leverandørene for å «gå rundt» problemet.
Måtte hente testere fra ferie
Det skulle vise seg at det heller ikke var bare bare å lage en slik fiks.
– For å komme dit måtte leverandøren først kode vekk den feile måten å skrive til fil på, sier Laupstad.
Den nye fiksen ble levert klokka 14.00. Deretter måtte Norsk Tippings testere, tilbakekalt fra påskeferie, starte ny testing av spillmotoren.
– Testingen omfattet blant annet å verifisere at både fiksen gjorde som den skal, men også at alle andre øvrige kritiske tjenester i spillmotoren fungerte som forventet. Det å reteste fiksen fra leverandøren, og øvrige kritiske tjenester i spillmotoren, tar nødvendigvis noe tid.
Dette skal ha pågått til klokka 19:00. Da var det omsider mulig å fullføre de resterende oppgavene i spillmotoren.
Mer fokus på kvalitet og testing
I etterkant av hendelsen har Norsk Tipping måtte forklare seg for Lotteri- og stiftelsestilsynet. De har henlagt saken, siden det ikke var brudd på kravene i verken pengespilloven eller forskrifter.
– Selv om denne hendelsen ble forårsaket av en leverandør, så er ansvaret vårt i Norsk Tipping, sier Laupstad.
Han understreker at de ikke har brutt noen regler, men sier det ga en dårlig kundeopplevelse på påskeaften.
– En slik brist i kundeopplevelse ser vi selvsagt svært alvorlig på, og vi gjør alt vi kan for at det ikke skal skje igjen.
Laupstad påpeker at de har et årelangt samarbeid med leverandøren de kjøper spillmotoren og tilhørende tjenester fra.
Når det gjelder hva Norsk Tipping har gjort i etterkant av hendelsen, så er han klar på hva han mener topper prioriteringslista.
– Den aller viktigste endringen vi har foretatt er å styrke fokuset på kvalitet, herunder monitorering og testing kraftig.
PS: Lotteri- og stiftelstilsynet oppdaget nylig problemer på sine sider, som har ført til at flere hundre tips kan ha gått tapt.
