Under årets norske finale i Melodi Grand Prix (MGP) gikk det galt.
Vinneren skulle stemmes fram på mobilen, gjennom et innloggingssystem NRK utviklet. Men underveis i direktesendingen knakk systemet sammen, og en folkejury på 30 personer måtte på banen for å gjøre noe av jobben potensielt hundretusener av nordmenn skulle gjort.
Men nøyaktig hva var det som gikk galt under årets MGP-finale? Hvorfor knakk NRKs system sammen? Hva er forklaringen utover "38 millioner emojis"?
kode24 kontakta NRK mandagen etter finalen med flere tekniske spørsmål, men det har vært en lang prosess å få svar. Og i mellomtida har spekulasjonene gått blant norske utviklere, blant annet her på kode24, på Twitter og i kode24-klubben på Facebook.
Nå har kode24 endelig fått svar, fra Inge Thorud, leder for utviklerne i NRKs Publikumsprodukter-avdeling. Han avviser flere teorier som har kommet opp, men innrømmer at de har noe å lære når det kommer til testing.
Avviser Firebase-trøbbel
- Kan dere gi en kort oppsummering av hva som faktisk skjedde rent teknisk under lørdagens sending? Hva konkret som faktisk krasjet, av hvilken grunn?
- Svaret er fortsatt at det var det enorme samtidige trykket gjennom starten av sendingen som skapte problemer, forteller Thorud til kode24.
«Dette skyldtes ikke Firebase alene, eller hvordan Firebase er som produkt.»
- Etter delfinalene skalerte vi opp i forventning om at pågangen kom til å øke betraktelig i hovedfinalen. Likevel fikk vi problemer underveis i sendingen. Dette skyldtes ikke at èn enkel løsning fikk problemer i isolat, men noe som oppstod når vi fikk et massivt samtidig trykk på tvers av ulike løsninger og systemer. Vi jobber nå med tiltak og forbedringer for å hindre at dette skjer igjen. Det er et arbeid som pågår.
På Twitter har én av mange teorier vært at Googles Firebase kan ha spilt en rolle, for eksempel ved at kvota for bruk ble sprengt.
- Vi bruker Firebase som en av flere komponenter i løsningen vår, bekrefter Thorud.
- Men dette skyldtes ikke Firebase alene, eller hvordan Firebase er som produkt. Dette skyldes en kombinasjon av flere ting som i sum skapte problemene.
Hør kode24-timen om MGP-krasjet
Avviser autoklikk-trøbbel
En annen teori, fra blant annet Dagens Næringsliv, har vært at én kars klikking med et autoklikk-verktøy skapte trøbbelet.
En del av stemmeløsningen var nemlig å sende emojis til artistene, som en effekt under TV-sendingen ala direktesendte Facebook-videoer. Og den omtalte karen skal ha klikket umenneskelig mye på emojis-ene før maskinen hans, og forsåvidt systemet til NRK, krasja.
- Hva tenker dere om dette, kan emoji-spammingen fra én person ha vært grunnen?
- Nei, dette skyldtes ikke èn person, stadfester Thorud, som mener dette er teknisk umulig.
- Vi har lagt inn begrensninger i hvor mange kall som gjøres fra hver enhet, og det har ingenting med mengden av klikk fra enkeltpersoner å gjøre.
Skal bli bedre på test
Blant annet på kode24 har utviklere fundert på om systemene til NRK var godt nok testa. Og selv om Thorud forsikrer om at de kjørte tester før MGP-sendingen, innrømmer han at de alltid kan bli bedre.
- Vi har stresstestet og gjort beregninger av trafikkmengde, bruk av funksjonalitet, registreringsløp og liknende i forkant av sendingene, og også skalert opp deretter, forteller avdelingslederen.
«En del av læringen etter dette handler om hvordan vi kan gjøre enda bedre ytelsestester...»
- Når vi likevel opplever problemer i hovedfinalen, handler det om kompleksiteten i totalen. Og en del av læringen etter dette handler om hvordan vi kan gjøre enda bedre ytelsestester av totalen i spesielle situasjoner, som det en MGP-finale er når vi kombinerer direktesendt folkefest på TV med nye former for publikumsinteraksjon på mobilen.
- Hva slags trafikk forutså dere, og hva slags trafikk fikk dere faktisk?
- Vi gjorde som sagt stresstester og beregninger i forkant av delfinalene, underveis og i forkant av hovedfinalen. Og det er ikke ett tall på trafikk alene som gir svar. Det er summen av hvordan dette traff de ulike systemene våre samtidig.
MGP-krasjet: Hvor mye er egentlig 38 millioner emojis?
- At 145 megabyte data knakk hele løsningen, høres litt merkelig ut, mener Øistein Sørensen.