Joanna må takle 3 pebibyte data og 90.000 eventer i sekundet

Ukas Koder Joanna Eriksson i Schibsted løser det med Kafka og Spark Cluster.

Utvikleren Joanna Eriksson jobber som Data Engineer i Schibsted. 📸: Privat
Utvikleren Joanna Eriksson jobber som Data Engineer i Schibsted. 📸: PrivatVis mer

Hvordan begynte du med koding? 👶

Jeg begynte å kode på universitetet.

Det første jeg kodet var et program til boremaskin skrevet i Assembler. Men det var vel ikke kjærlighet ved første øyeblikk der. Det var først da jeg laget et memory-spill i Java at ting begynte å bli interessant.

Men det var da jeg leste fag i datastrukterer, og så koblingen mellom programmering og matematikk, at jeg «fastnet på riktig».

Hva jobber du med akkurat nå? 🛠️

Jeg jobber på «Data and Privacy»-teamet, med prosessering av data som samles inn på alle Schibsted sine plattformer, for eksempel VG, Aftenposten og Finn.

Vi bruker Kafka og Spark Cluster. Så jeg koder mye i Scala, og en del i Python.

Vi prosesserer store datamengder hver dag, omtrent 90.000 eventer i sekundet, så mye handler om å tenke på hvordan man kan gjøre ting så raskt som mulig, og bruke så lite diskplass som mulig. Vi har 3 pebibyte med data, så hver prosent mer effektiv lagring av data er verdt mye.

Akkurat nå jobber jeg med prosessering av access-logger. Det som er så spennende med dette er å få optimere koden, og hvordan man bruker Spark for at dette skal gå så raskt som mulig. Access-loggene er egentlig bare metadata, men også disse er en utfordring.

Slik ser pulten til utvikleren Joanna Eriksson ut. 📸: Privat
Slik ser pulten til utvikleren Joanna Eriksson ut. 📸: Privat Vis mer

Hvordan ser en typisk arbeidsdag ut for deg? ☕

Jeg har jobbet her i 1,5 måned, så det er ikke så mye som er typisk ennå.

Men jeg har hittil vært så heldig at jeg ikke har så mye møter, og kan fokusere på det morsomme: Problemløsning og koding.

Å prosessere store datamengder koster mye penger, så alle optimeringer av prosessering og lagring er viktige. Så jeg ser på ting som for eksempel hvilken måte å iterere over en mengde som er mest effektiv, eller om prosesseringen av data kan parallelliseres.

Hva synes du er de mest spennende språkene, rammeverkene eller teknologiene akkurat nå? ✨

Jeg synes at det finnes en del tendenser for de teknologier jeg tror har framtiden forran seg.

En er at det må være enkelt å bruke på mange plattformer. Det kommer hele tiden nye rammeverk og språk, som må kunne fungere sammen, og da er fleksibiliteten i å ikke være knyttet til en plattform viktig. Dette går med andre ord i linje med «evergreening IT».

En annen tendens er at språk må ha god støtte for funksjonell programmering. Det trenger ikke nødvendigvis å være et funksjonelt språk, men må fungere bra å skrive etter den funksjonelle paradigmen.

Et eksempel på språk som jeg synes har løst begge disse punktene bra, er Kotlin.

Her ser det ut rundt Joanna Eriksson og kollegene i Schibsted. 📸: Privat
Her ser det ut rundt Joanna Eriksson og kollegene i Schibsted. 📸: Privat Vis mer

Hva er du mest stolt av å ha laget? 🏆

Jeg har tidligere vært med å lage en salgsløsning av bilforsikringer for bilforhandlere. Vi var et lite team som jobbet tett sammen fra begynnelse til applikasjonen var i produksjon.

Det var en spennende reise; å få være med på utviklingen av en helt ny løsning fra starten.

Hva er det kjedeligste med å være utvikler? 😿

Det kjedligeste er når ting ikke fungerer, og man ikke aner hvorfor. Det er så frustrerende.

Hva er det gøyeste med å være utvikler? 😻

Det er motsatsen til forrige punkt; når man får noe til som man trodde var umulig å få til å fungere. Det er er en så fantastisk følelse.

Og selvfølgelig det at man faktisk får betalt for å løse interessante problemer.

Hva liker du å gjøre når du ikke jobber? 🕹️

Jeg elsker å trene. Hva jeg trener avhenger mye av tid på året. Akkurat nå er det mye langrenn, og om sommeren pleier det å være mye sykling og løping.

Kroppen trenger å jobbe, for at man skal kunne jobbe fokusert foran en datamaskin hele dagen.