- AI frigjør tid fra rutinearbeid, til mer nyttige oppgaver for ansatte, sier Tor Richardsen, prosjektleder for visuell teknologi i NTB, til kode24.
NTB har en særstilling i det norske medielandskapet som leverandør av pressemeldinger og produksjon av nyhetssaker til et stort antall norske medier - inkludert kode24.
I dagens journalisthverdag er det vanskelig for norske redaksjoner å være tilstede overalt hele tiden. I tillegg har norske mediehus ofte få fotografer å rutte med. Derfor benytter også de fleste journalister seg av NTBs bildearkiv, tidligere kalt Scanpix, for å finne bilder til sine egne nyhetssaker.
Bildeportalen inneholder rundt 400 millioner bilder og videoer fra utland og innland. For å holde orden i kaoset og å få hjelp til å overholde GDPR-lovgivningen, har utviklerne i NTB laget en egen kunstig intelligens (AI) for å hjelpe til med arbeidet. I tillegg til at de selger mediebank-løsningen til bedrifter, slik at de kan ordne sine egne arkiver.
Uten AI-en ville nyhetsbyråets tjenester vært for dyre, ifølge NTB.
Dette API-et er hemmeligheten bak Wordle sin suksess
Stor verdi
NTB startet arbeidet med AI-en for rundt to år siden. I løpet av denne perioden har det i stor grad vært jobbet med ansiktsgjenkjenning og custom detection.
Tor Richardsen sier at en stor utfordring i bildeproduksjon er å finne det rette bildet – enten det er til en nyhetssak eller et illustrasjonsbilde til markedsføring. Han forteller at fram til nå har gjenfinning av bilder i all hovedsak vært basert på at det manuelt legges inn metadata til bildet.
- Dette har vært en manuell prosess og er tidkrevende med mange feilkilder. Når vi nå i større grad har tatt i bruk AI til å berike bildet med metadata, gir det oss og våre kunder stor verdi, sier Richardsen.
Han sier at NTB på den ene siden kan redusere tiden det tar å legge på metadata, og på den andre siden øke mengden med relevant metadata. Og på den måten gjøre det lettere å filtrere og finne de rette bildene.
- Det kan forstås som at NTB automatiserer systematiseringen av bilder, sier han.
Derfor satser Vipps alt på én hest: - Lar oss bygge et sterkt fagmiljø
Levert fra Amazon
Ifølge Richardsen har NTB sett på og vurdert flere internasjonale leverandører. Felles for alle er at metadataen som skapes blir generell, og ikke god nok for på sikt å kunne erstatte de manuelle prosessene fullt ut.
- Vi har derfor valgt å ta utgangspunkt i Amazon sin teknologi og bygd videre på den med egenutviklede moduler, slik at vi får en nordisk AI-modul, men med alle kvalitetene fra Amazon i bunn.
- Hvilke teknologier er involvert?
- Vi bruker en lang rekke AWS-tjenester som er sydd sammen i en egenutviklet applikasjon. Den bygger på teknologiene Amazon Rekognition, Amazon SageMaker, PyTorch og TorchServe.
Ifølge Richardsen har utviklerne i NTB bygget egne moduler som de hoster i SageMaker via NTBs eget endpoint, Amazon Elastic Inference, CloudWatch og SageMaker Debugger.
- Vi bygger og kjører hele systemet i en GPU-basert server, med EC2-instans, Notebook Interface, SpringBoot og Python.
Derfor valgte NRK Lit, Spring Boot, MySQL og Kubernetes for Maskorama
Overholder GDPR
I løpet av arbeidet med AI-en har NTB måttet "prøve og feile selv".
- Vi har lite ressurser å støtte oss på. Svarene finnes heller ikke på Stack Overflow. Det er også store variasjoner i krav, behov og ønsker fra forskjellige kunder.
Ifølge ham har den største utfordringen i arbeidet med AI vært å bygge strukturen slik at GDPR-lovgivningen er ivaretatt.
- I våre systemer så er det ikke mulig at andre mennesker har tilgang til dine personlige data.
I tillegg til å hjelpe med med metadata hjelper også AI-en NTB med å overholde GDPR-lovgiving og åndsverksloven.
- Bilde av en person er å betrakte som persondata, og kan i henhold til GDPR lovgivningen ikke lagres uten at det er gitt samtykke av den avbildede. Det skal også være enkelt for avbildede å be om innsyn i hvilke bilder som finnes, og be om at bilder skal slettes.
Tror dagens cookie-bannere blir ulovlig: - Åpenbart uærlig og uetisk
Bygget eget system
I tillegg til at NTB bruker AI-en selv, blir mediebanken også solgt til bedrifter og organisasjoner for å systematisere deres egne arkiver.
Richardsen sier ved hjelp av AI-en finner NTB alle bildene i arkivet av en person, slik at bedriften på en enkel måte får gruppert bildene av personen og kan ha kommunikasjon med den avbildede dokumentert i NTBs mediebank.
- På samme måte kan bedriften bruke systemet for å be om retten til å publisere bildet i henhold til åndsverkslovens paragraf 104, som er retten til eget bilde, sier Richardsen.
AI-en tagger bildene på to måter, kalt Object detection og Scene detection.
- Den ene er objekter som er koblet til AWS API-er og som vi har mappet opp mot NTBs eget omfattende metadatasystem, sier han.
For å kunne støtte custom objects, der NTB har mulighet til å kjenne igjen for eksempel fenalår, bygger NTB et eget system og pipeline for å trene opp sine egne modeller i SageMaker fra scratch.
- Her har vi vår bildebase på 60 millioner bilder å bruke som treningsgrunnlag, sier Richardsen.
- Vi må slutte å bruke Google Analytics!
Grafisk grensesnitt
Richardsen sier at NTB har jobbet mye med å lage et grafisk grensesnitt for å la brukere enkelt kunne tagge bilder og trene AI-en uten at brukeren egentlig er klar over hva de gjør.
- Det for å underbygge at hele systemet skal være en krykke for brukeren når man skal “arkivere” bildene sine for å enkelt kunne finne dem igjen. Ettersom det ikke er så veldig mange andre som har gjort akkurat dette før, har vi måttet finne opp nye måter å gjøre det på.
AI-modulen er langt fra ferdig og mye arbeid gjenstår. Framover vil NTBs arbeid handle om scene detection, custom object, sport og video detection. Det er også planer for å se på human movement tracking på video, talegjenkjenning, støtende innhold og tekst- og avsnittsanalyse.
- Hvordan hadde hverdagen vært uten AI?
- Kjedelig! Det hadde vært tidkrevende og dyrt å få tagget nok bilder med metadata i vår egen produksjon. For våre kunder vil det være umulig dyrt å gå gjennom sine arkiver for tagget bilder med tilsvarende metadata. Folk vil tagge bilder på hver sine måter, AI vil gjøre det på én måte.