KI forsterker det vi er gode på – og det vi er dårlige på

Norske teknologiselskaper står overfor et valg:

Skal agentisk og generativ KI effektivisere enkelte ledd, eller skal den endre hele måten selskapet leverer på?

Noen hevder å ha «løst det», og bruker tokenforbruk som en proxy for verdiskaping.

Vi mener det blir for lettvint.

Siden teknologien ble tilgjengelig, har vi i Geodata målrettet og systematisk utforsket, pilotert, målt og evaluert disse verktøyene, og hva de betyr for oss. Hvis tokens ikke er målet, må nødvendigvis noe annet være det.

Slik måler vi i Geodata

I Geodata får alle ansatte tilgang til en forholdsvis nøktern mengde tokens. Noen har større behov og mer nytte av det enn andre, og vi justerer etter behov. Det er ikke noe mål i seg selv å bruke flest mulig tokens, uansett rolle.

Vi følger bruken fra flere kanter.

• Vi ser på telemetri fra agentene de ansatte bruker, og vurderer løpende hva vi får ut av fastprisabonnementer sammenlignet med direkte betaling for API-bruk.

• Vi fører hendelseslogger over hva agentene faktisk brukes til, og hvilke systemer de leser fra og skriver til.

• I tillegg gjennomfører vi jevnlige spørreundersøkelser blant de ansatte. Opplevd effekt og faktisk effekt er tross alt ikke det samme, og vi trenger beskrivelser av begge for å skille dem.

Det har blitt betydelig lettere å måle, men det er fortsatt vanskelig å tolke dataene. Uansett hvor mange agenter du setter på tolkningen, må et menneske fortsatt forstå den og stå ansvarlig for den.

Dette ser vi etter

Målingene våre så langt viser at KI leverer både dårligere, like godt og bedre enn mennesker. Kvaliteten avhenger av hvor erfaren operatøren er, både i domenet hen jobber i og i bruken av agenter.

Enkelte av forretningsområdene våre har allerede forretningskritiske KI-verktøy for å levere kvalitet, men det er spenn i både behov og kompetanse.

Det vanskeligste å måle er hvor mye som må gjøres om igjen, og hvor mange feil vi må rette opp. Når vi ruller ut kode så ofte som vi gjør, og noe ikke er godt nok kvalitetssikret, begynner alarmene å gå. Hver gang det skjer, bruker vi av tiden vi heller skulle brukt på å skape verdi.

Når kompleksiteten og forventningene til leveransene øker, tvinger teknologien fram en skjerpet oppmerksomhet rundt kvalitetskontroll. Den tvinger også fram prioriteringer, men på en litt annen måte enn før.

Fundamentet avgjør farten

En erfaring vi gjorde relativt tidlig, var at vi får godt betalt for å ha investert i en standardisert, GitOps-drevet forvaltningsplattform. Den har felles standarder for forvaltning av informasjonssystemer, artefakter, data og backup, både for interne produkter og i kundeleveranser.

Effektiv og ansvarlig bruk av agentisk KI handler om å legge til rette for at det ikke koster mye å gjøre endringer eller feil. I tillegg må det være god revisjonskontroll på alle data agentene har anledning til å endre.

Den interne informasjonsarkitekturen slår også sprekker når kvalitative data må behandles og tilgangsstyres på andre måter enn før, og verktøyene vi har i dag, rett og slett ikke er gode nok. En KI-agent finner til slutt det den har tilgang til, og gjetter gjerne litt påståelig i tillegg.

Før var normer og friksjon i informasjonsgjenfinning en slags uformell tilgangskontroll. Nå har tilgangsstyring fått et helt annet, kontinuerlig fokus hos oss. Samtidig tråkker vi på bremsen når et underliggende system ikke er robust nok eller inneholder for sensitive data til å eksponeres som en integrasjon til KI-agenter.

Et viktig prinsipp for oss er å bygge teknologi og interne tjenester slik at vi blir minst mulig avhengige av leverandøren av grunnmodellen i agentene. Vi vet tross alt ikke om dagens leverandør er en pålitelig leverandør i morgen. Det må vi ta høyde for.

Hva er en ansvarlig leveranse?

Ingen har egentlig landet svaret med to streker under ennå. Det har ikke vi heller. Det er mye vi ikke forstår, og vi forsøker å tilpasse farten etter forholdene og kontrollere risikoen så godt vi kan. Det er krevende.

Likevel har vi tatt noen valg. Vi bruker ISO/IEC 42001 og ISO/IEC 27001 som rammeverk for styring av KI og informasjonssikkerhet. Vi er sertifisert og har operert etter ISO 27001 en stund, og er nå i sluttfasen av et sertifiseringsløp for ISO 42001.

Med disse KI-systemene er trusselbildet for alltid forandret, og det må tas på alvor.

Det er kanskje ikke så paradoksalt lenger, men vi investerer langt mer i informasjonssikkerhet enn i agentisk KI isolert sett.

Posten Bring skal spare med KI, uten å sparke utviklere

Posten Bring skal spare 25 prosent, bli 300 færre ansatte, og bruke KI for å komme dit. Likevel skal de få flere egne utviklere, forteller topplederne.

Kvalitet er ikke løst

Om skal forsøke å oppsummere våre erfaringer så langt, så vil vi si at farten kommer hvis fundamentet er godt nok.

Og det viktigste av alt: Dette skjer ikke uten de kunnskapsrike folka som går på jobben hver dag.

Farten kommer der det ikke koster så mye å gjøre feil, der vi har ryddige tilganger, der vi tydelig kan se hva menneskene som opererer KI-agentene har gjort, og der vi har et menneske som står ansvarlig for leveransen.

Om noe, skal vi løse flere og mer interessante problemer enn før. Kvantitet er løst. Kvalitet er ikke.

Derfor «nekter» vi oss selv å kode for hånd

– Jeg elsker kode. Det betyr ikke at jeg må gjøre alt selv, skriver Piotr Rojek i Bislab, og forteller hvorfor de har gått helt over til KI-koding.