– Mentalt krevende å kvalitetssikre KI-generert innhold

Da ChatGPT for alvor kom inn i arbeidslivet for snart tre år siden, var forventningene enorme. Produktiviteten skulle skyte i været. Men hvordan har det egentlig gått?

I Sintef har vi fulgt åtte team i seks nordiske selskaper, som alle satser tungt på bruk av AI. Det som overrasker oss mest, er at vi sliter med å finne tydelige tall som viser økt produktivitet.

Ikke fordi teknologien ikke virker.

Tvert imot. Flere team forteller at de får mer tid. 

Men gevinsten tas sjelden ut som økt produksjon. Den brukes til å forbedre kvalitet, løse problemer som tidligere ble skjøvet til side og ta fatt på oppgaver de aldri hadde kapasitet til før.

I november og desember kom en ny bølge av AI-verktøy og digitale assistenter. Mange mente at nå skulle det virkelig ta av. Men i vår studie ser vi at gevinsten varierer betydelig mellom team som bruker den samme teknologien. 

Magnus gir agenter tilgang til Sparebank 1

– Jeg skrev ingenting av koden for hånd, forteller utvikler Magnus Rødseth. Han koblet bankkontoen til KI-agenten, fikk øl-råd og deler nå prosjektet.

Tre grep som øker gevinsten

Teamene som får størst gevinst, gjør tre ting: 

1. De diskuterer og forbedrer egne arbeidsprosesser. Teamene blir enige om hvordan oppgaver skal løses, hvilke standarder som gjelder og hvordan kvalitet skal vurderes. Hvis alle jobber på hver sin måte, blir teknologien først og fremst en personlig assistent. Da blir gevinsten begrenset.
2. De setter tydelige rammer for AI-bruken. Det etableres tydelige spilleregler for bruken av AI. Hvilke oppgaver kan teknologien brukes til? Hva kan den ikke brukes til? Hvilke data kan deles? Når må et menneske kvalitetssikre resultatet? 
3. De eksperimenterer sammen. De tester. De feiler. De lærer sammen. 

Oppgitt over mangfolds-debatt hos utviklere: «Fordummende»

– Vi alle tjent med å heve samtalen til et nivå hvor man ikke får inntrykk av at avsender er bedugget eller mindre begavet, skriver Jakob Sverre Løvstad etter den siste kjønnsdebatten.

Tre barrierer

Men det er lettere sagt enn gjort. 

I studien vår ser vi at mange team møter tre utfordringer.

1. For det første mangler de tid. Travle team har sjelden rom til å eksperimentere og reflektere.
2. For det andre krever læring psykologisk trygghet. Det må være lov å være skeptisk, stille spørsmål, gjøre feil og innrømme at man ikke forstår.
3. For det tredje opplever mange det som mentalt krevende å kvalitetssikre AI-generert innhold. Feilene kan være vanskelige å oppdage, og det kan være demotiverende å kontrollere arbeid som en maskin har gjort. 

I tillegg må man håndtere «AI-støy» – innhold som ser imponerende ut, men tilfører liten verdi.

Ikke et mål i seg selv

Kunstig intelligens er i ferd med å bli en viktig del av arbeidslivet. Men etter tre år med store forventninger er én ting tydelig:

Bruk av kunstig intelligens kan fort bli et mål i seg selv. Da blir effekten liten, mens kostnadene vokser.

De neste årene blir ikke spørsmålet hvem som bruker mest AI. Spørsmålet blir hvem som lærer raskest.

Denne artikkelen stod først på trykk i E24.