Testet KI på 35 oppgaver: Mindre effektivt enn ventet

I høst avsluttet Teknologirådet en erfaringsbasert studie der ni ansatte brukte KI til 35 oppgaver. 

Oppgavene gjaldt blant annet kartlegging av eksperter og aktører, horisontskanning, utvikling av scenarioer, og virtuelle ekspertgrupper.

Nå har de lansert en rapport om funnene. 

– Erfaringene er kort fortalt at KI-verktøyene er lovende og nyttige som sparringspartnere i tidlig fase og i avgrensede prosesser som oppsummeringer, oversettelser og referater. Likevel har de så langt påvirket produktiviteten, relevansen og kvaliteten i arbeidet vårt i mindre grad enn forventet. 

Slik oppsummerer direktør Tore Tennøe funnene i rapporten.

– Dette må sees på som foreløpige vurderinger, i og med at teknologien, modellene og verktøyene er i rivende utvikling, understreker Tennøe. 

Dette fant de

Bakgrunnen for prosjektet var at rådet ville undersøke om kunstig intelligens virkelig ville få stor effekt på kunnskapsyrker, slik noen studier har hevdet. 

Andre undersøkelser viser at ansatte kan oppleve høy individuell nytte, men få organisasjoner kan dokumentere målbare gevinster, påpeker Ellen Strålberg i rapporten. 

De ansatte som deltok dokumenterte bruk og opplevd nytte i strukturerte loggskjema. Så systematiserte di erfaringene og analyserte tidsbruk, pålitelighet, relevans og legitimitet.

Dette fant de ut: 

• Nytteverdien varier med oppgavetype.
  
• KI har i liten eller ingen grad bidratt til tidsbesparelser.
  
• KI kan påvirke arbeidet på måter som både kan styrke og utfordre kvalitetskriterier om pålitelighet, relevans og legitimitet.
  
• Den enkelte prosjektleders kompetanse og vurderingsevne er fortsatt avgjørende.
  

Sparte lite tid

– At gevinstene så langt er relativt beskjedne, er ikke overraskende, skriver Strålberg. 

– Det kan skyldes blant annet at kunnskapsarbeid er komplekst, situasjonsavhengig og preget av skjønn, kontekstforståelse og løpende vurderinger, mens KI-modeller presterer best når oppgavene er klart definerte og avgrensede.

Når det gjelder tidsbruk var KI god på sparring i tidlig fase og i avgrensede prosjekter. Men:

– I mer komplekse og analytiske oppgaver er bildet annerledes: tekstene kan fremstå som ryddige og språklig gode, samtidig som faglige svakheter ikke er umiddelbart synlige. Dette kan medføre betydelig arbeid med gjennomgang og omarbeiding, skriver Strålberg. 

Tar «smiskende KI» og «KI-skvip» inn i ordliste

Teknologirådet oppdaterer listen sin over kunstig intelligens-begreper. Og snuser på «AIholic» og «suverenitetsvasking».

Tester ut agentiske verktøy

Teknologirådet har siden ChatGPT slo gjennom i november 2022 fulgt med på teknologien.

Bare det siste halvåret har den tatt av. Denne våren har kode24 skrevet om hvordan ulike bedrifter utforsker og tar kunstig intelligens i bruk i arbeidshverdagen. 

I Stø er det utviklere som ikke har håndkodet på over et halvt år. Eika-gruppen jobber med å skaffe seg tilgang til Claude, mens Highsoft integrerer KI i produktet ut til publikum.

Advarer om at KI-bobla kan sprekke snart

– Foreløpig lar gevinstene fra KI vente på seg, mener direktør Tore Tennøe i Teknologirådet, som advarer norske politikere om fem trender i 2026.

– Vi ønsker å utføre samfunnsoppdraget vårt så godt og effektivt som mulig, og vil ta i bruk nye verktøy som kan hjelpe oss med dette. Samtidig må vi vurdere den samme teknologien som vi tar i bruk. Vi må altså ta vår egen medisin, skriver Tennøe.

Fremover skal rådet fortsette å teste ulike agentiske KI-verktøy, og planlegger et større prosjekt om kunstig intelligens i kunnskapsarbeid generelt.