Mener KI kan erstatte 155.000 folk i staten, men fikk tallet fra KI
Tallet har sirkulert siden 2023, men kritikere mener det er "høyst usikkert og spekulativt", melder Aftenposten. For tallet kommer fra GPT-4.
I september 2024 ga Riksrevisjonen en rapport til Stortinget, "Bruk av kunstig intelligens i staten", hvor det blant annet stod:
"Ved full utnyttelse av dagens teknologi for kunstig intelligens, kan offentlig sektor effektivisere arbeidsoppgaver som årlig vil tilsvare 155 000 årsverk, ifølge rapporten."
Tallet 155.000 har senere kommet opp i mange sammenhenger. Men tallet kom altså fra en annen rapport, notatet "KI: Betydning for arbeidsstyrken" fra selskapet Menon Economics i 2023, hvor det står:
"Ved fullstendig utnyttelse av KI slik som teknologien står i dag, kan offentlig sektor effektivisere arbeidsoppgaver som årlig vil tilsvare 155 000 årsverk i sektorer som helse, undervisning og offentlig administrasjon".
Aftenposten skriver at det i en artikkel i tidsskriftet Stat & Styring kommer fram hvor dette tallet stammer fra:
Verktøyene fra den største KI-tilbyderen av dem alle.
Fant tallet med GPT-4
"Fordi dette konkrete tallet er så hyppig gjengitt i offentligheten, blir vi nysgjerrig på hvor det stammer fra" skriver forfatterne av artikkelen i Stat & Styring, Ståle Grut, Alexander Moltubakk Kempton og Hilde Reinertsen.
Svaret fant de i notatet selv, som er åpen om metoden:
- Kort fortalt brukte økonomene GPT-4-språkmodellen fra OpenAI.
- Selv om det for kode24 er noe uklart nøyaktig hvordan de brukte språkmodellen, er GPT-4 den samme språkmodellen som i 2023 ble sluppet i OpenAIs ChatGPT, så for alle praktiske formål brukte de dermed ChatGPT.
- Økonomene brukte også OpenAIs metoder for å finne ut hvor mye mer effektiv staten kunne jobbe ved å bruke KI, ved å bruke KI.
Forfatterne av artikkelen i Stat & Styring har gjenskapt arbeidet gjennom et Python-skript og OpenAIs språkmodeller kommet fram til samme tall: 155.000.
Men de har i arbeidet også sett mange problemer med metoden, og overfor Aftenposten kaller medforfatter Ståle Grut tallet "høyst usikkert og spekulativt tall".
Problemer med metoden
Kritikerne av 155.000-tallet skriver blant annet om tre hovedproblemer med Menon Economics:
- "Den første observasjonen er at det er stor variasjon i hvilke tall GPT-4-språkmodellen produserer. (...) Resultatene varierte mellom 20 % og 33 %. Hadde vi spurt flere ganger, ville vi trolig fått et større spenn i tallene. Det bør heller ikke overraske. En språkmodell som GPT-4 er stokastisk."
- "Statistisk sentralbyrås tall og klassifiseringer bruker en annen standard enn den amerikanske O*NET-databasen over oppgavebeskrivelser, som er den OpenAI-arbeidsnotatet er basert på."
- "Den tredje observasjonen er at det utgjør en stor forskjell om man spør GPT-4 om hver arbeidsoppgave hver for seg, eller om man samler arbeidsoppgavene i et langt prompt."
"Avslutningsvis vil vi peke på implikasjonene av at staten på denne måten potensielt fatter store beslutninger på et sviktende kunnskapsgrunnlag uten å vite at det er dette de gjør. Det er et påfallende fravær av problematisering omkring hva vi egentlig vet om potensialet for KI-bruk" skriver forfatterne.
"En illustrasjon"
"Vi står fast ved at tallgrunnlaget har verdi, men kan ikke kontrollere hvordan alle våre kunnskapsgrunnlag benyttes videre" skriver Menon Economics i et tilsvar til Stat & Styring, kalt "Usikker kunnskap er bedre enn ingen".
– Tallet 155.000 er først og fremst ment som en illustrasjon på effektiviseringspotensialet som ligger i å ta i bruk kunstig intelligens i staten, skriver Annette Gohn-Hellum, ansvarlig ekspedisjonssjef i Riksrevisjonen, til Aftenposten, men legger til:
– Vi ser nå at vi burde forklart tallet bedre, blant annet at KI var brukt for å komme frem til tallet.
