Frykter sjefer med KI-FOMO, uten teknisk innsikt

Hovedpoenget i leserinnlegget «Frustrert av AI-press på jobb: En katastrofe som venter på å skje» er:

«Ledere uten teknisk kompetanse på generativ KI tar dårlige beslutninger som kan få katastrofale konsekvenser.»

Frustrert av AI-press: «Kata­strofe som venter på å skje»

– Det finnes ikke den oppgave som ikke skal løses med en språkmodell. Men som utvikler, vet jeg jo at dette er regelrett tull.

Dessverre druknet dette viktige budskapet i fordummende forenklinger om hvordan språkmodeller fungerer og feilaktige påstander om hvor lite generativ KI egentlig er egnet til.

Først: KI kan mye

At språkmodeller kun er statistikk og derfor ikke intelligens er en såkalt non sequitur, altså en konklusjon som ikke følger logisk fra premissene. 

Flere anerkjente forskere, bl.a. Jürgen Schmidhuber, taler for at kompresjon er intelligens. Ved å komprimere all verdens tekst til en fil på noen hundre GB må språkmodeller utvikle abstrakte representasjoner av komplekse mønstre, ikke bare en oversikt over hvilke ord som ofte forekommer sammen. 

Kronikkforfatteren avskriver altså teknologiens verdi ved å forenkle den til det fordummende.

Videre påstår forfatteren at problemet er ledere som tvinger frem bruk av KI til alle formål, og dette til tross for at teknologien kun er virkelig god til en liten håndfull oppgaver. 

Dessverre er det påstanden om hvor lite teknologien er egnet til som fanger min oppmerksomhet. I motsetning til forfatteren mener jeg potensialet for bruksområder nærmest er uendelige, selv om teknologien ikke kan eller bør brukes til alt. 

Mitt poeng er: Uansett hva KI er egnet til eller ikke så er dette irrelevant med tanke på hovedbudskapet. Det får være en diskusjon for en annen anledning. 

Så: Inkompetente beslutningstagere

Jeg vil heller lede lesernes oppmerksomhet til det viktigste budskapet, som både jeg og forfatteren er forent om, nemlig at ledere uten teknisk kompetanse på generativ KI tar dårlige beslutninger som kan få katastrofale konsekvenser.

Jeg spør meg: Er dette nytt? Inkompetente beslutningstagere har vel alltid vært et problem? 

Det har jo alltid vært et press på å øke marginer, alltid en ny, vidunderlig teknologi som løser alt og alltid et endeløst gap mellom ledernes forventninger og teknologiens muligheter. 

Derfor har også dårlige beslutninger alltid vært et problem. Det er ikke nytt. 

Det som er nytt er at de dårlige beslutningene rundt generativ kunstig intelligens medfører langt mer alvorlige konsekvenser enn vi har sett tidligere.

Tidligere har konsekvenser av dårlige beslutninger vært synlige. 

En beslutning om å bruke mikrotjenester i et prosjekt der teknologien var uegnet har ført til sprengt budsjett og treg fremgang. I andre tilfeller har dårlige beslutninger ført til dårligere kvalitet på tjenestene, som for eksempel de prehistoriske chatbottene vi har kranglet med i årevis før språkmodeller ankom. 

Når direkte konsekvenser av de dårlige beslutningene er synlige og etterrettelige, koster det mer for ledere å ikke la noen beslutninger være opp til fagpersoner. 

Skremt av AI-hype: «Går kaldt nedover ryggen min»

– Jeg savner diskusjoner blant utviklere om hva vi nå står ovenfor, skriver Arja Sivapiragasam.

KI validerer dårlige ideer

Dessverre er ikke dette tilfelle når det gjelder språkmodeller. Språkmodeller tilfører en ny dimensjon. 

De er nemlig trent opp til å være overbevisende. De snakker ikke nødvendigvis sant og de klarer ikke nødvendigvis å løse oppgaven de får tildelt, men de er gode på å overbevise oss om at de har klart det. 

Det blir derfor vanskelig å oppdage når noe er feil, og spesielt om vi selv ikke har tilstrekkelig faglig kompetanse til å vurdere resultatet.

De største språkmodellene på markedet er også trent opp til å være validerende. De gir deg selvtillit, får deg til å føle deg smart og kreativ og hva enn du selv ønsker å identifisere deg med. Uansett hvilken idé du deler med en språkmodell vil du få vite at den ikke bare er god, men intet mindre enn genial. 

Ikke spør ChatGPT om det finnes en sjøhest-emoji

For er det én ting KI-verktøy ikke liker, er det å svare «nei».

Det er nærliggende å tro at noe av kommunikasjonen vi tidligere hadde med hverandre nå er erstattet av samtaler med en språkmodell. Men hva skjer når vi har en teknologi som validerer dårlige ideer? 

Og hva skjer når ledere med utilstrekkelig teknisk kompetanse sparrer med KI om KI-ideer? Vil de bli overbevist om at deres egen idé er god til den grad at de ikke lenger kjenner et behov for å dobbeltsjekke med fageksperter før beslutninger skal tas? 

Utilstrekkelig teknisk kompetanse er nemlig en av de beste forutsetningene for å komme på dårlige ideer.

Jeg vet det er gammelt nytt å si at språkmodeller bare sier det du vil høre, men jeg gjentar gjerne poenget til vi alle har tatt innover oss hva konsekvensene av nettopp dette er.

KI-FOMO kan forverre kvaliteten

Som nevnt tidligere mener jeg, i motsetning til forfatteren av det opprinnelige leserinnlegget, at bruksområdene til generativ kunstig intelligens nærmest er uendelige. Enhver definert prosess som innebærer et eller flere ledd der oppgaven kan defineres som input og output av tekst er en kandidat for automatisering. 

Jeg påstår ikke at språkmodeller vil forbedre alle funksjoner de kan overta, men at de kan utføre et arbeid i nesten hvilken som helst funksjon. 

Dårlige beslutninger vil derfor føre til at vi lar språkmodeller ta over funksjoner der de forverrer kvaliteten på arbeidet som utføres.

Når alle ledere har KI-FOMO, urealistiske forventninger og samtidig blir utsatt for press om å levere verdi, så vil dårlige beslutninger komme på løpende bånd. 

Hva om språkmodeller brukes i stadig flere samfunnsfunksjoner? Hva vil konsekvensene av å bruke språkmodeller til saksbehandling i NAV være? Eller til en rapport der kommunen skal anbefale skolekutt?

Tromsø til ChatGPT: «Vær prosjekt­leder!»

Chatloggene viser nøyaktig hva Tromsø kommune bak AI-en om.

KI handler ikke bare om kvalitet

Jeg så en lærerik presentasjon der Chris Simon ber alle som tar i bruk KI tenke gjennom «Supply Chain Ethics» og «Product-side Risks» før man tar beslutninger:

Det er nemlig ikke bare kvalitet på arbeidet som er en mulig risiko ved å ta i bruk generativ kunstig intelligens: 

• Simon problematiserer hvorvidt det er etisk riktig å ta i bruk teknologien når man tar i betraktning strømforbruk, arbeidernes vilkår og at modellene er trent opp på data som er beskyttet av opphavsrett. 
• Når det gjelder kartlegging av risiko på produktsiden viste han til hallusinering, bias, og psyko-sosial effekt på mennesker. Språkmodeller er ikke nøytrale. De gjengir bare ny data basert på mønstre de har lært fra å lese på internett. Denne teksten inneholder bias og kan føre til diskriminerende uttalelser fra språkmodellene. 
• Kanskje er dette ikke viktig hvis man vurderer å bygge inn en språkmodell for å tilby personlige treningsprogram, men hva om den samme språkmodellen brukes i alle mulige slags samfunnsfunksjoner? Vil det at den diskrimenerer bittelitt i veldig mange ulike sammenhenger, påvirke oss og samfunnet vi lever i? Er det noen som skal ta ansvar for konsekvensene?

Katastrofen venter på å skje

Jeg er enig i uttalelsen til forfatteren av det opprinnelige leserinnlegget: Dette er en katastrofe som venter på å skje. 

Men katastrofen er ikke at bedrifter sparker utviklere i den tro at selv bestemor kan vibe-kode og derfor ender opp med en bedrift som ikke lenger skaper verdi. 

Katastrofen er at vi bygger kritisk infrastruktur – i bedrifter, i det offentlige, i samfunnet – besluttet av ledere som ikke forstår teknologien, med dårlige ideer validert av chatbots som er trent til å si ja til alt. 

På sikt vil språkmodeller gjennomsyre samfunnet uten at vi har tenkt over følgene, enten de benyttes i HR-systemer som screener jobbsøker, i skoleverket for vurdering av elevprestasjoner eller til anbefaling av straffeutmålinger i rettsvesenet.

Dårlige team blir bare verre med KI

– KI holder opp et speil til organisasjoner, og forsterker både det gode og det dårlige, skriver Simen A. W. Olsen om DORAs nye rapport.

Hvilke spørsmål må man kunne besvare for å ta gode beslutninger?

Her har jeg fått Claude Sonnet 4.5 til å skrive en liste som samler mine tanker. 

Jeg ga den et av mine mest brukte prompts, som er å be språkmodellen stille meg ett og ett spørsmål, vente på mitt svar, for så å stille det neste, helt til jeg sa at den skulle oppsummere det jeg har svart. Jeg ville kanskje pyntet litt på det selv, men tenker det er litt interessant å la det være urørt.

«Før enhver KI-implementering må noen med faktisk kompetanse kunne svare på:

• Fungerer dette til tiltenkt bruksområde? Hvordan vet vi det?
• Hvis det ikke fungerer, hvordan oppdager vi det? Før det gjør skade?
• Hva er konsekvensene av å bruke en språkmodell til akkurat denne funksjonen?
• Hvordan håndterer vi hallusinasjoner?
• Hvordan sikrer vi mot bias og diskriminering?
• Hva er den psykososiale påvirkningen på brukerne?
• Hva er de etiske konsekvensene av energiforbruk, RLHF-arbeidere og datainnsyn?
• Hvor avhengige blir vi av leverandøren? Hva er exit-strategien?

Og disse spørsmålene kan ikke besvares av:

• En chatbot som validerer ideen din
• En konsulent som selger løsningen
• En demo som ser imponerende ut
• En leder som laget en app på én time

De må besvares av fagfolk. 

Med reell kompetanse. 

Som får lov til å si nei.»

Lei av KI-press? Dette har du krav på!

– Norsk lov krever at ledelsen drøfter nye verktøy som påvirker ansatte, skriver Petr Vasilev i EL og IT Forbundet om medbestemmelsesrett.