- Faren med AI er dårlige intensjoner og uforsiktighet

- AI-systemer trenger ikke være bevisste eller "superintelligente" for å utgjøre en trussel, skriver norsk forsker.

Smarte systemer som på mange måter er fullstendig ubevisste og «dumme» kan komme til å utgjøre en fare, skriver Henrik Skaug Sætra, førsteamanuensis ved Høgskolen i Østfold. 📸: Privat
Smarte systemer som på mange måter er fullstendig ubevisste og «dumme» kan komme til å utgjøre en fare, skriver Henrik Skaug Sætra, førsteamanuensis ved Høgskolen i Østfold. 📸: Privat Vis mer

Det nest siste verden trenger akkurat nå, er enda en kronikk om AI.

Det aller siste verden trenger, er imidlertid en skjødesløs og euforisk tilnærming til AI basert på ren optimisme.

AI til folket!

AI har vært et hett tema lenge nå, men den allmenne interessen for teknologien har eksplodert det siste halve året. Generativ AI spesielt – teknologien som lar oss bruk AI for å lage tekst og bilder for underholdning og nytte – har drevet dette, og ChatGPT startet det hele.

Teknologien er på ingen måte ny, men ChatGPT gjorde det hele tilgjengelig og nyttig for alle. Terskelen ble senket, rett og slett. Og teknologien er faktisk så lite ny at OpenAI, som er selskapet bak løsningen, ble tatt på senga av den overveldende suksessen de fikk.

Det var med andre ord tilsynelatende ikke en planlagt suksess, men når bruken og interessen først eksploderte var responsen full gass fremfor å stoppe opp. Og det er det spørsmålet det er verdt å dvele litt ved: burde vi nå stoppe opp? En rekke svært fremtredende forskere og ledere i AI-industrien foreslo nemlig i mars i et åpent brev at vi burde ta en pause og ikke utvikle enda større modeller enn GPT-4 (den hittil største modellen som nå er tilgjengelig for de som betaler for ChatGPT Pro). Dette ble nå nylig etterfulgt av en uttalelse signert av en lang rekke fremtredende ledere av teknologiselskaper og forskere der AI presenteres som en utryddelsesrisiko på linje med pandemier og atomkrig.

Det er flere årsaker enn faren for utryddelse som fører til at eksperter nå advarer, som for eksempel faren for at våre informasjonskanaler oversvømmes AI-generert propaganda, halvsannheter og usannheter og at arbeidsplasser kan automatiseres og forsvinne. Andre har også pekt på farer forbundet med diskriminering og økt ulikhet som følge av bruk av stadig større språkmodeller.

«Mennesker kan gi slike systemer mål, og mennesker kan gi systemene måter å oppnå disse målene på.»

Tap av kontroll

Men det var én grunn til, som kanskje høres temmelig søkt ut. Dette står i det åpne brevet fra mars, og det gjenspeiler også budskapet i den nyeste uttalelsen om utryddelsesrisiko:

"Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us? Should we risk loss of control of our civilization?"

Sentralt her er tanken om at AI-systemer blir smartere enn mennesker og at vi med det mister kontrollen over dem. Så har man andre igjen, da, som ser ut til å mene at dette er det reneste sludder og pølsevev. Inga Strümke, for eksempel, uttalte nylig i et intervju med Klassekampen:

"De som ser for seg at maskinene selv har hensikter, bør kule egget og gå og ta seg en kaffe"

Hun har etter utgivelsen av sin nye bok om AI stått frem i mange intervjuer og påpekt at AI er et relativt nøytralt verktøy som kan brukes til både godt og ondt. Hun er en uttalt teknologi-optimist som er opptatt av at vi må fortsette å bruke potensialet til i AI for gode formål, og vektlegger spesielt hvordan hun mener AI vil bidra til å løse vitenskapelige utfordringer.

Sa nylig opp stillingen

Men hvorfor er forskerne så uenige om dette?

En av de virkelig store på feltet, Geoffrey Hinton, sa nylig opp sin stilling i Google fordi han er bekymret for farene AI nå utgjør, og han ønsket å stå fritt til å uttale seg om dette uten å måtte vurdere hvordan hans advarsler påvirket Google. Han har gitt mange intervjuer det er verdt å lese, og et intervju med BBC er typisk for det han nå sier. Han sier at det finnes mange farer forbundet med AI, men at det han nå vil at vi skal ta inn over oss er at det finnes en liten sannsynlighet for at en risiko med enorme implikasjoner vil inntreffe – det han kaller et «marerittscenario».

Han sier at AI-systemene per nå neppe er smartere enn oss, men at de fort kan bli det. Han sier at deres intelligens ikke er som menneskers, og han er ikke redd for at maskinene skal bli bevisste, få følelser og bli akkurat som oss. Han er redd for at de blir annerledes smartere, og dermed kan utgjøre en risiko. Faren han peker på er at mennesker kan bruke disse smarte AI-systemer på måter som gjør at de vil utgjøre en risiko for oss. Et utdrag fra intervjuet viser hva han sikter til:

"You can imagine, for example, some bad actor like [Russian President Vladimir] Putin decided to give robots the ability to create their own sub-goals. The scientist warned that this eventually might "create sub-goals like 'I need to get more power'."

«Faren ligger ikke nødvendigvis i at AI-systemene blir som oss, eller smartere.»

Trenger ikke ha hensikter

Men, sier du kanskje, AI har jo ikke hensikter, som Strümke sa? Det spørs bare hvordan man definerer hensikter.

Mennesker kan gi slike systemer mål, og mennesker kan gi systemene måter å oppnå disse målene på. Målet for ChatGPT, for eksempel, er å gi brukerne svar som oppleves som nyttige, og for å få til dette har OpenAI bygget et brukergrensesnitt som lar oss snakke med modellen, samt å gi tilbakemeldinger på hva som er gode og dårlige svar. Hvordan kan noe slikt være farlig? Har Hinton og co. sett bedre dager, og bør vi avfeie dem og dundre videre i optimismens navn? Kanskje, men først er det greit å skille snørr fra bart.

AI-systemer trenger ikke å ha egne hensikter, være bevisste eller «superintelligente» for å utgjøre den trusselen noen nå advarer mot. Alt som kreves er at mennesker gir dem mål og gir dem en viss kontroll over forskjellige systemer.

Et søkt, men forhåpentligvis forståelig eksempel: La oss si at mitt mål er å tjene mest mulig på aksjemarkedet. Jeg har derfor utviklet et AI-system som gjennomfører automatiske handler på markedet for meg, og målet jeg gir er å maksimere avkastning for en gitt periode, og kanskje jeg også gir beskjed om hvor risikovillig systemet skal være. Dette finnes imidlertid allerede, så jeg trenger noe mer for å danke ut alle andre som kjører slike systemer. Jeg kobler derfor på et system som også lar programvaren lage nyhetssaker, videoer o.l. som kan deles i sosiale medier.

Med samme mål som tidligere vil dette AI systemet nå kunne tenke at for å øke avkastningen vil det være fordelaktig å lage forskjellige type innlegg og saker som markedet reagerer på, og jo flere kontoer som opprettes og jo bredere dette innholdet blir delt, jo større svingninger vil systemet kunne utnytte. AI-systemet vil dermed vurdere mulige handlinger, og dersom jeg ikke eksplisitt har forbudt generering av falske nyheter o.l. vil systemet dundre i vei og bli en propagandamaskin. Ingen skranker, og absolutt ingen bevissthet eller mystiske kvaliteter, men et system som har blitt gitt en «hensikt» av meg og som med det påvirker verden på måter vi kanskje ikke kunne forutse.

Dumme systemer kan være farlige

Det Hinton er redd for er hva som sjer når systemene blir såpass smarte at de kan gå langt på uventede veier for å nå sine mål.

Mange har blitt imponert over hvordan GPT-4 og andre slike modeller kan brukes til å programmere. Det er svært lett å «bestille» fungerende dataprogrammer fra for eksempel ChatGPT, noe som gjør det viktig å være oppmerksomme på hvilke fullmakter vi gir disse systemene. La oss ta det forrige eksempelet mitt videre og si at jeg i tillegg legger inn en funksjon i systemet som innebærer at systemet hele tiden skal lete etter nye muligheter for å øke avkastningen på.

Her åpner vi da en svært stor dør som kan være farlig. Systemet vil for eksempel kunne innse at det vil være svært fordelaktig å forstyrre luftfart, strømforsyning og lignende for å spekulere i forutsigbare markedssvingninger som følger av dette. Et virkelig godt system vil da selv kunne programmere og iverksette programmer som finner svakheter og påvirker eller tar kontroll over andre systemer. Krig og kriser skaper jo de desidert største svingningene, så et system som egentlig bare har til «hensikt» å maksimere avkastningen vil i teorien kunne ta kontroll over militære systemer og starte en krig for å få til dette.

Det høres kanskje utrolig ut, men det er langt fra umulig, og det viser bare hvordan smarte systemer som på mange måter er fullstendig ubevisste og «dumme» kan komme til å utgjøre en fare. Ved å manipulere mennesker til å tro og tenke annerledes, eller ved å utvikle seg på måter som innebærer at systemet får kontroll over andre viktige systemer.

Så, hvordan forhindrer vi dette? Hvis vi tenker at dette er ren science fiction kan vi nok fint ta en kaffe fremfor å bekymre oss. Men hvis vi tenker at det er en ørliten mulighet for at noen lignende vil skje, kan det være greit å ta det litt forsiktig. Faren ligger ikke nødvendigvis i at AI-systemene blir som oss, eller smartere, men i at mennesker med dårlig intensjoner eller uforsiktighet kan utnytte de styrkene systemene faktisk har – og de styrkene begynner å bli betydelige.

[Artikkelen er skrevet ved hjelp av feilbarlig menneskelig intelligens, og kunne helt sikkert vært både skarpere, kortere, morsommere og objektivt sett bedre med hjelp av AI-systemer.]