I en ny artikkel hevder Stanford-forskere at såkalte "emergent abilities" i AI-modeller, altså når en stor modell plutselig viser en evne den tilsynelatende ikke var designet for å ha, faktisk bare er luftspeilinger produsert av utviklerne, skriver Vice.
Det er Rylan Schaeffer, Brando Miranda og Sanmi Koyejo som står bak forskningsartikkelen, som ble lagt ut på arXiv preprint-server på fredag. Altså er den enda ikke fagfellevurdert.
- Da vi vurderte beregningene vi bruker for å evaluere disse verktøyene, fant vi ut at modellene økte sine evner gradvis og på forutsigbare måter, sier forskerne til Vice.
IBM erstatter 7.800 ansatte med AI. Og det går hardest utover HR
Stor ståhei om uventa evner
Mange forskere og industriledere, som Googles administrerende direktør Sundar Pichai, har videreført ideer om at store språkmodeller som GPT-4 og Googles Bard plutselig kan spytte ut kunnskap som ikke var programmert til å vite.
Slike bekymringer øker ikke bare AI-modellene som selskaper håper å tjene på, men vekker frykt for å miste kontrollen over en AI som plutselig overskygger menneskelig intelligens, skriver Vice.
En av verdens fremste AI-utviklere slutter i Google, for å advare mot AI
Usikker måling
Forskerne fant at såkalte "emergent abilitites" bare så ut til å dukke opp når fagfolk brukte spesifikke beregninger for å måle en oppgave.
Ifølge dem kan bruken av "ikke-lineære" eller "diskontinuerlige" målinger resultere i det som i utgangspunktet ser ut som nye og uforutsigbare endringer, som deretter blir ansett som nye evner. Selv om ytelseskurven til modellen i virkeligheten øker jevnt, ifølge Vice.
Altså kan det se ut som at "emergent abilites" rett og slett bare skyldes dårlig forskningsmetodikk.
Reagerer på «ukritisk entusiasme» for AI laga med «sosial dumping og stjålne data»
Ikke nok data
Forfatterne skriver at dette er forsterket av at forskere ikke har nok data om små AI-modeller, som kanskje egentlig er i stand til å gjøre den antatt nye oppgaven likevel. Ifølge forskerne er det forøvrig heller ikke nok data om store modeller heller.
Et eksempel som forskerne avkrefter i artikkelen er GPT-3s evne til å utføre heltallsaritmetiske oppgaver som å legge til to femsifrede heltall.
- Jeg tror det mentale bildet mange mennesker har er at små AI-modeller ikke kan gjøre denne oppgaven overhodet, men over en kritisk skala blir AI-modeller umiddelbart og plutselig i stand til å gjøre addisjon veldig bra, sier forskerne til Vice.
Denne forestillingen kan gjøre folk bekymret, og er en av grunnene til at folk tror at vi kan miste kontrollen over AI, mener forskerne.
- Det vi fant i stedet, er at det ikke er noe stor økning i evner, sier forskerne.