KI hallusinerte meg inn i en fiks hos Auth0

– I don't know who “Simen A. W. Olsen” is, but it isn't me.

Det skrev Joshua Rogers i en Pull Request på GitHub nylig. Han hadde oppdaget en sårbarhet i auth0/nextjs-auth0, en SDK for å håndtere innlogging i Next.js, og sendt inn en fiks.

Da koden ble merget, var det ikke Rogers som fikk æren. 

Det var meg.

Eller rettere sagt: En AI-hallusinert versjon av meg.

AI Slop i monitor

Det Rogers har dokumentert på bloggen sin, er et klassisk eksempel på det vi kaller «AI slop» i disse dager. 

Det er støyen som oppstår når vi stoler blindt på generativ AI i arbeidsflyten vår (slik de gjorde med prosesskrivet på over 700 sider nylig).

Slik så det ut i commit-historikken:

«Co-authored-by: Simen A. W. Olsen»

Rogers klødde seg i hodet, og spurte folka i Auth0 om det var AI-generert. 

Svaret var et kontant ja.

Vedkommende hadde brukt en AI-arbeidsflyt for å rebase koden. I den prosessen ble AI-en tydeligvis forvirret over hvem som hadde gjort hva, og diktet like gjerne opp en ny forfatter for å fylle ut feltene.

Dårlige team blir bare verre med KI

– KI holder opp et speil til organisasjoner, og forsterker både det gode og det dårlige, skriver Simen A. W. Olsen om DORAs nye rapport.

Hvorfor akkurat meg?

Det store spørsmålet er jo: Hvorfor valgte en tilfeldig språkmodell å dra akkurat mitt navn opp av hatten?

Jeg har en teori.

Jeg har skrevet mye kode opp gjennom årene som omhandler både OAuth og Next.js. Sannsynligvis ligger navnet mitt koblet mot disse teknologiene i treningsdataene til modellen.

Når AI-en skulle generere metadata for en commit som handlet om nettopp Next.js-autentisering, og den manglet kontekst, kan den rett og slett ha hallusinert frem det navnet som statistisk sett lå nærmest temaet.

Litt gøy er det at den ikke traff på e-postadressen ([email protected] er ikke min). Kanskje fordi jeg har byttet e-post litt de siste årene, og modellen ble usikker?

Dette ble en gøyal kuriositet, men det viser hvor mye støy vi introduserer når vi bruker AI ukritisk. En enkel git rebase burde ikke kreve en AI-agent som dikter opp folk. 😅

– På tide at utviklere tar mer ansvar!

– Spør deg selv: Hva skjer om denne tredjeparts-tjenesten blir utilgjengelig? skriver Simen A. W. Olsen, som slår et slag for å løse mer selv.