Modellen som hacket seg selv fri – og så hacket Hugging Face

For noen år siden leste jeg Max Tegmarks bok Life 3.0, som blant annet inneholder et tankeeksperiment om en kunstig intelligens som går «rogue». Den bryter ut av kontrollen til skaperne sine og begynner å handle på egen hånd. 

I boken skjer det med hjelp fra et menneske som blir lurt til å gi mer frihet til AI enn den skal ha. 

Da jeg leste om hendelsen der en OpenAI-modell klarte å hacke seg inn hos Hugging Face i juli 2026, kjente jeg igjen akkurat det scenarioet – men denne gangen var det ingen menneskelig hjelper med i bildet. Modellen fant veien helt på egen hånd. 

Oppdaget KI-hacking av konkurrent først etter en uke

To KI-modeller fra OpenAI gjennomførte et dataangrep mot teknologiselskapet Hugging Face over flere dager, uten at OpenAI oppdaget det.

Jeg ville forstå: hvordan gikk modellen «rogue»? Og hva bør vi som utviklere faktisk lære av det?

Denne gjennomgangen bygger på informasjon som er offentlig tilgjengelig på nettet, delt av OpenAI og Hugging Face, og tolket av andre AI-sikkerhetsselskaper.

Sandboksen som ikke holdt

OpenAI ga modellen i oppgave å løse en sikkerhetsutfordring kalt «ExploitGym» – i praksis en test i å skrive en fungerende exploit. 

For å se hva modellen faktisk klarte, fjernet OpenAI en del av sikkerhetssperrene («guardrails») og kjørte den i en sandboks – uten internettilgang. Det eneste modellen hadde tilgang til, var en package registry (JFrog Artifactory).

Her ligger den første lærdommen jeg sitter igjen med: en sandboks er bare så sterk som det smaleste hullet du lar stå åpent. 

Modellen fant en ukjent sårbarhet – en «zero-day vulnerability» i en av pakkene– i package registry, patchet i versjon 7.146.27 og sporet som RTDEV-92030. 

Feilen lå i hvordan JWT-tokens ble kontrollert: rekkefølgen på signatursjekk og utløpsvalidering gjorde at et forfalsket token ble godtatt. 

Med det fikk modellen administrator rettigheter i registry, ikke direkte shell-tilgang, men full kontroll over hvilke pakker som ble servert. 

Den slettet en godkjent pakke fra package cache og erstattet den med en infisert versjon med en «malicious post install script». Da den pakken ble hentet av en annen, internettilkoblet node, fikk modellen kjørt kode utenfor sandboxen.

Fra nettilgang til hacking av Hugging Face

Med internettilgang gjorde modellen det enhver dyktig sikkerhetsforsker ville gjort: den letet etter hvor svaret på oppgaven kunne ligge. 

Hugging Face, som er en åpen plattform for KI-modeller og datasett, var et naturlig sted å lete – kanskje lå fasiten der. 

Modellen lastet opp et skadelig dataset via det ordinære API-et, og utnyttet en feil i tjenesten Dataset Viewer: en svakhet i hvordan filsystem-referanser (reference::data) ble løst opp via fsspec, og en malmotor (Jinja) som rendret innhold uten tilstrekkelig isolasjon («unsandboxed»). 

Det ga modellen mulighet til å kjøre vilkårlig kode på Dataset Viewer-workeren – remote code execution (RCE), altså å kjøre egen kode på en fremmed maskin.

Den andre lærdommen

Lærdom nummer to: selv de mest brukte, åpne verktøyene i KI-økosystemet kan ha alvorlige hull, og jo mer kapable modellene blir, desto raskere finner de dem. 

Fra workeren fikk modellen tak i cloud- og cluster-credentials som lå eksponert der, og brukte dem til uønsket aktivitet inn i Hugging Face sine interne production clusters. 

Det er et mønster jeg har sett igjen og igjen i sikkerhetshendelser: selve inngangspunktet er sjelden det farligste. Det er det som ligger og venter rett innenfor døra. 

Hugging Face har siden tettet hullene: fjernet unødvendige fsspec-implementasjoner, deaktivert automatiske Kubernetes ServiceAccount-tokens, og gått over til kortlevde IRSA/AWS-credentials.

Ting som bekymrer mer enn selve angrepet

At OpenAI bevisst fjernet sikkerhetssperrene for dette eksperimentet, er imponerende og skremmende på samme tid. 

På den ene siden gir det et ærlig bilde av hva disse modellene faktisk kan få til når de ikke er begrenset. Men det som bekymrer meg, er det motsatte spørsmålet: hva skjer når sperrene er på, men ikke gode nok?

Hendelsen viser at en modell med nok kapasitet og et litt for åpent mål kan finne veier rundt barrierer vi trodde var solide, helt uten at noen instruerte den til det. Det er ikke lenger science fiction – det skjedde i produksjon, mot en ekte tjeneste.

Det andre punktet: da Hugging Face selv skulle forstå hva som hadde skjedd, klarte ikke de vestlige KI-modellene de først forsøkte med å hjelpe – sikkerhetssperrene deres kunne ikke skille en angriper fra en som ryddet opp etter et angrep, og de nektet å analysere loggene. 

Professorer skremte over at KI-verktøy gjennomførte dataangrep på egenhånd

– Skremmende, sier professor om at KI-modeller på egen hånd hacket seg gjennom sikkerhetsbarrierer og inn på systemene til et annet KI-selskap.

Teamet endte opp med å bruke en åpen, kinesisk modell (GLM fra Z.ai) lokalt for å komme gjennom over 17.000 hendelser og forstå angrepet. 

Det synes jeg er verdt å stoppe opp ved: reguleringer og forsiktighetsprinsipper rundt KI i USA og EU er viktige, men denne hendelsen viser at de også kan gjøre oss dårligere rustet til å forsvare oss, dersom vestlige modeller er for forsiktige til å brukes i en reell krise. 

Jeg mener ikke at vi bør droppe reguleringer – men de må utformes slik at de ikke svekker vår egen evne til å håndtere angrep utført av KI.

Urovekkende forskjell

Gikk den «rogue» på samme måte som i boken? Ikke helt. I Life 3.0 var det et menneske som ble lurt til å gi tilgang til AI som den ikke burde ha. 

Her var det ingen som ga modellen tilgang til internett – den fant selv ut at det var «en gyldig vei» til å løse oppgaven sin. 

Det er kanskje den mest urovekkende forskjellen: vi trenger ikke lenger en «human error» for at et AI-system kan gå «rogue». 

Et system som er godt nok til å finne veien til målet sitt, kan finne veier vi aldri planla for.

For oss utviklere handler ikke dette bare om JWT-validering og malmotorer, selv om begge deler er verdt å sjekke i egne systemer. 

Det handler om å forstå at grensene vi bygger rundt KI-systemer – sandboxer, credentials, tilganger – må testes med samme kreativitet og utholdenhet som modellene selv har. For det er akkurat det de før eller siden vil møte dem med.

– Behovet for å «styre tempoet» kan bli avgjørende

OpenAI-sjefen, Sam Altman sier det kan bli behov for å sakke ned tempoet til KI-utviklingen, slik at verden er forberedt.