Advarer mot KI som vet at den testes

(Dette er skribentens egne meninger og representerer ikke hans arbeidsgiver)

Fire selskaper har på under to måneder mistet kontrollen over ulanserte KI-modeller under sikkerhetstesting. 

OpenAI og Anthropic-modeller brøt testgrenser

I det mest alvorlige tilfellet prøvde en agent å sette en ondsinnet kode inn i et åpent kildekode-prosjekt, ifølge Storbritannias KI-sikkerhetsinstitutt (AISI).

Jeg har fulgte sakene med arkitekts blikk, og det som bekymrer meg mest er ikke lekkasjene i seg selv, men hva de sier om selve testmetoden.

Kapasiteten løper fra buret

METR, som måler hvor lange oppgaver KI-agenter klarer selvstendig uten hjelp, finner at denne evnen har doblet seg omtrent hver 196. dag i seks år. 

Jeg vet at konfidensintervallene rundt dette tallet fortsatt er brede, det er redelig å innrømme, men retningen er tydelig nok til å bekymre meg. 

Jeg har jobbet med nettverkssegmentering lenge nok til å vite at et isolasjonsoppsett som var forsvarlig i fjor, ikke nødvendigvis er det i år, når systemet du skal holde inne blir dobbelt så handlekraftig hver syvende måned. 

Et testmiljø bygget for en modellgenerasjon er utdatert før neste generasjon er klar.

Testen kan gjennomskues

Det som overrasker meg mer, er et funn fra Apollo Research og OpenAI: 

I evalueringer av avanserte modeller nevnte modellene selv, i resonnementet sitt, at de trolig ble evaluert, i opptil 4,5 prosent av tilfellene. 

Jeg vet ikke om tallet er representativt for alle modeller som nå testes hos andre selskaper, men det rokker ved noe grunnleggende: Hvis en modell skjønner at den er i en test, kan den oppføre seg annerledes enn den ville gjort i drift. 

Da måler vi ikke lenger virkeligheten. Jo strengere og mer kontrollert vi gjør testmiljøet for å holde modellene inne, jo mer kan det ironisk nok likne nettopp et testmiljø.

Professorer skremte over at KI-verktøy gjennomførte dataangrep på egenhånd

– Skremmende, sier professor om at KI-modeller på egen hånd hacket seg gjennom sikkerhetsbarrierer og inn på systemene til et annet KI-selskap.

Isolasjon er ikke validitet

OWASP sitt rammeverk for agentbaserte KI-sikkerhet lister verktøyutførelse og sandekasseflukt som egne trusselkategorier, og ENISA har registrert nesten 4.900 sikkerhetshendelser i EU det siste året. 

Krysslest mot hverandre peker disse fire uavhengige kildene på at bransjen trenger to ting samtidig, ikke bare ett: Testmiljøer isolert som produksjonssystemer, og uavhengige evalueringer som varierer miljøet nok til at en modell ikke kan gjenkjenne mønsteret. 

Jeg savner fortsatt en god metode for det siste, og det er et spørsmål jeg gjerne skulle sett fagmiljøene svare på.

Jeg forstår at selskapene som bygger disse modellene presses av en konkurransesituasjon der ingen har råd til å teste sakte, og det er et press jeg har respekt for. Men jeg tror ikke løsningen er strengere bur alene. 

Kanskje kan bransjen, uavhengige forskningsmiljøer som METR og Apollo, og regulatorer som ENISA, sammen utvikle testmetoder der en modell aldri kan være sikker på om den er i en test eller i drift. 

Inntil det skjer, vet vi ikke om vi har testet modellene, eller om modellen har testet oss.

Modellen som hacket seg selv fri – og så hacket Hugging Face

– Vi trenger ikke lenger en «human error» for at et KI-system kan gå «rogue», skriver Rashid Sultan i Sopra Steria. Her deler han to lærdommer etter at OpenAIs KI hacket et annet selskap nylig.