FFI bruker KI, men anser dem som innside­­trusler

Språkmodeller må ses på som innsidetrusler, slår Johan Vik Mathisen fast. 

Forskeren ved Forsvarets Forskningsinstitutt (FFI) har sett på risikoen ved å bruke KI på egne systemer og hvordan den kan reduseres.

Snart kommer en rapport om KI-sikkerhet, og tirsdag fortalte han og kolleger om hovedfunnene derifra. kode24 har også fått se et sammendrag av rapporten. 

Forskerne understreker at man ikke kan stole på outputen fra kunstig intelligens, og viser til at det er tre fundamentale utfordringer med store språkmodeller.

1. Vi kan ikke vite fullt ut hva modellene har lært. Dette kan utnyttes av trusselaktører i såkalte forgiftningsangrep, der treningsdata eller modellen blir manipulert for å innføre uønsket funksjonalitet. 

2. Når modellene tas i bruk kan den påvirkes og overstyres gjennom input, såkalt injeksjonsangrep. Årsaken er at språkmodeller mangler et skille på instruksjoner som skal utføres og data som skal prosesseres. 

3. Dette betyr at svarene vi får ikke er fullt ut pålitelige: Vi kan ikke stole på output. Modeller kan hallusinere, misforstå informasjon eller finne uønska snarveier for å løse en oppgave, ifølge FFI. 

Modeller som innsidetrusler

Videre peker Mathisen på at språkmodeller ofte blir trent med såkalt forsterkningslæring, at de får beskjed om hva de skal gjøre, men ikke hvordan. 

En kjent utfordring er at da at modellene kan gjøre valg og handlinger i konflikt med eksplisitte instruksjoner. På den måten blir modellene en innsidetrussel. 

– Når vi skal ta i bruk språkmodeller for å automatisere oppgaver, vil upålitelige handlinger i kombinasjon med manglende kontroll være hovedargumentet for å modellere språkmodeller som innsidetrusler. I funksjon, ikke i intensjon, utdyper Mathisen i frokostmøtet. 

Han understreker at sikker oppførsel må skje hele tiden for at system skal være sikkert.

– En database trenger bare slettes én gang for å få store konsekvenser, sier Mathisen. 

Mythos-modellen inn i Cisco- og IBM-produkter

Anthropics sterke sårbarhets-detektor av en modell skal inn i sikkerhetsprodukter fra tek-selskapene.

Tre tips for å begrense KI

For å begrense skadeomfanget av uønska handlinger, har forskerne følgende tips for å bygge sikkerheten rundt modellen: 

1. Isoler modellen: For eksempel sandkasser.

2. Ha informasjonsflyt- og tilgangskontroll: Identiets- og tilgangshåndtering bør gi agenter minst mulig privilegier for å løse oppgaver. Begrense hvor data og kontroll kan flyte. Med guardrails kontrollerer man input og output. Vurder også nulltillitsprinsippet (zero trust). 

3. Overvåk modellen: For å oppdage uønsket oppførsel i drift.

– Sikkerhet i KI må bygges i dybden, og det starter på systemnivå med harde grenser i form av isolasjon og flytkontroll, sier Mathisen. 

Sikkerheten må altså bygges i flere lag, og det holder ikke med ett tiltak. Sikkerhetstesting er også viktig, understreker han.

Samtidig må en agent ha tilganger for å gjøre oppgaver og endre på filer, ikke bare kunne lese, påpeker han. 

– I dag er språkmodeller det mest anvendelige verktøyet til å vurdere en annen språkmodells handlinger. Løsningen er åpenbart feilbarlig, men kan bidra til at systemet fungerer som tiltenkt, som å varsle et menneske. 

Posten Bring skal spare med KI, uten å sparke utviklere

Posten Bring skal spare 25 prosent, bli 300 færre ansatte, og bruke KI for å komme dit. Likevel skal de få flere egne utviklere, forteller topplederne.

– Må støtte seg på KI-verktøy

Selv om KI-utviklingen først har skutt fart de siste par årene, har Forsvaret brukt kunstig intelligens i over ti år operativt, ifølge forskningsdirektør Trygve Sparr.

Han leder avdelingen for sensor og overvåkningssystemer ved Forsvarets forskningsinstitutt (FFI), som også har ansvar for KI-satsingen. 

Samtidig har bredden i hva Forsvaret kan bruke KI på, økt kraftig.

– For eksempel var det et stort framskritt da vi kunne bruke kunstig intelligens til å analysere satelittdata for maritim overvåkning. Identifisere og detektere fartøyer ute på havet. Før KI kunne man manuelt analysere rundt to satelittdata i døgnet. Så kunne man analysere hundrevis av bilder i løpet av minutter, forteller Sparr på FFIs frokostmøte om KI og sikkerhet i Oslo tirsdag morgen. 

I dag tar de inn stadig nye kilder og satelittdata med stadig mer avansert KI. 

– Det gir veldig stor nytte for vår maritime overvåkning. Det er også en langsiktig målsetning at alle datastrømmer i Forsvaret skal kunne benyttes med KI og automatiserte metoder for å analysere dem, sier Sparr. 

Videre har har programvareutvikling blitt kraftig revolusjonert, og gjort KI uunnværlig, også i Forsvaret.

– Utviklere må støtte seg på KI-verktøy. Våre egne tester viser at uerfarne kan få til på dager det erfarne utviklere brukte månedsvis på tidligere. De kan kanskje også få til ting som ikke har vært mulig for folk som ikke var veldig eksperter, sier forskningsdirektøren. 

«Nekter» utviklerne å håndkode: Kaller dem fabrikksjefer

– Å si at vi ikke skal skrive kode for hånd har vært brått og vondt for mange, innrømmer produktdirektøren i Bislab.

– Fundamentalt for det vi driver med

FFI samarbeider tett med Forsvarets KI-senter om KI-satsingen, ikke minst i en felles lab kalt SEAL: «Sikkerhet, Evaluering og Analyse (av KI) Lab».

Der evaluerer de hva KI kan få til og risiko ved å bruke store språkmodeller innen nasjonal sikkerhet og Forsvaret, de gir råd om tekniske krav og rammeverk, og med hvordan man kan lage sikre agentiske systemer.

– Sikkerhet og ansvarlighet kan ikke være en ettertanke, men er fundamentalt for det vi driver med, sier Jo Saakvitne, leder for Forsvarets KI-senter. 

Han peker på at det å ligge i front på KI-bruk innen cybersikkerhet krever ekstra ressurser, men å la være kan øke risikoen. 

Fire KI-trusler

Og hvorfor sikre seg så godt man kan? Seniorforsker Håvard Tveit Ihle peker på fire ting som kan skje på kort sikt: 

• KI-drevne cyberangrep. – Vi burde anta at alle sårbare systember av verdi vil bli angrepet, sier Ihle. 

• KI-drevet cyberforsvar, også i sanntid. 

• KI-agenter som reproduserer seg.

• KI som lager smartere KI (rekursiv selvforbedring).

Samtidig ser Ihle at mangel på regnekraft og avtagende avkastning bidrar til en komplisert dynamikk. 

– Detaljene i hvordan dynamikken spiller seg ut, blir avgjørende for hvordan framtida vil se ut og hvor fort den framtida kommer til oss, sier Tveit i frokostmøtet. 

Ba Claude finne hull i koden deres. Det fant den

Sercan Leylek fikk utviklerne i Fremtind til å slippe Claude løs på kodebasene deres, med en «ClaudeHack Workshop».