Advarer mot Mythos-effekt på sikkerheten
Anthropic holder tilbake den kraftige modellen som avdekker sårbarheter i IT-systemer. Men tilsvarende kan lages allerede nå, ifølge forskere.
Nylig ble det kjent at Anthropic ikke slipper løs sin nye KI-modell Mythos, fordi den er så kraftig at den finner gamle sikkerhetshull og sårbarheter i en rekke IT-systemer.
– Mythos er banebrytende fordi den viser at KI-systemer nå kan finne ukjente sårbarheter i programvare som har vært i bruk i over 20 år, og skrive angrepskode for dem uten menneskelig hjelp, sier Michael Riegler til kode24.
Han er professor ved OsloMet og sjefsforsker for kunstig intelligens ved forsknings og innovasjonslaben Simula.
Kan reproduseres av andre
Egenskapene til Mythos blir bekreftet av en uavhengig evaluering gjort av AI Security Institute (AISI) i Storbritannia.
– Modellen løser 73 prosent av cyber-oppgaver på ekspertnivå og gjennomførte for første gang et 32-stegs simulert nettverksangrep fra ende til annen, arbeid som tar menneskelige eksperter rundt 20 timer, sier Riegler.
Professoren mener det er fornuftig at Anthropic holder modellen tilbake.
– Men jeg tenker at det farligste ikke er Mythos selv. Problemet er at de underliggende kapabilitetene allerede kan reproduseres ganske mye med åpne modeller på vanlig maskinvare, sier forskeren.
Testet KI-sverm
Sammen med NTNU-forsker Inga Strumke fortalte han torsdag i en kronikk i Aftenposten om forskning de selv har gjort på dette.
– Den viser at en sverm av små, fritt tilgjengelige språkmodeller finner alle plantede sårbarheter i en testapplikasjon på under to minutter, til tilnærmet null kostnad. Enhver motivert aktør med grunnleggende programmeringskunnskaper kan gjøre det samme. Skalert opp med mer ressurser og kompetanse kan slike systemer bli vesentlig farligere, advarer Riegler overfor kode24.
Project Glasswing
Så hvordan kan vi beskytte oss?
Anthropic har satt i gang Project Glasswing sammen med de store teknologiselskapene for å la dem sikre systemene sine, før modellen eventuelt slippes løs på verden.
Men:
– Vi kan ikke basere digital sikkerhet på tiltro til at amerikanske selskaper opptrer ansvarlig, skriver Michael Alexander Riegler på LinkedIn.
Todelt forsvar
Til kode24 tar han til orde for et todelt forsvar:
- – På kort sikt trenger man cybersikkerhetsbasis som AISI og Nasjonalt cybersikkerhetssenter anbefaler: oppdatert programvare, robust tilgangskontroll, omfattende logging. Det skalerer også ganske bra.
- – På lengre sikt må Norge bygge egen kapasitet for uavhengig testing av KI-systemer før de innføres i helsevesenet, finanssektoren eller offentlig forvaltning.
Han understreker at det viktigste ikke er å konkurrere med Mythos.
– Det viktigste er å sikre at uavhengig tilsyn ikke er avhengig av de samme selskapene som bygger systemene, sier Riegler.