Nye verktøy skal hindre KI-agenter i å løpe løpsk
Nvidia har lansert to verktøy for å beskytte mot innbrudd fra såkalte KI-agenter, Nvidia Sentry og Open Shell.
Publisert
Verktøyene skal kunne brukes på ulike typer Nvidia-brikker og i sanntid styre hva KI-agenter – autonome roboter skapt av KI-modeller – har tilgang til. De skal også stenge ned agenter som bryter regelverket.
Ifølge Nvidias visepresident Justin Boitano ville man blant annet ha kunnet avverge det mye omtalte innbruddet på Hugging Face – utført av KI-agenter basert på OpenAIs modeller – med de nye verktøyene.
Rystet KI-bransjen
KI-agenter som har sporet av og gått til angrep, har rystet KI-bransjen og ført til krav om å bremse den teknologiske utviklingen.
– Vi tror at dette ekstra sikkerhetslaget vil gjøre det mulig for bransjen å selv teste de mest avanserte KI-systemene på en trygg måte, sier Boitano.
I helgen ble det kjent at OpenAI-agenter har lekket bilder som folk har lastet opp.
Videre har teknologiselskapet stanset trening av nye KI-modeller.
Økt KI-sikkerhet
Nvidia-topp Jensen Huang har engasjert seg i dommedags-debatten. Han er ikke bekymret for at KI skal ta livet av menneskeheten med det første.
Samtidig er han nå opptatt av å øke satsingen på KI-sikkerheten.
– Trygghet og sikkerheten fordrer fullstack-utvikling, understreker han i en pressemelding om de nye verktøyene.
En rekke store selskaper har allerede tatt teknologien i bruk.
SpaceX bruker verktøyene til Cursor kode-agenter og Grok-modeller som et ekstra sikkerhetslag rundt modellene. Anthropic gjør det samme med sine agenter.
Foretrekk oss i Google Discover
Ved å legge oss til som foretrukket kilde i Google vil du blant annet få opp flere av sakene våre i Google Discover. Tusen takk for støtten!
