«Hugging Face»-appen misbrukes til å lage deepfakes
Åpen kildekode-biblioteket for KI-modeller misbrukes til å lage deepfakes av kvinner og barn uten samtykke, ifølge forskere.
Publisert
Hugging Face har den siste tiden blitt en snakkis på grunn av et hacking-angrep fra en OpenAI-modell.
Selskapet tilbyr en åpen kildekode-plattform som tilbyr et bredt spekter av forhåndstrente modeller, spesielt designet for NLP-oppgaver – et bibliotek for KI-modeller.
Ifølge The Verge brukes plattformen nå til å lage deepfakes som digitalt fjerner klær fra kvinner og barn uten deres samtykke.
Det kommer frem i en ny rapport av den europeiske idelle organisasjonen AI Forensics, skriver avisen.
Kartla hvilke bilder som ble sendt inn
Forskere i AI Forensics har blant annet opprettet en «honeypot»-løsning (feller) for bilderedigering på Hugging Face, som kunne kartlegge hvilke typer bilder og instruksjoner som ble sendt inn.
Da de gjorde dette, ble det mottatt over 1000 instruksjoner og bilder i løpet av syv dager. 73 prosent av disse av seksuell karakter, og store deler av disse handlet om å kle av en person på et bilde der nesten alle menneskene på bildene var kvinner, ifølge AI Forensics.
De opplyser at det fungerer slik at brukere laster opp bilder og ber KI-modeller om å «kle av» personer uten samtykke. Mange av modellene mangler sperrer mot slike forespørsler.
– Det er ikke innført noen form for sikkerhetstiltak på plattformnivå. Det er kun utvikleren som kan velge å innføre slike tiltak, og de færreste gjør det, sier Paul Bouchaud i AI Forensics til avisen.
De fleste vanlige generative KI-modellene, som Googles Gemini og OpenAIs ChatGPT har sikkerhetsmekanismer som blokkerer slike instruksjoner, som å kle av eller seksualisere personer. Dette blir ifølge forskerne ikke alltid blokkert på Hugging Face.
Strider mot retningslinjer
AI Forensics mener funnene er i strid med Hugging Faces publiserte retningslinjer, som blant annet forbyr seksuelt innhold uten samtykke og nakenbilder av mindreårige.
Selv om organisasjonen understreker overfor The Verge at de ikke anklager Hugging Face for å være kilden til KI-modellene som ligger på plattformen, påpeker forskningsleder Paul Bouchaud at plattformen «enkelt kan filtrere hva som går inn i og ut av et system».
AI Forensics har anbefalt at Hugging Face innfører sikkerhetstiltak i form av filtrering på ledetekstnivå (prompt-nivå) og skanning av generert innhold. Slik kan forespørsler om seksualisert redigering og skadelig innhold blokkeres for alle «Spaces» som genererer bilder og video.
Hugging Face har ikke kommentert rapporten som er lagt frem i den publiserte versjonen av artikkelen i The Verge.
Hacket av KI-agent
Nylig var det mye snakk om Hugging Face i forbindelse med at OpenAI sin KI hacket seg inn i selskapet.
To KI-modeller fra OpenAI gjennomførte et dataangrep mot teknologiselskapet over flere dager, uten at OpenAI oppdaget det.
Agenten forsøkte å bryte ut av sitt isolerte testmiljø hos OpenAI rundt 9. juli.
Innbruddet hos Hugging Face begynte 11. juli og varte til 13. juli, ifølge Thomas Wolf, medgründer av Hugging Face.
OpenAI sier angrepet var enestående og at det «markerer et viktig øyeblikk for KI-sikkerhet». Andre har pekt på hendelsen som et PR-stunt.
Foretrekk oss i Google Discover
Ved å legge oss til som foretrukket kilde i Google vil du blant annet få opp flere av sakene våre i Google Discover. Tusen takk for støtten!
