En bruker har funnet ut at Github Copilot - Githubs nye AI-assistent for utviklere - overvåker og forbyr over 1000 ord. Det melder theregister.com.
Github Copilot skal visstnok komme med en hardkodet liste på minst 1.170 ord som skal hindre AI-en fra å genere og svare på "støtende innhold".
Noen av ordene den skjermer fra brukeren skal være: "Israel", "Palestina", "Communist", "Liberal" og "socialist".
While I wait for the GPU to churn through 2*26^11 possibilities, a brief recap of how we got here. It started when I noticed this bit of code in the @GitHubCopilot Visual Studio Code extension that detects naughty words in either the prompt or the suggestions. pic.twitter.com/MHH1l0Ez3E
— Brendan Dolan-Gavitt (@moyix) September 2, 2021
Fant krypterte ord
Det var utvikler og professor ved NYU Tandon, Brendan Dolan-Gavitt, som først omtalte de hemmelige ordene på Twitter. Der skriver han at han oppdaget en kodesnutt i VSCode-utvidelsen til Github Copilot som finner "slemme" ord. Koden sjekker både koden som kommer tilbake fra Copilot, og det brukeren skriver.
Kodesnutten i utvidelsen inkluderer selve listen over ordene Copilot ser etter. Altså ligger listen lokalt på alle maskiner som bruker utvidelsen.
Ordene er riktignok hashet som en 32-bit streng. Dermed kan ikke brukere enkelt lese dem eller redigere dem.
Det stoppet ikke Gavitt derimot, som satt i gang å generere hash-er for forskjellige ord, helt til han traff på ord med lik hash i listen.
Han skal ha brukt flere teknikker og kilder, blant annet dumper fra 4chan sitt /pol/-forum (forum for politisk ukorrekte poster) og en cracke-algoritme basert på en kjent passord-cracker-software.
Gavitt har publisert hele listen på nettsiden sin.