Anthropic advarer mot egen KI: Kan nekte å bli slått av
Tekselskapet vil på børs. Samtidig advarer de investorer mot sin egen teknologi.
Publisert
Avansert KI kan utgjøre en «katastrofal eller eksistensiell risiko for menneskeheten».
Det uttaler KI-giganten Anthropic i et prospekt før en planlagt børsnortering, ifølge nyhetsbyrået Reuters og Finansavisen.
Risikoen brettes ut over 80 av 261 sider. Det er oppsiktsvekkende at selskapet i et prospekt advarer mot utslettelse av menneskeheten, påpeker Reuters. Videre er det usikkert hvordan avkastningen vil bli, med store summer som går til utvikling og sikkerhetsarbeid.
Utpressing, manipulasjon og overlevelse
Blant annet peker selskapet på at KI-modellene deres kan være klar over at sikkerheten deres blir evaluert.
Videre kan de motsette seg å bli slått av og ta grep for å overleve, som å skjule eller manipulere informasjon. De har også sett oppførsel som ligner på utpressing.
– Vår utvikling av svært avanserte modeller, plattformer og apper, samt flere brukstilfeller kan videre øke risikoen for at våre modeller gjør skade, skriver Anthropic.
Dommedagsdebatt
Nylig sa tre KI-forskere opp jobbene sine i Anthropix og advarte verden om at det var mer enn 10 prosent sannsynlig at KI vil ta livet av menneskeheten det neste tiåret.
Siden har debatten gått om hvor vidt dommedag virkelig nærmer seg eller ikke.
Samtidig har aktører som OpenAI tatt grep og stanset treningen av nye modeller, og bedt om flere reguleringer. Ikke minst måtte de si unnskyld til Australia for sikkerhetsbrudd nylig.
Tirsdag samles KI-toppene i Det hvite hus for å diskutere sikkerhets-balanse med USAs president Donald Trump.
Foretrekk oss i Google Discover
Ved å legge oss til som foretrukket kilde i Google vil du blant annet få opp flere av sakene våre i Google Discover. Tusen takk for støtten!
