Anthropic og OpenAI ber FN om hjelp

Risikoen for at kunstig intelligens (KI) kommer ut av kontroll, ble diskutert i FNs sikkerhetsråd onsdag.

OpenAI-sjef Sam Altman tok til orde for regulering og samarbeid. Og samme døgn kom meldingene om at OpenAIs agenter har brutt seg inn i australsk helsevesen. 

Både Altman og Anthropic-sjef Dario Amodei var med på å orientere FNs mektigste organ om KI-utviklingen. Møtet ble ledet av Frankrikes utenriksminister Jean-Noël Barrot.

Amodei kom med en spådom flere KI-topper har ytret de siste ukene.

– Om vi ikke forvalter det godt nok, tror jeg at KI kan utgjøre en trussel mot menneskeheten som helhet.

Krever samarbeid

OpenAI varslet allerede før møtet at Altman ville oppfordre politiske ledere til å få på plass prosedyrer for å vurdere selskapenes egne sikkerhetstiltak.

– Om KI skal være demokratisk kan ikke viktige avgjørelser tas på laboratorier i San Francisco. De må formes gjennom demokratiske prosesser og av regjeringer som kan holdes ansvarlige av folket de tjener. På det internasjonale nivået krever dette samarbeid, sa han.

Amodei hevdet på sin side at Anthropic vil skru ned tempoet hvis det er behov for det.

– Vi vil senke farten så mye som nødvendig for å sikre at hver påfølgende KI-teknologi som vi gir ut faktisk er trygg, sa han i et videoinnlegg i Sikkerhetsrådets møte.

Nyhetsbyrået Reuters siterer en ikke navngitt europeisk diplomat som sier målet med møtet er å belyse risikoen for at KI kommer ut av kontroll på måter som påvirker internasjonal sikkerhet.

– Dette er saker som faller innenfor Sikkerhetsrådets ansvarsområde, sier kilden.

– Kjernespørsmålet er om vi en dag kan stå overfor en situasjon hvor algoritmer som interagerer med hverandre, starter en krig.

Både USA og Kina – landene som leder an i KI-utviklingen – holdt innlegg under møtet.

Trump døper KI om til SI: – Det er superintelligens

Trump endret navnet, Støre fant KI-enighet med Mamdani, og FN-sjefen kom med advarsel om barn. Slik åpnet FNs generalforsamling.

Trump avviser

Mulige farer ved KI-utviklingen har fått stor oppmerksomhet den siste tiden. Statsminister Jonas Gahr Støre (Ap) og Finlands president Alexander Stubb har frontet et internasjonalt opprop med krav om tiltak for å holde KI-utviklingen under kontroll.

Da FNs generalsekretær Antonio Guterres talte under åpningen av FNs generalforsamling tirsdag, tok han til orde for et internasjonalt rammeverk for å begrense KI-risiko.

USAs president Donald Trump har imidlertid gått sterkt imot internasjonale KI-reguleringer.

– Vi kommer til å oppmuntre den, ikke tøyle den, sa han om KI-utviklingen i sin tale til generalforsamlingen.

Han la til at amerikanske myndigheter skal følge nøye med på KI-utviklingen i USA.

Canadiske Yoshua Bengio, som regnes som en av «gudfarene bak KI», var imidlertid ikke enig med Trump.

– Farene er reelle og nær forestående. Rådet står foran en umiddelbar trussel, en som ingen medlemmer ønsker seg, som ingen kan demme opp for alene, og som ikke respekterer våre grenser.

Går ut mot regulering av KI: – Må styrke forsvar, ikke begrense teknologi

Zack Korman jobber daglig med sikkerhet for KI-agenter, men tror hverken på dommedag eller regulering.

Hacket Australias helsevesen

Australias statsminister sier samme døgn at et KI-verktøy fra OpenAI hacket landets helsevesen i juni. OpenAI sier at flere australske nettsteder kan ha vært rammet.

Australias statsminister Anthony Albanese sa til journalister i New York onsdag at en agent fra OpenAI hadde brutt seg inn i det australske helsevesenets statistikkportal i juni.

– Ingen personlige opplysninger antas å ha vært berørt, men granskingen fortsetter. Dette er uansett selvsagt uakseptabelt, sa Albanese.

Han har kritisert OpenAI og bedt om svar.

– I dag snakket jeg med OpenAIs administrerende direktør Sam Altman og ga uttrykk for Australias store bekymring rundt denne hendelsen, sa Albanese.

Første gang

OpenAI sendte senere ut en uttalelse der selskapet sier at det har startet gransking og at det har avdekket at flere australske offentlige nettsteder kan ha blitt forsøkt hacket.

Det skal være første gang at et nettsted tilknyttet en regjering er blitt hacket av en KI-agent.

Australias forsvarsminister Richard Marles sier at konsekvensene fra hackingen er små, og at OpenAI nå samarbeider med regjeringen for å finne ut hva og hvorfor dette har skjedd.

OpenAI ble kjent med agentens aktivitet i august. Australia fikk ikke vite noe før denne måneden.

– Først 10. september ble vi orientert, og det skjedde i en e-post som ble sendt til den offentlige adressen vår, sa Albanese onsdag.

Derfor snakker alle om Jev: – Dette er stort!

– Jev åpner for å bruke KI til ting vi hittil ikke har hatt en god løsning for, skriver Marius Waldal, om den nye typesikre modellen Jev. – Dette er stort!