KI fant over 100 feil utviklerne av cURL ikke fant selv
cURL-sjef Daniel Stenberg ser gode og dårlige sider ved KI.
Daniel Stenberg, skaperen av cURL, pratet nylig på den kjente FOSDEM-konferansen for open source i Belgia. Der omtalte han KI som en kraft som «forsterker oss mennesker» i to retninger: «den dårlige måten, eller den gode måten», skriver TheNewStack.
"På den ene siden fører AI til en flom av falske, KI-skrevne sikkerhetsrapporter som sliter ut vedlikeholdere. På den andre siden finner avanserte KI-analyseverktøy i riktige hender dype feil i cURL og andre kritiske open source-prosjekter som ingen tidligere verktøy har funnet", fortalte Stenberg på konferansen.
Stoppet bounty
Stenberg sier han stoppet cURLs bug bounty-program fordi han og sikkerhetsteamet ble overveldet av «KI-slop». lange, selvsikre og ofte helt oppdiktede sårbarhetsrapporter generert med LLM-er.
Én rapport beskrev en påstått HTTP/3 «stream dependency cycle exploit» som skulle være en kritisk sikkerhetsfeil. Den inneholdt GDB-sesjoner (debug data) og register-dumper, men refererte til en funksjon som ikke finnes i cURL. Alt var falskt.
KI på natta
Samtidig understrekte Stenberg at «KI er et verktøy», og at cURL bruker flere KI-drevne analyseverktøy som har funnet mer enn 100 feil de ikke fant selv.
Ifølge Stenberg kan disse verktøyene resonere på tvers av protokoller, spesifikasjoner og tredjepartsbiblioteker. De kan for eksempel oppdage at en bestemt feil i Telnet-implementasjonen er ugyldig ifølge en Telnet-spesifikasjon «ingen har lest siden 2012», eller finne avvik mellom funksjonskommentarer og implementasjon, forteller han.
Stenberg sier han bruker tre KI-review-boter på pull requests. De kjører «klokken to om natten» og finner ulike typer feil, men erstatter ikke tester.
Han er derimot skeptisk til å bruke KI til å generere produksjonskode. Han bruker ikke KI-kodeverktøy, er «ikke imponert» og mener forslag til kodeendringer fra KI aldri er gode nok til å aksepteres blindt. Han sammenligner dem med en «ivrig junior» som må følges opp med grundig testing.
Mange ekte feil – og press
Stenberg peker også på at andre open source-prosjekter både får mye KI-generert søppel, og mange ekte sårbarheter funnet av store selskaper med KI og store sikkerhetsteam.
Små frivillige prosjekter kan da bli presset til å rette feil under strenge frister uten å få patcher eller finansiering, sier han.
Han forventer at KI vil fortsette å «forsterke alt vi gjør i ulike retninger», og oppfordrer prosjekter til å teste tiltak mot både spamrapporter og KI-scrapere, selv om det utfordrer tradisjonell åpenhet.
Budskapet hans handler til slutt mindre om KI og mer om menneskelige valg: De samme verktøyene som muliggjør «terror reporting» og KI-scrapere, gjør også cURLs kode sikrere. Det er opp til vedlikeholdere, selskaper og fellesskap å bruke dem på en god eller dårlig måte.