San Francisco-selskapet Cognition AI har laget det de hevder er den første AI-utvikleren som kan utføre programmeringsoppgaver helt på egen hånd. Det skriver Infoworld.
Grunnlegger og sjef i Cognition, Scott Wu, skriver i et blogginnlegg at deres AI-utvikler "Devin" kan planlegge og gjennomføre komplekse utvikleroppgaver som krever at det gjøres tusenvis av valg.
– Devin kan huske relevant kontekst ved hvert steg, lære over tid, og rette opp i feil, skriver Wu.
Utstyrt med alle verktøy
Det som skal skille Devin fra AI-kodeassistenter som for eksempel Copilot, er at den skal kunne jobbe mer selvstendig med en oppgave fra start til slutt. I tillegg skal den kunne jobbe i team.
Ifølge Wu kan Devin rapportere om fremgangen i sanntid, ta imot tilbakemeldinger og jobbe sammen med deg for å ta stilling til designvalg.
– Vi har også utstyrt Devin med vanlige utviklerverktøy, inkludert kommandolinjen, kodeeditor og nettleser i et sandkassemiljø. Alt et menneske ville trengt for å gjøre jobben.
I demovideoer fra Cognition kan vi se Devin skrive kode, lese feilmeldinger i konsollen og bruke disse til å fikse feil, og så kjøre koden på nytt helt til koden fungerer. Den legger til og med inn egen kode for å skrive debugging-info til konsollen. Så bruker den det som hjelp i kodingen – omtrent som et menneske ville gjort.
Her er Cognitions egen introvideo:
Kan lære ting den ikke kan
Devin skal kunne lære teknologier den ikke kjenner, bygge og rulle ut apper, automatisk finne og fikse feil i koden, trene og finjuster sine egne AI-modeller, og mye mer.
Ved å gi den en lenke til en Gihub-issue skal Devin også kunne løse problemet, inkludert å sette opp kodemiljøer, reprodusere feilene, rette feilen i koden og til slutt teste at feilen er rettet.
Ifølge Cognition slår Devin andre AI-assistenter med god margin når det gjelder å løse virkelige GitHub-issues i åpen kildekode-prosjekter. Mens Devin klarte å fikse 13,86 prosent av "issuene", mot bare 4,8 prosent for Claude2 eller 1,74 prosent for GPT-4.
Så kan Devon klare å gjøre ekte utviklerjobber? Cognition påstår det, og i denne videoen ba de Devon om å løse et oppdrag som var lagt ut på jobbportalen Upwork.
Det er selvfølgelig all grunn til å være skeptisk, dette er tross alt videoer som er laget av produsenten selv. Foreløpig er Devon tilgjengelig bare for utvalgte testkunder.
Ikke bekymret
Selv om mange er bekymret for om AI kommer til å ta jobbene til utviklere, frykter ikke alle AI-assistenter som Devin:
– Hvis Devin kan erstatte deg, er du ikke en utvikler, skriver John A De Goes, sjef i Ziverge.
Hot take: If Devin can replace you, you're not a software engineer. 🌶️
— John A De Goes (@jdegoes) March 13, 2024
If you think LLM-based approaches are months away from replacing engineers, you need to update your mental model of AI (cause it's broke).
Devin is a cute trick for raising $$, but the real work lies ahead. pic.twitter.com/yfTDH0AbvG
Han mener Devin er et fint "triks" for å skaffe penger fra investorer, men at man er langt unna at AI erstatter utviklere.
– Du vil vite når vi har ekte "AI-utviklere" fordi selskapene som bygger dem vil umiddelbart begynne å selge tjenester for programvareutvikling. Dette vil kreve betydelige gjennombrudd, og dette er mange år eller tiår unna, sier De Goes.
Jeff Delaney, bedre kjent som Fireship, har laget en YouTube-video om Devin, og sier:
– Et verktøy som klarer å fikse Github-issues bare 13,86 prosent av gangene, er ikke godt nok til å erstatte en utvikler. Men tallet vil øke i fremtiden.
Se videoen her: