Undersøkelse: Erfarne utviklere ble 19 % tregere med AI
Utviklere tror de jobber raskere når de bruker AI, men i virkeligheten går alt tregere, viser en ny undersøkelse.
Vi hører veldig ofte hvor mye raskere utviklere jobber når de får tilgang til AI-verktøy. Dette stemmer imidlertid ikke alltid, viser en fersk undersøkelse fra METR, skriver Reuters.
METR er en ideell organisasjon som driver med forskning på AI. De gjorde nylig en randomisert og kontrollert studie for å forstå hvordan AI-verktøy påvirker produktiviteten til erfarne utviklere som jobber på sine egne open source-repoer.
– Overraskende nok finner vi at når utviklere bruker AI-verktøy, bruker de 19 prosent lenger tid enn uten – AI gjør dem altså tregere, skriver forskerne i rapporten.
Overraskende nok finner vi at når utviklere bruker AI-verktøy, bruker de 19 prosent lenger tid enn uten – AI gjør dem altså tregere.
Svakheter ved AI-benchmarks
METR skriver at ulike benchmark-tester som brukes innenfor AI er nyttige for å forstå hva AI er i stand til å gjøre, men at de ikke er spesielt realistiske. Ofte overvurderer benchmarkene hvor bra AI er.
For å måle hvor god hjelp AI er i virkeligheten rekrutterte derfor forskerne 16 erfarne utviklere som har jobbet i flere år på store open source-repoer (i snitt 22.000 stjerner og mer enn 1 million kodelinjer).
Slik ble testene utført:
- Utviklerne listet opp tilsammen 246 "issues" som ville være nyttige å få fikset for repoene de vedlikeholdt, alt fra feilrettinger til ny funksjonalitet eller refaktorering av kode. Ting de ville ha jobbet med til vanlig.
- Deretter ble hver issue tilfeldig gitt mulighet for at utvikleren fikk lov – eller ikke lov – til å bruke AI når de jobbet med den.
- Når AI var lov skulle de bruke de AI-verktøyene de ønsket – primært ble Cursor Pro med Claude 3.5/3.7 Sonnet brukt.
- Når AI ikke var lov måtte de klare seg uten assistanse fra generativ AI.
Trodde de ble mer produktive
Før studien startet oppga utviklerne at de forventet at de ville bruke i snitt 24 prosent kortere tid på å gjennomføre oppgaven, enn om de ikke hadde brukt AI.
Som nevnt viste det seg at AI gjorde at oppgavene tok 19 prosent lenger tid.
Likevel trodde utviklerne at de hadde brukt kortere tid: I snitt anslo utviklerne at de hadde brukt 20 prosent kortere tid når de brukte AI.
Forskerne sier at selv om de er overrasket over resultatene, så understreker de at forskningen deres ikke beviser at AI ikke gjør at utviklere flest vil jobbe raskere.
Eksperimentet er gjort blant svært erfarne utviklere som jobber med en kodebase de kjenner veldig godt etter å ha jobbet med den i mange år. Alle hadde "moderat erfaring" med AI-verktøy. Du kan lese hele undersøkelsen her.
