Advarer mot å tro at «human in the loop» er nok

Som alle andre med en moderat til ekstrem interesse for AI hadde jeg Fable-feber i sommer. 

Jeg bestemte meg for at jeg skulle bruke denne angivelig guddommelige Anthropic-modellen til å hjelpe meg med å definere og bygge det jeg har ønsket meg helt siden jeg begynte med agentisk AI: et personlig kunnskapssystem bygget for og med AI. Min versjon av en «Second Brain». 

Dette var et prosjekt som ville kreve totalrenovasjon av mitt eksisterende system av agenter og samtidig integrere en ny tjeneste med omfattende oppsett. Med andre ord ville jeg virkelig få testet hvordan det ser ut å bygge noe stort med AI.

Det som fulgte var en uke med intensiv AI-hyperfiksering midt i beste fellesferie, med et barn under to og en mann som var forståelsesfull, men som antakeligvis også googlet «er Claude en psykisk lidelse?». 

Second Brain

Jeg spurte Claude «Liker du sommerfugler?» nøyaktig kl 15.30, kun for å trigge en fem-timers sesjon som gjorde at token-påfyllet mitt landet 20.30, sånn at jeg kunne presse nesen mot skjermen det sekundet datteren min sovnet klokken 19, bruke opp tokens på omtrent en time, og fortsatt få litt mer Claude-tid før jeg selv la meg. 

Jeg tror ordet du leter etter er «yikes». Eller, hvis du er like kul som meg: «fornuftig».

Jeg fikk Fable til å analysere mitt nåværende agentsystem, og forstå målene mine i livet og på jobb. Jeg fikk den til å intervjue meg for å forstå hvordan min Second Brain skulle se ut (hele kunnskapsbasen min bygget opp over tid, med koblinger mellom kunnskapsbitene representert i Obsidian), og hva det var til for (en måte for AI å kontinuerlig oppdatere og bruke denne kunnskapsbasen, slik at ingenting noensinne ble glemt og ingen kobling gikk tapt). 

Dette skulle forsterke meg og hjelpe meg, på jobb og hjemme, og til syvende og sist gjøre meg til en turboladet versjon av meg selv. 

Resultatet var en imponerende åttefaset implementeringsplan for et absolutt monster av et system av oppgraderte og nye agenter, skills og prosesser.

Brukte flere uker

Fordi jeg faktisk er en god «human in the loop», leste jeg plandokumentet. Det så bra ut. De neste to ukene gikk til mindre manisk, men fortsatt besatt, implementering, med meg i rollen som evig pliktoppfyllende manager og reviewer. 

Mannen min var ikke lenger bekymret, bare mildt irritert. 

Jeg startet hver fase av byggeplanen i Cowork, svarte på spørsmål, gikk gjennom foreslåtte handlinger, og ga tilgang så mange ganger at jeg lurte på om jeg hadde slått en eller annen rekord i hvor mange ganger det går an å trykke «Allow» på én dag. 

Under implementeringen fant tilnærmet hver eneste fase noe som ikke stemte, og planen begynte å få tillegg, presiseringer og versjoner. 

Samme det. Det overrasket meg kanskje at en Fable-plan kunne få hull påpekt av en simpel Sonnet-agent, men det stoppet meg absolutt ikke. Jeg var på vei til å bli turboladet! 

For to uker siden satt jeg her med det ferdige systemet mitt. Så godt som alle byggefaser fullført og verifiserte (bortsett fra de som bare kunne verifiseres over tid), og jeg tenkte … Jippi?

Forbyr vibbekode – mange reagerer

Vibbekode-forbud hos GitHub-konkurrent, skalering av komponenter med linjehøyde og ikke la deg lure av JSON, i ukas ForrigeUke.

Forståelighet er prisen vi betaler

Jeg visste egentlig ikke hva jeg hadde bygget. Gjorde det alt det skulle gjøre? Hvordan skulle jeg egentlig vite det? 

Jeg tror jeg hadde bedt om noe som skulle sørge for at jeg ikke fikk servert samme «dagens fokusoppgave»-forslag i to morgenbriefinger på rad, men her satt jeg på onsdag, mast på om å sende den samme mailen jeg allerede var blitt mast på om på tirsdag. 

Men jeg hadde ingen anelse om hvor jeg eventuelt skulle lete etter feilen. Eller om dette noen gang ble implementert i det hele tatt.

Det viser seg at forståelighet er prisen vi betaler for AI-bygde systemer. For mye avhengighet av at AI gjør jobben sørger for at systemet ikke blir bygget for å kunne forstås. 

Dette vet vi, og det er derfor vi alle ble enige om at løsningen var en «human in the loop». 

Men hva i huleste? Jeg var jo personen inni denne loopen! Jeg var loopet! Jeg loopte! Skikkelig hardt, faktisk. Jeg følte meg trygg på at jeg visste hva jeg drev med, og likevel levde systemet mitt nå sitt eget liv.

Dypdykk etter feil

Uken som fulgte ble en gjenlæringsøvelse uten like. Et dypdykk ned i hver minste detalj i systemet for å finne alle de stille feilene og gjøre dem synlige. Og jeg fant dem. 

Et eksempel var en av agentene mine som skulle identifisere oppgaver å utføre ut ifra en Google Drive-speilet .md-fil:

• Den rapporterte konsekvent ren kjøring, samtidig som den faktisk, grunnet fil-lesingsverktøyet sitt, alltid antok at filen var tom. 
• Filen var ikke tom. 
• Verre var det at den aldri rapporterte en feil, fordi teknisk sett var det ikke en. 
• Den ville aldri blitt oppdaget med mindre jeg visste at jeg skulle lete etter den.

Sammen med Fable snakket vi oss gjennom systemet, jobb for jobb, prosess for prosess, helt til det ga mening. Jeg lagde til og med flere agenter og skills, for å dekke opp for ting jeg trodde systemet allerede gjorde, som det faktisk ikke hadde noen mekanisme for i det hele tatt. Vi samlet all den informasjonen i et systemkart; en Claude-lesbar fil som kunne refereres til, konsulteres og oppdateres ved behov. 

Så til syvende og sist slapp jeg kanskje å vite alt, men jeg måtte vite mye.

– Vibbemanns­-blod kan ein lukte milevis

Tor Gjøsæter fant "vidåpne" hull i en norsk, vibbekoda app med Claude, og viser deg hvordan.

Ren "human in the loop" ikke nok

Det ble ingen store konsekvenser av disse feilene, eller av at jeg manglet oversikten jeg trodde jeg hadde. Men dette var bare mitt personlige system, og det påvirket bare meg. 

Tenk på hva det betyr når det skjer et sted der det faktisk står noe på spill. Jeg hadde ikke noe imot å bruke nesten tre ganger så lang tid på faktisk å forstå det jeg bygget, etter systemet tilsynelatende kunne kalles ferdig. Ville et selskap med millioner på bunnlinjen vært komfortable med den ressursbruken? 

Jeg tenker at i en verden der AI brukes til å bygge mer, bygge fortere, og der det fort kan påvirke alle deler av livene og jobbene våre, så er det viktig at vi erkjenner at en ren «human in the loop» ikke kommer til å være nok. 

Eller i det minste at vi må redefinere hva en «human in the loop» skal være. 

Å bygge noe som helst med AI bør være menneskeledet, ikke menneskevurdert.

Mer slitsomt enn antatt

Dette er ikke skrevet for å nedvurdere AI. Tvert imot, hvis det ikke allerede er åpenbart: jeg er en enorm tilhenger, om enn med en skeptikers forbehold når det skjer i større skala enn min personlige sfære. 

Jeg vil bare vise hvor lett det er ikke å ha peiling på hva som blir bygget, og dermed ikke være i stand til å vedlikeholde eller sikre kvaliteten på det. 

Det jeg endte opp med å bygge (og tre uker senere: forstå) er et vakkert AI-system som jeg tror kommer til å gi vanvittig merverdi for meg. Jeg skrev til og med denne artikkelen enklere og raskere og med mye mer glede på grunn av eksperthjelpen fra min Second Brain. 

Å komme meg hit var derimot mer strevsomt enn jeg trodde det kom til å bli, og selv nå er jeg ikke «ferdig». Det er et system under evig utvikling som jeg kommer til å fortsette å forbedre og vedlikeholde (jeg har omtrent to og en halv agent som utelukkende passer på at jeg gjør nettopp det). 

Men hvordan føler jeg meg nå som jeg faktisk er «in the loop»? Jeg føler meg definitivt ganske turboladet.

Advarer mot KI sin «eksplosjon av løsninger – og dermed av feil»

– KI forsterker både det vi kan, og konsekvensene av det vi ikke forstår, advarer Mikael Åsbjørnsson-Stensland.