Dette gjør Stø for å kutte i KI-regninga

– Bruk av KI skal aldri være noe mål i seg selv, sier Christoffer Hernæs. 

Han er CTO i Stø AS som leverer tjenestene BankID og BankAxept.

Denne våren har bruken av kunstig intelligens til å programmere eksplodert i bedrifter verden og Norge rundt. 

Stø-utviklere har ikke håndkodet på et halvt år

Selskapet bak BankID og BankAxept lar ansatte bruke så mye KI de vil. Tarald Riise liker å bli mer ansvarlig for produkt og kvalitet og mindre «Code Monkey».

Likeså har kostnadene for å bruke KI-verktøyene skutt i været. Det har ført til en global angst for å gå tom for såkalte tokens. 

Tokenmaxxing eller valuemaxxing? 

I april slo Stø fast overfor kode24 at de ikke setter noe tak på antall tokens utviklerne deres kan bruke, og de økte KI-budsjettene flere ganger. 

– Vi tillater eventuelt høyt forbruk i den fasen vi er i nå da vi ønsker at de ansatte skal få lov til å utforske, lære og finne sin vei, uttalte Hernæs da.

«Token»-lengsel går viralt: Her får de så mange de vil

Mens folk verden rundt klager over begrenset KI-kreditt, får Stø-utviklere eksperimentere fritt. – Har økt forbruksgrensene fremfor å strupe innovasjonen.

Men siden har prisene økt enda mer, og det som har vært omtalt som tokenmaxxing – å bruke KI mest mulig i arbeidet – er gått via token-minimering og over til valuemaxxing, ifølge IBM. 

Valuemaxxing handler om å få mest mulig verdi ut av KI-bruken, og spørre hvor mange oppgaver ble gjennomført, hvor mye tid sparte utvikleren, og så videre. 

Hvilken fase er selskapet i nå? Strammer de inn på tokens-budsjettet?

Tar flere grep

– Vi er fortsatt der hvor det er viktigere for oss å lære oss om teknologiens muligheter og begrensninger enn å innføre stram kostnadskontroll, og har således økt token-budsjettene flere omganger siden sist, sier Hernæs til kode24. 

Han peker på at regnestykket endret seg da Github Copilot gikk over til en tokenbasert-prismodell i tillegg til den organiske økningen av adopsjon. 

Samtidig er Stø nå på vei inn i en ny fase der selskapet jobber med flere tiltak for å bruke KI på en billigere måte: 

• Finne ut hvordan de kan måle effekten av agentstøttet utvikling basert på fakta og innsikt. 

– Her er det et viktig premiss for oss at vi setter opp gode KPI-er som også kan fungere for læring og utvikling for teamene fremfor en top-down øvelse. Dette betyr at dette gjøres med tett involvering av arkitekter, tech leads og utviklere, sier Hernæs.

Microsoft gir ut Copilot Cowork – tar betalt per bruk

Kundene til Microsoft skal måtte betale for hver gang de bruker den nye KI-agenten, Copilot Cowork, som ble lansert tirsdag. Det skal motvirke kjemperegninger.

• Utforske muligheten for å ta i bruk prompt caching. 

– Målet er å redusere bruken av input tokens ved å gjenbruke beregninger av statiske prefikser der det er relevant, sier CTO-en.

• Skape bevissthet rundt å bruke rett modell til oppgaven og problemet som skal løses. 

– Om en oppgave kan løses med Sonnet, er det lite poeng å betale tre ganger så mye for å bruke Fable på samme oppgave, sier Hernæs. 

– Er det valuemaxxing dere driver med nå?  

– Ja, det er én måte å si det på. Vi er eksplisitte på at vi ikke skal drive med tokenmaxxing i Stø. 

Gevinst overgår kostnad

Hernæs tror at gevinsten vil overgår kostnaden med riktig styring og ledelse.

– Men det krever kostnadsbevissthet i teamene, en kultur for kontinuerlig forbedring og en felles forståelse av hva som skaper verdi, sier CTO-en i Stø.

Og legger til: 

– Bruk av KI skal aldri være noe mål i seg selv, men et kraftfullt verktøy for å bruke all den kompetansen vi har på rett måte og til størst mulig effekt.

Utviklere fortviler over nye GitHub Copilot-priser

Microsoft har nå innført sin nye prismodell, som kan skape høyere regninger for mange utviklere.