Det koster mye mer å bruke KI på norsk
Norskspråklige KI-brukere brenner flere tokens enn de som skriver engelsk, viser en fersk analyse.
Det svenske selskapet Klang AI sendte de samme 3.000 setningene til 12 språkmodeller, blant andre OpenAI, Anthropic, Google og Mistral sine.
Analysen viste at norsk krever vesentlig flere tokens enn engelsk.
For norske svar så de språkmodellene bruke:
35-66 prosent flere tokens for faktabaserte tekster
32-62 prosent flere tokens for nyhetsartikler
Siden KI-selskapene tar betalt per token, så kan det gi en høyere regning for norske brukere enn for engelskspråkelige, viser analysen til Klang AI, som beskriver seg som et nordisk KI-laboratorium for taleteknologi.
Én token = én tekstbit
Språkmodeller leser ikke bokstaver eller ord. Den leser «tokens». Det er en tekstbit hentet fra en fast liste, det vil si «modellens ordforråd». Ordforrådet til GPT-6.1 består av omtrent 200.000 elementer.
– Hver tekst man skriver, deles først opp i biter som finnes på en liste, og man betaler per bit, skriver Klang AI på sine sider.
Rapporten forklarer at engelske ord oftere finnes som én token i språkmodellenes ordforråd. Nordiske ord må derimot oftere deles opp i flere biter. Ifølge rapporten til Klang AI kan for eksempel «meeting» representeres med én token, mens svenske «mötet» deles opp i to.
Nordiske ord er dessuten ofte bygd opp av sammensatte ord. Dersom et sammensatt ord ikke finnes i språkmodellens ordforråd, må det deles opp i flere tokens.
Resultatet er at den samme informasjonen krever flere tokens på nordiske språk.
GPT 6.1 Sol bruker færrest
Analyseselskapet har også sett på hvilke språkmodeller som bruker færrest tokens på norsk.
GPT 6.1 Sol kommer best ut i undersøkelsen:
Foretrekk oss i Google Discover
Ved å legge oss til som foretrukket kilde i Google vil du blant annet få opp flere av sakene våre i Google Discover. Tusen takk for støtten!