Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

– Det er superenkelt! skriver Tomas Hensrud Gulla, og viser deg hvordan.

– Til forskjell fra OpenAI sine modeller er DeepSeek sine modeller open-source, så du kan kjøre de helt offline på din egen maskinvare, helt fritt for sensur og uten innsyn fra kinesiske myndigheter, skriver Tomas Hensrud Gulla. 📸: Novacare
– Til forskjell fra OpenAI sine modeller er DeepSeek sine modeller open-source, så du kan kjøre de helt offline på din egen maskinvare, helt fritt for sensur og uten innsyn fra kinesiske myndigheter, skriver Tomas Hensrud Gulla. 📸: Novacare Vis mer

Hva er egentlig greia med 深度求索, eller DeepSeek som vi gjerne kaller det i vår del av verden?

Lytt gjerne til Norges mest profilerte AI-forsker, Inga Strümke, som oppsummer greia med DeepSeek – og svarer på om DeepSeek faktisk har revolusjonert hele AI-feltet:

Best å kjøre lokalt

Hvis du velger å bruke online-versjonen av DeepSeek, bør du kanskje tenke deg om én gang til. Online-varianten har sensur innebygget, og hva skjer egentlig med dataene du sender inn? Jeg vet ikke...

Til forskjell fra OpenAI sine modeller er DeepSeek sine modeller open-source, så du kan kjøre de helt offline på din egen maskinvare, helt fritt for sensur og uten innsyn fra kinesiske myndigheter! Og det beste av alt: det er super-enkelt!

Jeg viser tre ulike måter det kan gjøres på.

Det er verdt å merke seg at ChatGPT er litt bedre på norsk språk enn DeepSeek. Jeg har flere ganger opplevd at svarene kommer på en underlig kombinasjon av bokmål, nynorsk, svensk og dansk – og enkelte uttrykk på både engelsk og kinesisk kan også forekomme, spesielt på de minste modellene.

#1: Ollama – fra kommandolinjen

Ollama er et verktøy som lar deg kjøre ulike typer språkmodeller fra kommandolinjen, og finnes for både Windows, Linux og MacOS.

Du kan laste ned språkmodeller fra kjente tjenester som 🤗Hugging Face (der du også finner en rekke norske modeller), eller det aller enkleste er å velge en modell fra Ollama sitt rikholdige bibliotek.

Jeg finner frem til DeepSeek R1 og velger en «distilled» modell av størrelse som passer meg. Jo større modell jo bedre svar, men jo tregere i bruk. Hvis du har et kraftig grafikkkort (GPU), bør du velge en modell som får plass i GPU-en VRAM, for best ytelse.

image: Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

Bare kopier ollama-kommandoen og kjør den fra kommandolinjen. Modellen lastes ned første gang du kjører den, og vil deretter være klar til bruk.

image: Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

DeepSeek liker å «tenke seg grundig om» før den svarer og som du ser på skjermbildet over er det meste av teksten som kommer tilbake «resonneringen» før den kommer frem til det endelige svaret.

#2: LM Studio – mer brukervennlig

Det finnes mange muligheter for å kjøre DeepSeek-modellene med et grafisk brukergrensesnitt, og LM Studio er en av disse. LM Studio finnes også for både Windows, Linux, og MacOS.

Bare installer programmet og velg ønsket modell fra biblioteket, så kan du bruke modellen med et brukergrensesnitt som minner litt om ChatGPT.

image: Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

Du kan også kjøre en lokal server, for å få tilgang til språkmodellen fra et API som minner om OpenAI sine API-er.

#3: Open WebUI – rett i browseren

En ulempe med LM Studio som vist over, er at hvis du vil bruke den samme modellen både fra kommandolinjen (med Ollama) og fra et brukergrensesnitt, må du laste ned den samme modellen to ganger.

Med Open WebUI unngår du det, siden Open WebUI automatisk plukker opp alle modeller du har installert i Ollama og gir deg et velkjent web-grensesnitt.

image: Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

Bare installer Docker Desktop, og kjør deretter følgende fra kommandolinjen:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Hent deg en kopp kaffe, og vipps kan du kjøre alle dine Ollama-språkmodeller rett i nettleseren!

Her er et eksempel som viser hvordan de to variantene med henholdsvis 32 og 70 milliarder parametre gir ulike svar.

image: Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

Der 32B-varianten gir feil svar umiddelbart, tenker 70B-varianten seg om i to minutter før den kommer med det riktige svaret. Men, nå er jo ikke en språkmodell ment å være et oppslagsverk heller!

En annen fordel med å kjøre språkmodellen i nettleseren, er at du kan bruke en tjeneste som ngrok for å gjøre den tilgjengelig over internett, slik at du f.eks. kan bruke den fra mobiltelefonen.

image: Så enkelt kjører du DeepSeek lokalt, uten sensur og overvåkning

God fornøyelse!