Lokal LLM på egen server: hva koster det, og hva krever det?
To produkter svarer kunder med en språkmodell som kjører på et skjermkort fra 2016. Målt over 15 dager: 12 W i snitt. Det store kortet står på arbeidsstasjonen, ikke i produksjonen. Tallene, og hva de betyr for en liten bedrift.
Kort svar
Funksjonen i et produkt trenger ikke et dyrt kort: Turboscore svarer med en modell på fire milliarder parametere som kjører på et GeForce GTX 1070 med 8 GB minne, og kortet trakk 12 W i snitt de siste 15 dagene. Kortet med 24 GB står på arbeidsstasjonen og brukes til kodeagenter og utvikling; produktet bruker det bare som reserve.
Hva som faktisk kjører
Produksjonsserveren har en Ryzen 9 7950X3D, 61 GiB minne og et GTX 1070 med 8 GB. Ollama kjører lokalt på den.
Turboscore er satt opp med gemma3:4b som hovedmodell, holdt varm i 60 minutter etter siste
spørsmål, og med llama3.1:8b på arbeidsstasjonens kort som reserve. I skrivende stund ligger gemma3:4b i minnet med
3,1 GB, helt på GPU, med 8192 tokens kontekst. Spotscore kjører sin egen lokale modell gjennom Ollama på samme måte.
Modellen er unntaket, ikke regelen. De fleste spørsmålene leses av regler, slik En test som kan feile beskriver. Siden 28. september, så langt målingene rekker: 653 søk i Turboscore; telleren for intensjonsanalyse registrerte 11, alle løst av regler.
Hva det krever
Minne på kortet er det som avgjør. Tallene er fra ollama list og ollama ps på de to maskinene:
- 4 milliarder parametere (
gemma3:4b): 3,3 GB på disk, 3,1 GB lastet. Går på 8 GB-kortet med god margin. - 8 milliarder (
llama3.1:8b): 4,9 GB på disk. Går på 8 GB. - 14 milliarder (
qwen2.5:14b,qwen3:14b): 9,0–9,3 GB på disk, 12 GB lastet med 8192 tokens kontekst. Trenger kortet med 24 GB; i dag lå 27 % av den på CPU fordi minnet var delt med annet. - 26–27 milliarder (
gemma4:26b,gemma3:27b): 17 GB. Fyller 24 GB-kortet, kjører helt på GPU, rundt 170 tokens i sekundet. - 32 milliarder: 19–20 GB på disk, og 45 % av modellen havner på CPU. Rundt 12 tokens i sekundet. Ikke verdt det.
Resten er drift: en tidsgrense på kallet (15 sekunder i Spotscores chat), en regelbasert vei som svarer når modellen ikke gjør det, og en test som kan feile.
Hva det koster i strøm
Begge kortene rapporterer effekt til Prometheus hvert 15. sekund. Lageret holder 15 dager, så dette er 28. september til 13. oktober:
| GTX 1070 (produksjon) | RTX 4090 (arbeidsstasjon) | |
|---|---|---|
| Snitt når maskinen er på | 12 W | 53 W |
| Topp | 199 W | 452 W |
| Tid over 10 % last | 0,6 % | 8,8 % |
| Maskinen på | 100 % av tiden | 70 % av tiden |
| Kortet alene, per døgn | 0,3 kWh | 0,9 kWh |
Gang kilowattimene med din egen strømpris. Hele maskinens forbruk er ikke målt; tallene er kortet alene. Innkjøpspris står ikke her: begge er forbrukerkort, og 1070-en er ti år gammel.
Hva det ikke løser
Arbeidsstasjonen er slått av 30 % av tiden. Derfor er den reserve og ikke hovedvei: et produkt kan ikke lene seg på en maskin som ikke alltid er på. Og en lokal modell svarer like gjerne feil som en i skyen; forskjellen er at feilen blir hos deg. Testen som fanget en oppdiktet bilmerke-filter i Turboscore står i notatet over.
For en bedrift her
Data forlater ikke huset, og det kommer ingen regning per token. Det som trengs, er ett kort med nok minne til modellen pluss kontekst, Linux, og noen som ser på loggen. Selve kortet kan være det som allerede står i en maskin.