En test som kan feile
Turboscores test av søkekvaliteten rapporterte grønt i seks uker uten å påstå noe. Dette fanget den da den kunne feile.
Turboscore svarer på spørsmål om bruktbiler i Norge og Sverige, stilt på vanlig språk. De fleste spørsmålene når aldri en språkmodell: en mønstergjenkjenner leser merke, modell, drivstoff, budsjett, årsmodell og kilometerstand rett ut av teksten. Bare når den ikke finner noe brukbart, eller spørsmålet lener seg på en kulturell referanse, spør søket en lokal modell, som kjører gjennom Ollama på samme server, om søkeparametre.
Kvaliteten på søket er styrt av en basistest: tjue spørringer, hver med intensjonen den skal gi (søk, avklaring eller råd) og parametrene den skal trekke ut. Testen er produktets viktigste kvalitetsmål.
Det som var galt
I seks uker midt i 2026 rapporterte testen grønt uten å påstå noe. Tersklene for bestått/ikke
bestått lå i skriptets __main__-blokk, som testkjøreren aldri kjører. Under pytest besto testen ved enhver nøyaktighet,
og den lå på 85 % mens den rapporterte PASSED. Hovedmålet var dekor, og ingen så det, fordi ingenting ved et grønt bygg
inviterer til en ny titt.
Rettingen, og regelen
Testen krever nå 100 % intensjonsnøyaktighet og overholdt svartidsbudsjett, og respekterer et
known_issue-felt som rapporten alltid hadde skrevet ut, men aldri utelatt. Før rettingen ble godtatt, ble en forventning
brutt med vilje for å se et rødt bygg. Det er nå regelen for hver test her: en test som aldri har feilet, er ennå ikke en
test.
Første fangst
Med kravet på plass feilet én spørring umiddelbart: «Hvilken bil bør jeg kjøpe for å trekke en liten
båt?» Det finnes ingenting å filtrere på, fordi annonsene ikke har tilhengervekt, så riktig svar er et oppklarende
spørsmål. Den lokale modellen (gemma3:4b) svarte likevel, med make = Ford, Chevrolet, Tesla, Jeep, Cadillac, GMC, Dodge: dens amerikanske forhåndsantakelser, brukt på et norsk og svensk marked, snevret 216 000 biler ned til 180 og
presenterte dem som svaret.
Feilen hadde vært periodisk av infrastrukturgrunner, og derfor så ingen den. Når Ollama var kald eller treg, gikk spørringen på tidsavbrudd og falt tilbake til et oppklarende spørsmål, som var riktig. Den svarte feil bare når modellen var varm.
Hvorfor vakten ikke voktet
En validator fantes allerede, med «fjerne merker modellen har funnet på» som første oppgitte formål. Den godtok et merke hvis det sto i spørringen eller fantes i databasen. Den andre betingelsen er sann for alle de omtrent to hundre merkene i databasen, så sjekken bet aldri; bare navn som ikke er merker i det hele tatt (Mustang, Camaro) ble fanget. Et merke stoles nå på bare hvis det er nevnt i spørringen. Å være ekte er ikke forankring.
Det brakk ett legitimt tilfelle: «Hvilken bil kjørte James Bond?» → Aston Martin, der hele jobben er å huske et merke som ikke er nevnt. Unntaket er en kort liste med kulturreferanse-ord, og samme liste avgjør om modellen skal kalles i det hele tatt. Hadde de to listene glidd fra hverandre, ville søket enten kalt modellen og kastet svaret, eller stolt på en hallusinasjon, så det er én liste.
Det som fortsatt står åpent
Bare merker er forankret. Båtspørsmålet gir fortsatt fuel_type = gasoline,
engine_power_min = 250, seats_min = 5 fra ingensteds og returnerer rundt 1 100 biler. Det er registrert som kjent feil i
testen, rapporteres ved hver kjøring og feiler ikke bygget. Testen løsnes ikke for å bestå, og hullet skjules ikke.
To lærdommer
For det første må et kvalitetsmål vises feilende før det stoles på; den billigste måten er å bryte det med vilje. For det andre er en vakt som godtar alt som er plausibelt, ingen vakt. Samme feilklasse var fjernet fra den regelbaserte siden i juli 2026, da et filter for «blindsonevarsler» viste seg å hvile på utstyrsdata for 30 av 130 260 biler (0,02 %) og ble slettet i stedet for å få returnere plausible resultater. Modellsiden trengte samme behandling.