Store språkmodeller (LLM-er) for generell bruk blir stadig mer konkurransedyktige med dedikerte maskinoversettelsestjenester. En referansemåling publisert på GitHub i september 2026 gir et interessant eksempel: GPT-6 Luna, Gemma 4 og DeepSeek V4 Flash oppnådde alle lavere oversettelsesfeil enn DeepL API og Google Cloud Translation Basic.
GPT-6 Luna kom på førsteplass, etterfulgt av flere andre språkmodeller for generell bruk. Resultatene tyder på at modeller utviklet for et bredt spekter av oppgaver også kan prestere svært godt på oversettelse, særlig når samtalekonteksten er viktig.
Det er én viktig forskjell: Referansemålingen evaluerte Google Cloud Translation Basic, ikke Google Translate-appen for forbrukere, som har fått flere oversettelsesfunksjoner drevet av Gemini.
Hva testet referansemålingen?
Korean Multi-turn Context Translation Benchmark sammenlignet 15 oversettelsessystemer ut fra hvor godt de oversatte koreanske samtaler til engelsk, japansk og forenklet kinesisk.
Datasettet inneholdt 216 eksempler på koreanske samtaler, noe som ga opptil 648 oversettelser per system.
Testene fokuserte på språklige forhold som kan være vanskelige å oversette uten kontekst:
- Utelatt informasjon: På koreansk utelates ofte subjekt og objekt når de kan forstås ut fra tidligere setninger.
- Tvetydige referanser: Ord og uttrykk kan vise til personer eller gjenstander som er nevnt tidligere.
- Tone og høflighet: Oversettelser må ta hensyn til formalitetsnivå og forholdet mellom samtalepartnerne.
- Hensikten med samtalen: Korte svar, underforståtte betydninger og ufullstendige setninger avhenger ofte av tidligere meldinger.
- Irrelevant kontekst: Et oversettelsessystem må også forstå når tidligere informasjon bør ignoreres.
Oversettelseskvaliteten ble evaluert ved hjelp av en metode basert på GEMBA-MQM. En automatisert AI-evaluator identifiserte feil og tildelte poengtrekk ut fra hvor alvorlige de var.
En lavere gjennomsnittlig poengstraff betyr færre eller mindre alvorlige feil i denne evalueringen.
Resultater fra oversettelsesreferansemålingen
Sammenligningen fra september 2026 ga følgende resultater for utvalgte tekstbaserte systemer:
| Oversettelsessystem | Gjennomsnittlig feilstraff |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Kilde: Sammenligning av 15 systemer, september 2026. Lavere er bedre. DeepL hadde 642 gyldige evalueringer; de andre systemene i tabellen hadde 648. Den fullstendige sammenligningen omfattet også taleoversettelsessystemer, som er utelatt her for å sikre konsistens.
GPT-6 Luna hadde den laveste gjennomsnittlige feilstraffen, på 0,130. Gemma 4 31B og Gemma 4 26B fulgte med henholdsvis 0,353 og 0,387, mens DeepSeek V4 Flash fikk 0,571.
De kommersielle oversettelsestjenestene gjorde det svakere på akkurat dette datasettet. Papago fikk 2,699, DeepL API fikk 3,914, og Google Cloud Translation Basic fikk 5,731.
Et bemerkelsesverdig funn er at også flere forholdsvis små modeller presterte godt. Gemma 4 12B QAT Q4 oppnådde for eksempel en gjennomsnittlig feilstraff på 0,855.
Disse resultatene er interessante fordi GPT-6 Luna, Gemma og DeepSeek er språkmodeller for generell bruk, ikke dedikerte oversettelsesprodukter. De er laget for å håndtere mange ulike oppgaver, blant annet skriving, resonnering, programmering og analyse.
Sammenligningen er likevel ikke helt rettferdig. LLM-konfigurasjonene kunne bruke tidligere meldinger i samtalen, mens de kommersielle oversettelsestjenestene ble evaluert uten denne historikken. Resultatene gjenspeiler derfor ytelsen til de testede oversettelsesløsningene, ikke bare de underliggende modellarkitekturene.
Hvorfor kontekst er viktig for oversettelse
Det er ikke alltid nok å oversette enkeltsetninger korrekt for å bevare den tilsiktede meningen.
Tenk deg for eksempel en koreansk samtale der noen forteller at de kjøpte sandaler og tøfler i en butikk. I den følgende setningen forklarer personen at varene var utsolgt og måtte leveres.
I den andre setningen kan varene som omtales, være utelatt fordi de allerede er forstått ut fra samtalen.
Et system som bare oversetter denne setningen, kan ende opp med en tvetydig oversettelse. En modell som har tilgang til den tidligere meldingen, kan finne ut hva referansene viser til.
Lignende utfordringer finnes i mange språk.
Idiomer og uformelle uttrykk kan kreve tolkning snarere enn en bokstavelig oversettelse. Høflighet og formalitetsnivå kan avhenge av forholdet mellom samtalepartnerne. Et kort svar kan ha ulik betydning avhengig av spørsmålet som kom før.
LLM-er kan bruke informasjonen rundt teksten til å løse slike tvetydigheter. De kan også følge instruksjoner om terminologi, skrivestil og målgruppe.
Denne fleksibiliteten er en av grunnene til at språkmodeller for generell bruk har blitt stadig mer nyttige til oversettelse.
Kontekst og instruksjoner reduserte feilene med 31,5 %
Referansemålingen omfattet et separat eksperiment som undersøkte hvordan tilleggsinformasjon påvirker oversettelseskvaliteten.
Forskerne testet Gemma 4 E4B QAT Q4 under to forhold: oversettelse av en setning alene og oversettelse med tilleggsinstruksjoner og hele samtalehistorikken.
| Konfigurasjon | Gjennomsnittlig feilstraff |
|---|---|
| Bare setningen | 2,118 |
| Instruksjoner + samtalehistorikk | 1,452 |
Den andre konfigurasjonen oppnådde en 31,5 % lavere gjennomsnittlig feilstraff.
Av 642 parvise evalueringer forbedret konfigurasjonen med kontekst og instruksjoner 236 oversettelser, forverret 134 og ga samme poengsum for 272.
Forbedringen ble observert både når det var nødvendig å bruke tidligere kontekst, og når modellen måtte forstå at tidligere informasjon var irrelevant.
En viktig begrensning er at eksperimentet endret både instruksjonene og samtalehistorikken. Det måler derfor den samlede effekten av disse, ikke fordelen ved kontekst alene.
Resultatene viser likevel at oversettelseskvaliteten kan variere betydelig selv når den underliggende AI-modellen er uendret.
Les hele eksperimentet om kontekst.
Betyr dette at LLM-er alltid er bedre til å oversette?
Nei. Referansemålingen fokuserte på en bestemt type oversettelse: koreanske samtaler som krever kontekstforståelse.
Funnene gjelder ikke nødvendigvis for alle språkpar, fagområder eller dokumenttyper.
Evalueringen brukte også en automatisert AI-dommer i stedet for profesjonelle menneskelige oversettere. Selv om dette gjør storskalasammenligninger praktiske, kan automatiserte vurderinger føre til skjevheter og kanskje ikke fange opp alle sider ved oversettelseskvalitet.
En annen faktor er at kommersielle oversettelsestjenester er i utvikling.
DeepL har utviklet sine egne LLM-er spesialisert for oversettelse, mens Google har introdusert forbedringer av Google Translate drevet av Gemini. Google Cloud tilbyr også dedikerte oversettelsesmodeller utover Basic API-et som ble testet i denne referansemålingen.
Med andre ord blir skillet mellom LLM-er for generell bruk og spesialiserte oversettelsestjenester stadig mindre tydelig.
Ulike modeller kan prestere bedre på forskjellige språkpar, tekniske fagområder eller oversettelsesoppgaver. Nøyaktighet er dessuten bare én faktor: Avhengig av bruksområdet kan hastighet, kostnad og konsistens være like viktig.
I stedet for å peke ut ett oversettelsessystem som best i alle situasjoner, viser referansemålingen hvor konkurransedyktige LLM-er for generell bruk har blitt.
Hva dette betyr for AI-oversettelsestjenester
Etter hvert som generelle modeller blir bedre, har oversettelsestjenester flere alternativer enn å basere seg utelukkende på én proprietær oversettelsesmotor.
En tjeneste kan i stedet gi tilgang til modeller fra flere utviklere og velge eller anbefale ulike alternativer ut fra oppgaven.
Dette er tilnærmingen vi bruker hos Lexibird.
Lexibird gir tilgang til en rekke språkmodeller fra forskjellige AI-leverandører. Brukerne kan velge en modell selv eller bruke et automatisk alternativ til daglig oversettelse.
Vi evaluerer jevnlig tilgjengelige modeller med tre hensyn i tankene:
- Nøyaktighet: Hvor godt modellen bevarer mening, kontekst, tone og terminologi.
- Hastighet: Hvor raskt den produserer oversettelser, særlig ved dagligdagse oppgaver.
- Kostnad: Om kvalitetsforbedringen forsvarer de ekstra behandlingskostnadene.
Det finnes avveininger mellom disse faktorene. En mer avansert modell kan gi bedre resultater på vanskelig tekst, men svare langsommere eller koste mer å kjøre. En mindre modell kan være tilstrekkelig for enkle oversettelser.
Målet vårt er å fortsette å forbedre de tilgjengelige alternativene etter hvert som nye modeller lanseres, i stedet for å anta at én modell vil være det beste valget for alltid.
Lexibird støtter også oversettelsesordlister, tilpasning av tone og oversettelse av dokumenter, bilder og lyd. Disse funksjonene gjør det mulig for brukerne å tilpasse oversettelsene til bestemte behov.
Lexibird ble ikke evaluert i den koreanske referansemålingen, så de publiserte poengsummene bør ikke tolkes som målinger av Lexibirds oversettelsesytelse.
Den beste oversettelsesmodellen er kanskje ikke best særlig lenge
Det mest interessante funnet i denne referansemålingen er ikke nødvendigvis at GPT-6 Luna kom på førsteplass. Det er den sterke ytelsen til flere språkmodeller for generell bruk sammenlignet med dedikerte oversettelsestjenester.
Resultatene viser hvor mye maskinoversettelse har endret seg. Modeller utviklet for generell språkforståelse kan nå håndtere oversettelsesoppgaver som krever tolkning av kontekst, gjenfinning av utelatt informasjon og bevaring av hensikten i en samtale.
Samtidig kan den relative ytelsen til modellene endre seg raskt. Nye versjoner kan forbedre oversettelseskvaliteten, redusere svartiden eller senke kostnadene.
For oversettelsestjenester og brukerne deres tyder dette på at fleksibilitet kan være mer verdifullt enn å satse på én enkelt oversettelsesmodell.
Referansemålingen gir et nyttig øyeblikksbilde av AI-oversettelse i 2026, men den bredere konkurransen mellom generelle og spesialiserte oversettelsesmodeller er langt fra avgjort.
