Generelle store sprogmodeller (LLM'er) konkurrerer i stigende grad med dedikerede maskinoversættelsestjenester. Et benchmark offentliggjort på GitHub i september 2026 er et interessant eksempel: GPT-6 Luna, Gemma 4 og DeepSeek V4 Flash opnåede alle lavere oversættelsesfejlscorer end DeepL API og Google Cloud Translation Basic.
GPT-6 Luna indtog førstepladsen, efterfulgt af flere andre generelle sprogmodeller. Resultaterne tyder på, at modeller, der er udviklet til en bred vifte af opgaver, også kan klare sig særdeles godt til oversættelse, især når samtalekonteksten har betydning.
Der er én vigtig forskel: Benchmarken evaluerede Google Cloud Translation Basic, ikke forbrugerappen Google Translate, som har fået yderligere oversættelsesfunktioner baseret på Gemini.
Hvad testede benchmarken?
The Korean Multi-turn Context Translation Benchmark sammenlignede 15 oversættelsessystemers evne til at oversætte koreansk samtalesprog til engelsk, japansk og forenklet kinesisk.
Datasættet indeholdt 216 koreanske samtaleeksempler, hvilket gav op til 648 oversættelser pr. system.
Testene fokuserede på sproglige aspekter, som kan være vanskelige at oversætte uden kontekst:
- Udeladte oplysninger: På koreansk udelades subjekter og objekter ofte, når de kan forstås ud fra tidligere sætninger.
- Tvetydige henvisninger: Ord og udtryk kan henvise til personer eller genstande, der er nævnt tidligere.
- Tone og høflighed: Oversættelser skal tage højde for formalitet og forholdet mellem de talende.
- Samtaleintention: Korte svar, underforståede betydninger og ufuldstændige sætninger afhænger ofte af de foregående beskeder.
- Irrelevant kontekst: Et oversættelsessystem skal også kunne genkende, hvornår tidligere oplysninger bør ignoreres.
Oversættelseskvaliteten blev vurderet ved hjælp af en metode baseret på GEMBA-MQM. En automatiseret AI-evaluator identificerede fejl og tildelte strafpoint efter deres alvorlighed.
En lavere gennemsnitlig strafscore betyder færre eller mindre alvorlige fejl i denne evaluering.
Resultater fra oversættelsesbenchmarken
Sammenligningen fra september 2026 gav følgende resultater for udvalgte tekstbaserede systemer:
| Oversættelsessystem | Gennemsnitlig fejlstraf |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
Kilde: 15-System Integrated Comparison, september 2026. Lavere er bedre. DeepL havde 642 gyldige evalueringer; de øvrige nævnte systemer havde 648. Den fulde sammenligning omfattede også taleoversættelsessystemer, som er udeladt her for at sikre ensartethed.
GPT-6 Luna havde den laveste gennemsnitlige fejlstraf med 0.130. Gemma 4 31B og Gemma 4 26B fulgte efter med scorer på henholdsvis 0.353 og 0.387, mens DeepSeek V4 Flash fik 0.571.
De kommercielle oversættelsestjenester klarede sig dårligere på netop dette datasæt. Papago fik 2.699, DeepL API fik 3.914, og Google Cloud Translation Basic fik 5.731.
Et bemærkelsesværdigt fund er, at flere forholdsvis små modeller også klarede sig godt. Gemma 4 12B QAT Q4 opnåede for eksempel en gennemsnitlig strafscore på 0.855.
Resultaterne er interessante, fordi GPT-6 Luna, Gemma og DeepSeek er generelle sprogmodeller og ikke dedikerede oversættelsesprodukter. De er udviklet til at håndtere mange forskellige opgaver, herunder tekstforfatning, ræsonnement, kodning og analyse.
Sammenligningen er dog ikke helt direkte. LLM-konfigurationerne kunne bruge tidligere samtaleture, mens de kommercielle oversættelsestjenester blev evalueret uden denne historik. Resultaterne afspejler derfor de afprøvede oversættelsesarbejdsganges ydeevne, ikke blot de underliggende modelarkitekturer.
Hvorfor kontekst er vigtig for oversættelse
Det er ikke altid nok at oversætte enkelte sætninger korrekt for at bevare deres tilsigtede betydning.
Forestil dig for eksempel en koreansk samtale, hvor nogen fortæller, at de har købt sandaler og hjemmesko i en butik. I den følgende sætning forklarer de, at varerne var udsolgt og måtte leveres.
Den anden sætning kan udelade de omtalte genstande, fordi de allerede fremgår af samtalen.
Et system, der kun oversætter den sætning, kan ende med et tvetydigt resultat. En model, der har adgang til den tidligere besked, kan identificere de manglende henvisninger.
Lignende udfordringer findes i mange sprog.
Idiomer og uformelle udtryk kan kræve fortolkning frem for direkte oversættelse. Høflighed og formalitet kan afhænge af forholdet mellem de talende. Et kort svar kan have forskellige betydninger alt efter det foregående spørgsmål.
LLM'er kan bruge de omkringliggende oplysninger til at afklare disse tvetydigheder. De kan også følge instruktioner om terminologi, skrivestil og målgruppe.
Denne fleksibilitet er en af grundene til, at generelle sprogmodeller er blevet stadig mere nyttige til oversættelse.
Kontekst og instruktioner reducerede fejl med 31,5 %
Benchmarken omfattede et særskilt forsøg, der undersøgte, hvordan yderligere oplysninger påvirker oversættelseskvaliteten.
Forskerne testede Gemma 4 E4B QAT Q4 under to betingelser: oversættelse af en sætning alene og oversættelse med yderligere instruktioner og hele samtalehistorikken.
| Konfiguration | Gennemsnitlig fejlstraf |
|---|---|
| Kun sætning | 2.118 |
| Instruktioner + samtalehistorik | 1.452 |
Den anden konfiguration opnåede en 31,5 % lavere gennemsnitlig fejlstraf.
På tværs af 642 parrede evalueringer forbedrede konfigurationen med kontekst og instruktioner 236 oversættelser, forringede 134 og gav samme score i 272 tilfælde.
Forbedringen blev set både i tilfælde, hvor der var brug for tidligere kontekst, og hvor modellen skulle genkende, at tidligere oplysninger var irrelevante.
En vigtig begrænsning er, at forsøget ændrede både instruktionerne og samtalehistorikken. Det måler derfor den samlede effekt af dem frem for at isolere fordelen ved kontekst alene.
Resultaterne viser dog, at oversættelseskvaliteten kan variere betydeligt, selv når den underliggende AI-model er uændret.
Betyder det, at LLM'er altid er bedre til oversættelse?
Nej. Benchmarken fokuserede på en bestemt type oversættelse: koreanske samtaler, der kræver kontekstforståelse.
Resultaterne kan ikke nødvendigvis overføres til alle sprogpar, emner eller dokumenttyper.
Evalueringen brugte også en automatiseret AI-dommer frem for professionelle menneskelige oversættere. Det gør sammenligninger i stor skala praktiske, men automatiserede vurderinger kan indebære skævheder og overser måske visse aspekter af oversættelseskvalitet.
En anden faktor er, at kommercielle oversættelsestjenester er under udvikling.
DeepL har udviklet sine egne LLM'er, der er specialiseret i oversættelse, mens Google har indført forbedringer af Google Translate drevet af Gemini. Google Cloud tilbyder også dedikerede oversættelsesmodeller ud over Basic API'en, der blev testet i denne benchmark.
Med andre ord bliver skellet mellem generelle LLM'er og specialiserede oversættelsestjenester mindre tydeligt.
Forskellige modeller kan klare sig bedre med forskellige sprogpar, tekniske emner eller oversættelsesopgaver. Nøjagtighed er desuden kun én faktor: Hastighed, pris og ensartethed kan være lige så vigtige, afhængigt af anvendelsen.
I stedet for at udpege ét oversættelsessystem som universelt overlegent viser benchmarken, hvor konkurrencedygtige generelle LLM'er er blevet.
Hvad det betyder for AI-oversættelsestjenester
I takt med at generelle modeller forbedres, har oversættelsestjenester flere muligheder end udelukkende at støtte sig til én proprietær oversættelsesmotor.
En tjeneste kan i stedet give adgang til modeller fra flere udviklere og vælge eller anbefale forskellige muligheder alt efter opgaven.
Det er den tilgang, vi bruger hos Lexibird.
Lexibird giver adgang til en række sprogmodeller fra forskellige AI-udbydere. Brugerne kan selv vælge en model eller benytte en automatisk mulighed til daglig oversættelse.
Vi evaluerer løbende de tilgængelige modeller med tre hensyn for øje:
- Nøjagtighed: Hvor godt modellen bevarer betydning, kontekst, tone og terminologi.
- Hastighed: Hvor hurtigt den producerer oversættelser, især til daglig brug.
- Pris: Om kvalitetsforbedringen retfærdiggør de ekstra behandlingsomkostninger.
Disse faktorer indebærer afvejninger. En mere avanceret model kan give bedre resultater med vanskelige tekster, men svare langsommere eller være dyrere at køre. En mindre model kan være tilstrækkelig til enkle oversættelser.
Vores mål er løbende at forbedre de tilgængelige muligheder, efterhånden som nye modeller kommer til, frem for at antage, at én model bliver ved med at være det bedste valg.
Lexibird understøtter også oversættelsesordlister, tilpasning af tone samt oversættelse af dokumenter, billeder og lyd. Disse funktioner hjælper brugerne med at tilpasse oversættelserne til deres særlige behov.
Lexibird blev ikke evalueret i den koreanske benchmark, så de offentliggjorte scorer skal ikke opfattes som målinger af Lexibirds oversættelsesydelse.
Den bedste oversættelsesmodel er måske ikke den bedste ret længe
Det mest interessante fund fra denne benchmark er ikke nødvendigvis GPT-6 Lunas førsteplads. Det er den stærke præstation, som flere generelle sprogmodeller viste i forhold til dedikerede oversættelsestjenester.
Resultaterne illustrerer, hvor meget maskinoversættelse har ændret sig. Modeller, der er udviklet til generel sprogforståelse, kan nu håndtere oversættelsesopgaver, som kræver fortolkning af kontekst, genopretning af udeladte oplysninger og bevarelse af samtalens hensigt.
Samtidig kan modellernes relative ydeevne ændre sig hurtigt. Nye udgivelser kan forbedre oversættelseskvaliteten, reducere svartider eller sænke omkostningerne.
For oversættelsestjenester og deres brugere tyder det på, at fleksibilitet kan være mere værdifuld end at satse på én enkelt oversættelsesmodel.
Benchmarken giver et nyttigt øjebliksbillede af AI-oversættelse i 2026, men konkurrencen mellem generelle og specialiserede oversættelsesmodeller er langt fra afgjort.
