Allmänna stora språkmodeller (LLM:er) blir allt mer konkurrenskraftiga jämfört med särskilda maskinöversättningstjänster. Ett benchmarktest publicerat på GitHub i september 2026 ger ett intressant exempel: GPT-6 Luna, Gemma 4 och DeepSeek V4 Flash fick alla lägre poäng för översättningsfel än DeepL API och Google Cloud Translation Basic.
GPT-6 Luna kom på första plats, följd av flera andra allmänna språkmodeller. Resultaten tyder på att modeller som utvecklats för många olika uppgifter också kan prestera exceptionellt väl inom översättning, särskilt när samtalskontexten spelar roll.
Det finns en viktig skillnad: benchmarktestet utvärderade Google Cloud Translation Basic, inte konsumentappen Google Översätt, som har fått ytterligare översättningsfunktioner med Gemini.
Vad testade benchmarktestet?
Benchmarktestet Korean Multi-turn Context Translation jämförde 15 översättningssystem utifrån deras förmåga att översätta koreanska samtal till engelska, japanska och förenklad kinesiska.
Datamängden innehöll 216 koreanska samtalsexempel, vilket gav upp till 648 översättningar per system.
Testerna fokuserade på språkliga aspekter som kan vara svåra att översätta utan kontext:
- Utelämnad information: I koreanska utelämnas ofta subjekt och objekt som går att förstå utifrån tidigare meningar.
- Tvetydiga hänvisningar: Ord och uttryck kan syfta på personer eller föremål som nämnts tidigare.
- Ton och artighet: Översättningarna behöver ta hänsyn till formalitetsnivå och relationen mellan talarna.
- Samtalsavsikt: Korta svar, underförstådda betydelser och ofullständiga meningar är ofta beroende av föregående meddelanden.
- Ovidkommande kontext: Ett översättningssystem måste också kunna avgöra när tidigare information bör ignoreras.
Översättningskvaliteten utvärderades med en metod baserad på GEMBA-MQM. En automatiserad AI-utvärderare identifierade fel och tilldelade poängavdrag efter hur allvarliga felen var.
Ett lägre genomsnittligt poängavdrag innebär färre eller mindre allvarliga fel enligt den här utvärderingen.
Resultat från översättningsbenchmarktestet
Jämförelsen från september 2026 gav följande resultat för utvalda textbaserade system:
| Översättningssystem | Genomsnittligt poängavdrag för fel |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Källa: 15-System Integrated Comparison, september 2026. Lägre är bättre. DeepL hade 642 giltiga utvärderingar; de övriga systemen i tabellen hade 648. Den fullständiga jämförelsen omfattade även system för talöversättning, som utelämnats här för konsekvensens skull.
GPT-6 Luna hade det lägsta genomsnittliga poängavdraget för fel, 0,130. Gemma 4 31B och Gemma 4 26B följde med resultaten 0,353 respektive 0,387, medan DeepSeek V4 Flash fick 0,571.
De kommersiella översättningstjänsterna presterade sämre på just den här datamängden. Papago fick 2,699, DeepL API fick 3,914 och Google Cloud Translation Basic fick 5,731.
Ett anmärkningsvärt resultat är att även flera förhållandevis små modeller presterade väl. Gemma 4 12B QAT Q4 fick exempelvis ett genomsnittligt poängavdrag på 0,855.
Resultaten är intressanta eftersom GPT-6 Luna, Gemma och DeepSeek är allmänna språkmodeller, inte särskilda översättningsprodukter. De är utformade för att hantera många olika uppgifter, bland annat skrivande, resonemang, programmering och analys.
Jämförelsen är dock inte helt likvärdig. LLM-konfigurationerna kunde använda tidigare turer i samtalet, medan de kommersiella översättningstjänsterna utvärderades utan den historiken. Resultaten speglar därför prestandan hos de testade översättningslösningarna, inte enbart de bakomliggande modellarkitekturerna.
Varför kontext är viktig vid översättning
Att översätta enskilda meningar korrekt garanterar inte alltid att den avsedda betydelsen bevaras.
Tänk dig till exempel ett koreanskt samtal där någon berättar att hen köpt sandaler och tofflor i en butik. I följande mening förklarar personen att varorna var slut i lager och behövde levereras.
Den andra meningen kan utelämna föremålen som diskuteras, eftersom de redan är underförstådda utifrån samtalet.
Ett system som bara översätter den meningen kan ge ett tvetydigt resultat. En modell som har tillgång till det tidigare meddelandet kan identifiera de utelämnade hänvisningarna.
Liknande utmaningar finns i många språk.
Idiom och vardagliga uttryck kan kräva tolkning snarare än en bokstavlig översättning. Artighet och formalitet kan bero på relationen mellan talarna. Ett kort svar kan betyda olika saker beroende på frågan som föregick det.
LLM:er kan använda den omgivande informationen för att reda ut sådana tvetydigheter. De kan också följa instruktioner om terminologi, skrivstil och avsedd målgrupp.
Denna flexibilitet är en av anledningarna till att allmänna språkmodeller har blivit allt mer användbara för översättning.
Kontext och instruktioner minskade felen med 31,5 %
Benchmarktestet innehöll ett separat experiment som undersökte hur ytterligare information påverkar översättningskvaliteten.
Forskarna testade Gemma 4 E4B QAT Q4 under två förhållanden: dels genom att översätta en mening för sig, dels genom att översätta den med ytterligare instruktioner och hela samtalshistoriken.
| Konfiguration | Genomsnittligt poängavdrag för fel |
|---|---|
| Endast mening | 2,118 |
| Instruktioner + samtalshistorik | 1,452 |
Den andra konfigurationen gav ett 31,5 % lägre genomsnittligt poängavdrag för fel.
Av 642 parade utvärderingar förbättrade konfigurationen med kontext och instruktioner 236 översättningar, försämrade 134 och gav likvärdiga resultat för 272.
Förbättringen märktes både när tidigare kontext behövdes och när modellen behövde känna igen att tidigare information var ovidkommande.
En viktig begränsning är att experimentet ändrade både instruktionerna och samtalshistoriken. Det mäter därför den samlade effekten av dessa, snarare än att isolera nyttan av enbart kontext.
Resultaten visar ändå att översättningskvaliteten kan variera avsevärt även när den underliggande AI-modellen är oförändrad.
Betyder det här att LLM:er alltid är bättre på översättning?
Nej. Benchmarktestet fokuserade på en särskild typ av översättning: koreanska samtal som kräver kontextuell förståelse.
Resultaten behöver inte gälla för alla språkpar, ämnen eller dokumenttyper.
Utvärderingen använde dessutom en automatiserad AI-bedömare i stället för professionella mänskliga översättare. Det gör storskaliga jämförelser praktiskt genomförbara, men automatiserade bedömningar kan introducera skevheter och kanske inte fånga alla aspekter av översättningskvalitet.
En annan faktor att ta hänsyn till är att kommersiella översättningstjänster utvecklas.
DeepL har utvecklat sina egna LLM:er specialiserade på översättning, medan Google har introducerat förbättringar av Google Översätt med Gemini. Google Cloud erbjuder också särskilda översättningsmodeller utöver Basic API:t som testades i det här benchmarktestet.
Med andra ord blir skillnaden mellan allmänna LLM:er och specialiserade översättningstjänster allt mindre tydlig.
Olika modeller kan prestera bättre för olika språkpar, tekniska ämnen eller översättningsuppgifter. Noggrannhet är dessutom bara en faktor att ta hänsyn till: hastighet, kostnad och konsekvens kan vara lika viktiga beroende på användningsområdet.
I stället för att utse ett enda översättningssystem som överlägset i alla lägen visar benchmarktestet hur konkurrenskraftiga allmänna LLM:er har blivit.
Vad detta innebär för AI-översättningstjänster
I takt med att allmänna modeller förbättras får översättningstjänster fler alternativ än att uteslutande förlita sig på en enda egenutvecklad översättningsmotor.
En tjänst kan i stället ge tillgång till modeller från flera olika utvecklare och välja ut eller rekommendera olika alternativ beroende på uppgiften.
Det är den strategi vi använder på Lexibird.
Lexibird ger tillgång till en rad språkmodeller från olika AI-leverantörer. Användare kan själva välja modell eller använda ett automatiskt alternativ för vardagsöversättning.
Vi utvärderar regelbundet tillgängliga modeller med tre faktorer i åtanke:
- Noggrannhet: Hur väl en modell bevarar betydelse, kontext, ton och terminologi.
- Hastighet: Hur snabbt den producerar översättningar, särskilt för vardagliga uppgifter.
- Kostnad: Om kvalitetsförbättringen motiverar den extra beräkningskostnaden.
Det finns avvägningar mellan dessa faktorer. En mer kapabel modell kan ge bättre resultat med svår text, men svara långsammare eller kosta mer att köra. En mindre modell kan räcka för enkla översättningar.
Vårt mål är att fortsätta förbättra de tillgängliga alternativen när nya modeller dyker upp, i stället för att utgå från att en och samma modell alltid kommer att vara det bästa valet.
Lexibird har även stöd för översättningsordlistor, anpassning av ton samt översättning av dokument, bilder och ljud. Dessa funktioner hjälper användarna att anpassa översättningarna efter särskilda behov.
Lexibird utvärderades inte i det koreanska benchmarktestet, så de publicerade poängen ska inte tolkas som mätningar av Lexibirds översättningsprestanda.
Den bästa översättningsmodellen kanske inte förblir bäst särskilt länge
Det mest intressanta resultatet från benchmarktestet är inte nödvändigtvis att GPT-6 Luna kom på första plats. Det är att flera allmänna språkmodeller presterade så starkt mot särskilda översättningstjänster.
Resultaten visar hur mycket maskinöversättning har förändrats. Modeller som utvecklats för allmän språkförståelse kan nu hantera översättningsuppgifter som kräver att man tolkar kontext, återskapar utelämnad information och bevarar samtalets avsikt.
Samtidigt kan modellernas relativa prestanda förändras snabbt. Nya versioner kan förbättra översättningskvaliteten, minska svarstiderna eller sänka kostnaderna.
För översättningstjänster och deras användare innebär det att flexibilitet kan vara värdefullare än att binda sig till en enda översättningsmodell.
Benchmarktestet ger en användbar ögonblicksbild av läget för AI-översättning år 2026, men den bredare konkurrensen mellan allmänna och specialiserade översättningsmodeller är långt ifrån avgjord.
