Algemene grote taalmodellen (LLM’s) kunnen steeds beter concurreren met gespecialiseerde vertaaldiensten. Een benchmark uit september 2026, gepubliceerd op GitHub, biedt een interessant voorbeeld: GPT-6 Luna, Gemma 4 en DeepSeek V4 Flash behaalden allemaal lagere vertaalscores dan DeepL API en Google Cloud Translation Basic.
GPT-6 Luna eindigde op de eerste plaats, gevolgd door verschillende andere algemene taalmodellen. De resultaten suggereren dat modellen die voor uiteenlopende taken zijn ontwikkeld ook uitzonderlijk goed kunnen vertalen, vooral wanneer de gesprekscontext van belang is.
Er is één belangrijk onderscheid: de benchmark testte Google Cloud Translation Basic, niet de Google Translate-app voor consumenten, waaraan inmiddels extra vertaalkenmerken op basis van Gemini zijn toegevoegd.
Wat werd er getest in de benchmark?
De Korean Multi-turn Context Translation Benchmark vergeleek 15 vertaalsystemen op hun vermogen om gesprekken in het Koreaans te vertalen naar het Engels, Japans en vereenvoudigd Chinees.
De dataset bevatte 216 Koreaanse gespreksvoorbeelden, goed voor maximaal 648 vertalingen per systeem.
De tests richtten zich op aspecten van taal die zonder context lastig te vertalen kunnen zijn:
- Weggelaten informatie: In het Koreaans worden onderwerpen en lijdende voorwerpen vaak weggelaten als ze uit eerdere zinnen kunnen worden afgeleid.
- Onduidelijke verwijzingen: Woorden en uitdrukkingen kunnen verwijzen naar mensen of dingen die eerder zijn genoemd.
- Toon en beleefdheid: Bij vertalingen moet rekening worden gehouden met formaliteit en de relatie tussen sprekers.
- Gespreksintentie: Korte antwoorden, impliciete betekenissen en onvolledige zinnen zijn vaak afhankelijk van eerdere berichten.
- Irrelevante context: Een vertaalsysteem moet ook herkennen wanneer eerdere informatie buiten beschouwing moet blijven.
De vertaalkwaliteit werd beoordeeld met een methode op basis van GEMBA-MQM. Een geautomatiseerde AI-beoordelaar identificeerde fouten en kende daar straffen aan toe op basis van de ernst ervan.
Een lagere gemiddelde strafscore duidt binnen deze evaluatie op minder fouten of fouten van een lagere ernst.
Resultaten van de vertaalbenchmark
De vergelijking uit september 2026 leverde de volgende resultaten op voor een selectie van tekstgebaseerde systemen:
| Vertaalsysteem | Gemiddelde foutscore |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Bron: 15-System Integrated Comparison, september 2026. Lager is beter. Voor DeepL waren 642 geldige evaluaties beschikbaar; de overige vermelde systemen hadden er 648. De volledige vergelijking omvatte ook spraakvertaalsystemen, die hier voor de consistentie zijn weggelaten.
GPT-6 Luna had met 0,130 de laagste gemiddelde foutscore. Gemma 4 31B en Gemma 4 26B volgden met scores van respectievelijk 0,353 en 0,387, terwijl DeepSeek V4 Flash 0,571 scoorde.
De commerciële vertaaldiensten presteerden minder goed op deze specifieke dataset. Papago scoorde 2,699, DeepL API 3,914 en Google Cloud Translation Basic 5,731.
Een opvallende bevinding is dat ook verschillende relatief kleine modellen goed presteerden. Gemma 4 12B QAT Q4 behaalde bijvoorbeeld een gemiddelde foutscore van 0,855.
Deze resultaten zijn interessant omdat GPT-6 Luna, Gemma en DeepSeek algemene taalmodellen zijn en geen speciale vertaalproducten. Ze zijn ontworpen voor allerlei taken, waaronder schrijven, redeneren, programmeren en analyseren.
De vergelijking is echter niet helemaal gelijkwaardig. De configuraties met LLM’s konden eerdere gespreksbeurten gebruiken, terwijl de commerciële vertaaldiensten zonder die geschiedenis werden geëvalueerd. De resultaten weerspiegelen dus de prestaties van de geteste vertaalworkflows, en niet alleen die van de onderliggende modelarchitecturen.
Waarom context belangrijk is bij vertalen
Een nauwkeurige vertaling van afzonderlijke zinnen garandeert niet altijd dat de bedoelde betekenis behouden blijft.
Stel je bijvoorbeeld een Koreaans gesprek voor waarin iemand vertelt dat die in een winkel sandalen en pantoffels heeft gekocht. In de volgende zin legt diegene uit dat de artikelen niet op voorraad waren en moesten worden bezorgd.
In de tweede zin kunnen de besproken voorwerpen worden weggelaten, omdat ze in de context van het gesprek al duidelijk zijn.
Een systeem dat alleen die zin vertaalt, kan een dubbelzinnig resultaat opleveren. Een model dat toegang heeft tot het eerdere bericht kan de ontbrekende verwijzingen achterhalen.
Vergelijkbare uitdagingen doen zich in veel talen voor.
Idiomatische en informele uitdrukkingen vragen soms om interpretatie in plaats van een letterlijke vertaling. Beleefdheid en formaliteit kunnen afhangen van de relatie tussen sprekers. Een kort antwoord kan verschillende betekenissen hebben, afhankelijk van de voorafgaande vraag.
LLM’s kunnen omliggende informatie gebruiken om deze dubbelzinnigheden op te lossen. Ze kunnen ook instructies volgen over terminologie, schrijfstijl en beoogde doelgroep.
Die flexibiliteit is een van de redenen waarom algemene taalmodellen steeds bruikbaarder zijn geworden voor vertalingen.
Context en instructies verlaagden het aantal fouten met 31,5%
De benchmark bevatte een afzonderlijk experiment naar de invloed van extra informatie op de vertaalkwaliteit.
Onderzoekers testten Gemma 4 E4B QAT Q4 onder twee omstandigheden: een zin op zichzelf vertalen, en de zin vertalen met aanvullende instructies en de volledige gespreksgeschiedenis.
| Configuratie | Gemiddelde foutscore |
|---|---|
| Alleen de zin | 2,118 |
| Instructies + gespreksgeschiedenis | 1,452 |
De tweede configuratie behaalde een 31,5% lagere gemiddelde foutscore.
Bij 642 paarsgewijze evaluaties verbeterde de configuratie met context en instructies 236 vertalingen, verslechterde ze er 134 en leverde ze bij 272 vertalingen een gelijkwaardige score op.
De verbetering werd waargenomen wanneer eerdere context nodig was, maar ook wanneer het model moest herkennen dat eerdere informatie irrelevant was.
Een belangrijke beperking is dat in het experiment zowel de instructies als de gespreksgeschiedenis werden aangepast. Het meet daardoor het gecombineerde effect, in plaats van uitsluitend het voordeel van context vast te stellen.
Toch laten de resultaten zien dat de vertaalkwaliteit aanzienlijk kan variëren, zelfs wanneer het onderliggende AI-model hetzelfde blijft.
Lees het volledige contextuele experiment.
Betekent dit dat LLM’s altijd beter vertalen?
Nee. De benchmark richtte zich op een specifiek soort vertaling: Koreaanse gesprekken waarvoor contextueel begrip nodig is.
De bevindingen gelden niet per se voor elk talenpaar, onderwerp of documenttype.
De evaluatie maakte bovendien gebruik van een geautomatiseerde AI-beoordelaar in plaats van professionele menselijke vertalers. Daardoor zijn grootschalige vergelijkingen praktisch uitvoerbaar, maar geautomatiseerde beoordelingen kunnen vooringenomenheden bevatten en mogelijk niet alle aspecten van vertaalkwaliteit meenemen.
Ook commerciële vertaaldiensten blijven zich ontwikkelen.
DeepL heeft eigen LLM’s ontwikkeld die specifiek op vertalen zijn gericht, terwijl Google verbeteringen aan Google Translate op basis van Gemini heeft geïntroduceerd. Google Cloud biedt naast de Basic API die in deze benchmark is getest ook speciale vertaalmodellen aan.
Met andere woorden: het onderscheid tussen algemene LLM’s en gespecialiseerde vertaaldiensten wordt steeds vager.
Verschillende modellen kunnen beter presteren voor bepaalde talenparen, technische onderwerpen of vertaalopdrachten. Nauwkeurigheid is bovendien maar één factor: afhankelijk van het gebruik kunnen snelheid, kosten en consistentie net zo belangrijk zijn.
In plaats van één vertaalsysteem aan te wijzen als universeel het beste, laat de benchmark zien hoe concurrerend algemene LLM’s inmiddels zijn geworden.
Wat dit betekent voor AI-vertaaldiensten
Naarmate algemene modellen beter worden, hebben vertaaldiensten meer mogelijkheden dan uitsluitend vertrouwen op één eigen vertaalengine.
Een dienst kan in plaats daarvan toegang bieden tot modellen van meerdere ontwikkelaars en afhankelijk van de taak verschillende opties selecteren of aanbevelen.
Dat is de aanpak die we bij Lexibird hanteren.
Lexibird biedt toegang tot een reeks taalmodellen van verschillende AI-aanbieders. Gebruikers kunnen zelf een model kiezen of voor dagelijks gebruik een automatische optie selecteren.
We evalueren beschikbare modellen regelmatig op basis van drie aandachtspunten:
- Nauwkeurigheid: Hoe goed een model betekenis, context, toon en terminologie behoudt.
- Snelheid: Hoe snel het vertalingen produceert, met name voor alledaagse taken.
- Kosten: Of de kwaliteitsverbetering de extra verwerkingskosten rechtvaardigt.
Deze factoren brengen afwegingen met zich mee. Een krachtiger model levert bij moeilijke teksten mogelijk betere resultaten op, maar reageert wellicht langzamer of is duurder in gebruik. Voor eenvoudige vertalingen kan een kleiner model volstaan.
Ons doel is om de beschikbare opties voortdurend te verbeteren naarmate er nieuwe modellen verschijnen, in plaats van ervan uit te gaan dat één model voor altijd de beste keuze blijft.
Lexibird ondersteunt ook vertaalwoordenlijsten, aanpassing van de toon en het vertalen van documenten, afbeeldingen en audio. Met deze functies kunnen gebruikers vertalingen op specifieke vereisten afstemmen.
Lexibird zelf is niet geëvalueerd in de Koreaanse benchmark. De gepubliceerde scores mogen daarom niet worden opgevat als metingen van de vertaalprestaties van Lexibird.
Het beste vertaalmodel blijft misschien niet lang het beste
De interessantste bevinding van deze benchmark is niet noodzakelijkerwijs de eerste plaats van GPT-6 Luna. Het is de sterke prestatie van verschillende algemene taalmodellen ten opzichte van gespecialiseerde vertaaldiensten.
De resultaten laten zien hoeveel machinevertaling is veranderd. Modellen die zijn ontwikkeld voor algemeen taalbegrip kunnen nu vertaalopdrachten aan waarvoor interpretatie van context, aanvulling van weggelaten informatie en behoud van de gespreksintentie nodig zijn.
Tegelijkertijd kunnen de relatieve prestaties van modellen snel veranderen. Nieuwe releases kunnen de vertaalkwaliteit verbeteren, de responstijd verkorten of de kosten verlagen.
Voor vertaaldiensten en hun gebruikers betekent dit dat flexibiliteit waardevoller kan zijn dan vasthouden aan één vertaalmodel.
De benchmark biedt een nuttige momentopname van de stand van AI-vertaling in 2026, maar de bredere concurrentiestrijd tussen algemene en gespecialiseerde vertaalmodellen is nog lang niet beslist.
