Az általános célú nagy nyelvi modellek (LLM-ek) egyre versenyképesebbek a dedikált gépi fordítási szolgáltatásokkal. Egy 2026 szeptemberében a GitHubon közzétett benchmark érdekes példát kínál erre: a GPT-6 Luna, a Gemma 4 és a DeepSeek V4 Flash egyaránt alacsonyabb fordítási hibapontszámot ért el, mint a DeepL API és a Google Cloud Translation Basic.
A GPT-6 Luna végzett az első helyen, mögötte pedig több más általános célú nyelvi modell következett. Az eredmények arra utalnak, hogy a feladatok széles körére kifejlesztett modellek fordításban is kiemelkedően teljesíthetnek, különösen akkor, ha fontos a beszélgetés kontextusa.
Egy fontos különbséget azonban érdemes megjegyezni: a benchmark a Google Cloud Translation Basic szolgáltatást vizsgálta, nem a fogyasztóknak szánt Google Fordító alkalmazást, amely már további, Gemini-alapú fordítási képességeket is tartalmaz.
Mit vizsgált a benchmark?
A Koreai többszereplős, kontextusfüggő fordítási benchmark 15 fordítórendszer képességét hasonlította össze abban, hogy a koreai nyelvű beszélgetéseket angolra, japánra és egyszerűsített kínaira fordítsák.
Az adatkészlet 216 koreai nyelvű beszélgetési példát tartalmazott, így rendszerenként akár 648 fordítás is készülhetett.
A tesztek a nyelv olyan jellemzőire összpontosítottak, amelyek kontextus nélkül nehezen fordíthatók:
- Elhagyott információk: A koreai nyelvben gyakran kimaradnak az alanyok és a tárgyak, ha az előző mondatokból egyértelműek.
- Kétértelmű utalások: Egyes szavak és kifejezések korábban említett személyekre vagy tárgyakra vonatkozhatnak.
- Hangnem és udvariasság: A fordításnak figyelembe kell vennie a formalitás mértékét és a beszélők közötti kapcsolatot.
- Beszélgetési szándék: A rövid válaszok, a ki nem mondott jelentések és a befejezetlen mondatok gyakran az előző üzenetektől függenek.
- Nem releváns kontextus: A fordítórendszernek azt is fel kell ismernie, mikor kell figyelmen kívül hagynia a korábbi információkat.
A fordítás minőségét a GEMBA-MQM-en alapuló módszertannal értékelték. Egy automatizált MI-értékelő azonosította a hibákat, és súlyosságuk alapján büntetőpontokat rendelt hozzájuk.
Az alacsonyabb átlagos büntetőpontszám kevesebb, illetve kevésbé súlyos hibát jelez ebben az értékelésben.
A fordítási benchmark eredményei
A 2026. szeptemberi összehasonlítás a kiválasztott szövegalapú rendszerek esetében a következő eredményeket hozta:
| Fordítórendszer | Átlagos hibapontszám |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Forrás: 15 rendszer integrált összehasonlítása, 2026. szeptember. Az alacsonyabb érték jobb. A DeepL esetében 642 érvényes értékelés született, a többi felsorolt rendszernél 648. A teljes összehasonlítás beszédfordító rendszereket is tartalmazott, ezeket az összevethetőség érdekében itt kihagytuk.
A GPT-6 Luna érte el a legalacsonyabb, 0,130-as átlagos hibapontszámot. A Gemma 4 31B és a Gemma 4 26B következett 0,353-as, illetve 0,387-es eredménnyel, míg a DeepSeek V4 Flash 0,571 pontot ért el.
Ezen az adatkészleten a kereskedelmi fordítási szolgáltatások gyengébben szerepeltek. A Papago 2,699, a DeepL API 3,914, a Google Cloud Translation Basic pedig 5,731 pontot kapott.
Figyelemre méltó, hogy több viszonylag kis modell is jól teljesített. A Gemma 4 12B QAT Q4 például 0,855-ös átlagos büntetőpontszámot ért el.
Az eredmények azért érdekesek, mert a GPT-6 Luna, a Gemma és a DeepSeek általános célú nyelvi modellek, nem pedig kifejezetten fordításra készült termékek. Számos különféle feladat elvégzésére tervezték őket, többek között írásra, érvelésre, programozásra és elemzésre.
Az összehasonlítás azonban nem teljesen azonos feltételek mellett történt. Az LLM-ek konfigurációi felhasználhatták a beszélgetés korábbi fordulóit, a kereskedelmi fordítási szolgáltatásokat viszont az előzmények nélkül értékelték. Az eredmények tehát a tesztelt fordítási munkafolyamatok teljesítményét tükrözik, nem pusztán az alapul szolgáló modellarchitektúrákét.
Miért fontos a kontextus a fordításban?
Az egyes mondatok pontos lefordítása nem mindig garantálja, hogy az eredeti szándékolt jelentés is megmarad.
Képzeljünk el például egy koreai beszélgetést, amelyben valaki elmondja, hogy szandált és papucsot vásárolt egy üzletben. A következő mondatban hozzáteszi, hogy ezek a termékek nem voltak készleten, ezért ki kellett szállítani őket.
A második mondatból kimaradhatnak az említett tárgyak, mert a beszélgetésből már egyértelműek.
Ha egy rendszer csak ezt a mondatot fordítja le, kétértelmű eredményt adhat. A korábbi üzenethez hozzáférő modell viszont azonosíthatja a hiányzó utalásokat.
Hasonló nehézségek sok nyelvben előfordulnak.
Az idiómák és a kötetlen kifejezések értelmezést, nem pusztán szó szerinti fordítást igényelhetnek. Az udvariasság és a formalitás a beszélők kapcsolatától függhet. Egy rövid válasz jelentése az előző kérdéstől függően változhat.
Az LLM-ek a környező információk felhasználásával feloldhatják ezeket a kétértelműségeket. A terminológiára, az írásstílusra és a célközönségre vonatkozó utasításokat is követhetik.
Ez a rugalmasság az egyik oka annak, hogy az általános célú nyelvi modellek egyre hasznosabbá váltak a fordításban.
A kontextus és az utasítások hozzáadása 31,5%-kal csökkentette a hibákat
A benchmark egy külön kísérletet is tartalmazott, amely azt vizsgálta, hogyan befolyásolják a további információk a fordítás minőségét.
A kutatók a Gemma 4 E4B QAT Q4 modellt két feltétel mellett tesztelték: először egy mondat önálló lefordításakor, majd további utasítások és a teljes beszélgetési előzmény megadásával.
| Konfiguráció | Átlagos hibapontszám |
|---|---|
| Csak a mondat | 2,118 |
| Utasítások + beszélgetési előzmény | 1,452 |
A második konfiguráció 31,5%-kal alacsonyabb átlagos hibapontszámot ért el.
A 642 párosított értékelés során a kontextust és utasításokat használó konfiguráció 236 fordítást javított, 134-et rontott, 272 esetben pedig azonos pontszámot kapott.
A javulás akkor is megfigyelhető volt, amikor szükség volt a korábbi kontextusra, és akkor is, amikor a modellnek fel kellett ismernie, hogy a korábbi információ nem releváns.
Fontos korlát, hogy a kísérletben az utasítások és a beszélgetési előzmény is megváltozott. Ezért a kettő együttes hatását méri, nem pedig önmagában a kontextus előnyét.
Az eredmények így is azt mutatják, hogy a fordítás minősége jelentősen eltérhet akkor is, ha maga az MI-modell változatlan marad.
A teljes kontextuskísérlet megtekintése.
Ez azt jelenti, hogy az LLM-ek mindig jobbak fordításban?
Nem. A benchmark a fordítás egy meghatározott típusára összpontosított: olyan koreai beszélgetésekre, amelyek kontextuális megértést igényelnek.
Az eredmények nem feltétlenül érvényesek minden nyelvpárra, témára vagy dokumentumtípusra.
Az értékelést ráadásul automatizált MI-bíráló végezte, nem hivatásos emberi fordítók. Ez praktikusabbá teszi a nagy léptékű összehasonlítást, az automatizált értékelés azonban torzításokat vezethet be, és nem feltétlenül ragadja meg a fordítás minőségének minden aspektusát.
Azt is érdemes figyelembe venni, hogy a kereskedelmi fordítási szolgáltatások folyamatosan fejlődnek.
A DeepL saját fordításra specializált LLM-eket fejlesztett, a Google pedig Gemini-alapú fejlesztéseket vezetett be a Google Fordítóban. A Google Cloud a benchmarkban tesztelt Basic API-n kívül dedikált fordítási modelleket is kínál.
Más szóval, egyre kevésbé egyértelmű a különbség az általános célú LLM-ek és a specializált fordítási szolgáltatások között.
A különböző modellek eltérően teljesíthetnek az egyes nyelvpárokon, szakmai témákban vagy fordítási feladatoknál. Ráadásul a pontosság csak egy szempont: a felhasználási esettől függően a sebesség, a költség és a következetesség is ugyanilyen fontos lehet.
Ahelyett, hogy egyetlen, minden szempontból legjobb fordítórendszert nevezne meg, a benchmark azt szemlélteti, mennyire versenyképessé váltak az általános célú LLM-ek.
Mit jelent ez az MI-alapú fordítási szolgáltatások számára?
Az általános célú modellek fejlődésével a fordítási szolgáltatásoknak egyre több lehetőségük van arra, hogy ne kizárólag egyetlen saját fejlesztésű fordítómotorra támaszkodjanak.
Ehelyett több fejlesztő modelljeihez is hozzáférést biztosíthatnak, és a feladattól függően különböző lehetőségeket választhatnak vagy ajánlhatnak.
A Lexibird is ezt a megközelítést alkalmazza.
A Lexibird különböző MI-szolgáltatóktól származó nyelvi modellek széles választékához biztosít hozzáférést. A felhasználók maguk is kiválaszthatnak egy modellt, vagy a mindennapi fordításokhoz automatikus lehetőséget használhatnak.
Az elérhető modelleket rendszeresen értékeljük, három szempontot szem előtt tartva:
- Pontosság: Mennyire őrzi meg a modell a jelentést, a kontextust, a hangnemet és a terminológiát.
- Sebesség: Milyen gyorsan készíti el a fordítást, különösen a mindennapi feladatoknál.
- Költség: Indokolja-e a minőségjavulás a nagyobb számítási költséget.
Ezek a szempontok kompromisszumokat kívánnak. Egy fejlettebb modell nehéz szövegeknél jobb eredményt adhat, de lassabban válaszolhat, vagy többe kerülhet a futtatása. Egyszerű fordításokhoz elegendő lehet egy kisebb modell is.
Célunk, hogy az új modellek megjelenésével folyamatosan bővítsük és fejlesszük a rendelkezésre álló lehetőségeket, ahelyett hogy azt feltételeznénk, egyetlen modell marad a legjobb választás örökre.
A Lexibird fordítási szószedeteket, hangnem-beállításokat, valamint dokumentumok, képek és hanganyagok fordítását is támogatja. Ezek a funkciók lehetővé teszik, hogy a felhasználók a saját igényeikhez igazítsák a fordításokat.
A Lexibirdet magát nem értékelték a koreai benchmarkban, ezért a közzétett pontszámok nem tekinthetők a Lexibird fordítási teljesítményére vonatkozó mérésnek.
Lehet, hogy nem sokáig marad a legjobb a legjobb fordítómodell
A benchmark legérdekesebb eredménye nem feltétlenül a GPT-6 Luna első helyezése, hanem az, hogy több általános célú nyelvi modell is ilyen erősen teljesített a dedikált fordítási szolgáltatásokkal szemben.
Az eredmények jól szemléltetik, mennyit változott a gépi fordítás. Az általános nyelvi megértésre kifejlesztett modellek ma már olyan fordítási feladatokat is meg tudnak oldani, amelyek a kontextus értelmezését, az elhagyott információk visszaállítását és a beszélgetési szándék megőrzését igénylik.
A modellek egymáshoz viszonyított teljesítménye ugyanakkor gyorsan változhat. Az új kiadások javíthatják a fordítás minőségét, csökkenthetik a válaszidőt vagy a költségeket.
A fordítási szolgáltatások és felhasználóik számára ez arra utal, hogy az egyetlen fordítómodell melletti elköteleződésnél értékesebb lehet a rugalmasság.
A benchmark hasznos pillanatképet ad a mesterséges intelligenciával végzett fordítás 2026-os állapotáról, de az általános célú és a specializált fordítómodellek közötti verseny korántsem dőlt még el.
