Velké jazykové modely (LLM) pro všeobecné použití stále častěji konkurují specializovaným službám strojového překladu. Zajímavým příkladem je benchmark zveřejněný na GitHubu v září 2026: GPT-6 Luna, Gemma 4 a DeepSeek V4 Flash dosáhly nižšího skóre chybovosti překladu než DeepL API a Google Cloud Translation Basic.
První místo obsadil GPT-6 Luna, za ním se umístilo několik dalších jazykových modelů pro všeobecné použití. Výsledky naznačují, že modely vyvíjené pro širokou škálu úloh mohou podávat mimořádně dobré výkony i při překladu, zejména když záleží na konverzačním kontextu.
Je tu jeden důležitý rozdíl: benchmark hodnotil Google Cloud Translation Basic, nikoli aplikaci Google Překladač určenou běžným uživatelům, do které byly začleněny další překladové funkce využívající Gemini.
Co benchmark testoval?
Benchmark korejského překladu s kontextem ve vícetahové konverzaci porovnával 15 překladových systémů podle toho, jak dokážou překládat konverzační korejštinu do angličtiny, japonštiny a zjednodušené čínštiny.
Datová sada obsahovala 216 ukázek korejské konverzace, což znamenalo až 648 překladů na jeden systém.
Testy se zaměřovaly na jazykové jevy, které mohou být bez kontextu obtížné přeložit:
- Vynechané informace: V korejštině se často vynechávají podměty a předměty, které jsou zřejmé z předchozích vět.
- Nejednoznačné odkazy: Slova a výrazy mohou odkazovat na osoby nebo věci zmíněné dříve.
- Tón a zdvořilost: Překlad musí zohlednit míru formálnosti a vztah mezi mluvčími.
- Záměr v konverzaci: Krátké odpovědi, naznačené významy a neúplné věty často závisejí na předchozích zprávách.
- Nerelevantní kontext: Překladový systém musí také rozpoznat, kdy má předchozí informace ignorovat.
Kvalita překladu se hodnotila metodikou založenou na GEMBA-MQM. Automatický hodnotitel využívající AI identifikoval chyby a uděloval za ně penalizace podle závažnosti.
Nižší průměrná penalizace znamená, že v rámci tohoto hodnocení bylo méně chyb nebo byly méně závažné.
Výsledky překladového benchmarku
Srovnání ze září 2026 přineslo následující výsledky u vybraných textových systémů:
| Překladový systém | Průměrná penalizace za chyby |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Zdroj: Srovnání 15 systémů, září 2026. Nižší hodnota je lepší. DeepL měl 642 platných hodnocení; ostatní uvedené systémy jich měly 648. Úplné srovnání zahrnovalo také systémy pro překlad řeči, které zde pro zachování srovnatelnosti nejsou uvedeny.
GPT-6 Luna dosáhl nejnižší průměrné penalizace za chyby, a to 0,130. Za ním následovaly Gemma 4 31B a Gemma 4 26B se skóre 0,353 a 0,387; DeepSeek V4 Flash dosáhl skóre 0,571.
Komerční překladové služby si v této konkrétní datové sadě vedly hůře. Papago dosáhlo skóre 2,699, DeepL API 3,914 a Google Cloud Translation Basic 5,731.
Pozoruhodné je, že dobře si vedlo také několik relativně malých modelů. Například Gemma 4 12B QAT Q4 dosáhl průměrné penalizace 0,855.
Tyto výsledky jsou zajímavé, protože GPT-6 Luna, Gemma a DeepSeek jsou jazykové modely pro všeobecné použití, nikoli specializované překladové produkty. Jsou navrženy pro řadu různých úloh, včetně psaní, uvažování, programování a analýzy.
Srovnání však není zcela rovnocenné. Konfigurace LLM mohly využívat předchozí tahy konverzace, zatímco komerční překladové služby byly hodnoceny bez této historie. Výsledky proto odrážejí výkon testovaných překladových postupů, nikoli pouze samotné architektury modelů.
Proč je při překladu důležitý kontext
Přesný překlad jednotlivých vět nemusí vždy zaručit zachování jejich zamýšleného významu.
Představme si například korejskou konverzaci, ve které někdo zmíní, že si v obchodě koupil sandály a pantofle. V následující větě vysvětlí, že zboží nebylo skladem a muselo být doručeno.
Ve druhé větě mohou být probírané předměty vynechány, protože jsou z konverzace už zřejmé.
Systém, který překládá pouze tuto větu, může vytvořit nejednoznačný výsledek. Model s přístupem k předchozí zprávě dokáže chybějící odkazy určit.
Podobné obtíže se vyskytují v mnoha jazycích.
Idiomy a hovorové výrazy mohou vyžadovat interpretaci, nikoli doslovný překlad. Zdvořilost a formálnost mohou záviset na vztahu mezi mluvčími. Krátká odpověď může mít podle předchozí otázky různé významy.
LLM mohou využít okolní informace k vyřešení těchto nejednoznačností. Dokážou také dodržovat pokyny týkající se terminologie, stylu psaní a zamýšleného publika.
Právě tato flexibilita je jedním z důvodů, proč se jazykové modely pro všeobecné použití stále více uplatňují při překladu.
Přidání kontextu a pokynů snížilo počet chyb o 31,5 %
Benchmark zahrnoval samostatný experiment, který zkoumal, jak dodatečné informace ovlivňují kvalitu překladu.
Výzkumníci testovali Gemma 4 E4B QAT Q4 za dvou podmínek: při překladu věty samostatně a při jejím překladu s dodatečnými pokyny a úplnou historií konverzace.
| Konfigurace | Průměrná penalizace za chyby |
|---|---|
| Pouze věta | 2,118 |
| Pokyny + historie konverzace | 1,452 |
Druhá konfigurace dosáhla o 31,5 % nižší průměrné penalizace za chyby.
Ve 642 párových hodnoceních konfigurace s kontextem a pokyny zlepšila 236 překladů, zhoršila 134 a u 272 dosáhla stejného skóre.
Zlepšení se projevilo jak v případech, kdy byl předchozí kontext potřeba, tak tehdy, když model musel rozpoznat, že předchozí informace nejsou relevantní.
Důležitým omezením je, že experiment změnil zároveň pokyny i historii konverzace. Měří tedy jejich společný účinek, nikoli přínos samotného kontextu.
Výsledky přesto ukazují, že kvalita překladu se může výrazně lišit, i když samotný model AI zůstává stejný.
Přečtěte si celý experiment s kontextem.
Znamená to, že LLM vždy překládají lépe?
Ne. Benchmark se zaměřil na konkrétní typ překladu: korejské konverzace vyžadující porozumění kontextu.
Jeho závěry se nemusí vztahovat na všechny jazykové dvojice, obory nebo typy dokumentů.
Hodnocení navíc prováděl automatický hodnotitel s využitím AI, nikoli profesionální lidští překladatelé. Díky tomu lze prakticky provádět rozsáhlá srovnání, automatické hodnocení však může vnášet zkreslení a nemusí zachytit všechny aspekty kvality překladu.
Dalším faktorem je, že komerční překladové služby se vyvíjejí.
DeepL vyvinul vlastní jazykové modely specializované na překlad, zatímco Google představil vylepšení Překladače Google využívající Gemini. Google Cloud nabízí také specializované překladové modely nad rámec základního rozhraní API testovaného v tomto benchmarku.
Rozdíl mezi LLM pro všeobecné použití a specializovanými překladovými službami je tedy stále méně zřetelný.
Různé modely mohou podávat lepší výkony u různých jazykových dvojic, technických témat nebo překladových úloh. Přesnost je navíc jen jedním z hledisek: v závislosti na způsobu použití mohou být stejně důležité rychlost, cena a konzistence.
Benchmark neurčuje jeden překladový systém, který by byl nejlepší za všech okolností; ukazuje spíše, jak konkurenceschopné se LLM pro všeobecné použití staly.
Co to znamená pro služby AI překladu
S tím, jak se modely pro všeobecné použití zlepšují, mají překladové služby více možností než spoléhat výhradně na jediný proprietární překladový engine.
Služba může místo toho zpřístupnit modely od více vývojářů a podle úkolu různé možnosti vybírat nebo doporučovat.
Právě tento přístup používáme v Lexibird.
Lexibird zpřístupňuje řadu jazykových modelů od různých poskytovatelů AI. Uživatelé si mohou vybrat model sami nebo při běžném překladu využít automatickou volbu.
Dostupné modely pravidelně vyhodnocujeme s ohledem na tři hlediska:
- Přesnost: Jak dobře model zachovává význam, kontext, tón a terminologii.
- Rychlost: Jak rychle vytváří překlady, zejména při běžných úlohách.
- Cena: Zda zlepšení kvality odpovídá dodatečným nákladům na zpracování.
Mezi těmito faktory existují kompromisy. Výkonnější model může u obtížného textu poskytovat lepší výsledky, ale reagovat pomaleji nebo být nákladnější na provoz. Pro jednoduché překlady může stačit menší model.
Naším cílem je s příchodem nových modelů dostupné možnosti průběžně vylepšovat, nikoli předpokládat, že jeden model zůstane nejlepší volbou napořád.
Lexibird podporuje také překladové glosáře, přizpůsobení tónu a překlad dokumentů, obrázků i zvuku. Tyto funkce pomáhají uživatelům upravit překlad podle konkrétních požadavků.
Lexibird samotný nebyl v korejském benchmarku hodnocen, proto zveřejněná skóre nelze chápat jako měření překladového výkonu Lexibird.
Nejlepší překladový model nemusí zůstat nejlepší dlouho
Nejzajímavějším zjištěním tohoto benchmarku nemusí být nutně první místo GPT-6 Luna. Je jím také výrazný výkon několika jazykových modelů pro všeobecné použití ve srovnání se specializovanými překladovými službami.
Výsledky ukazují, jak se strojový překlad proměnil. Modely vyvíjené pro obecné porozumění jazyku nyní zvládají překladové úlohy, které vyžadují interpretaci kontextu, doplnění vynechaných informací a zachování komunikačního záměru.
Relativní výkonnost modelů se však může rychle měnit. Nové verze mohou zlepšit kvalitu překladu, zkrátit dobu odezvy nebo snížit náklady.
Pro překladové služby a jejich uživatele to znamená, že flexibilita může být cennější než závazek používat jediný překladový model.
Benchmark nabízí užitečný pohled na stav AI překladu v roce 2026, širší soupeření mezi modely pro všeobecné použití a specializovanými překladovými modely je však zdaleka nerozhodnuté.
