Veľké jazykové modely na všeobecné účely (LLM) čoraz častejšie konkurujú špecializovaným prekladateľským službám. Zaujímavým príkladom je benchmark zverejnený na GitHube v septembri 2026: GPT-6 Luna, Gemma 4 a DeepSeek V4 Flash dosiahli nižšie skóre chybovosti prekladu než DeepL API a Google Cloud Translation Basic.
GPT-6 Luna sa umiestnil na prvom mieste, za ním nasledovalo niekoľko ďalších jazykových modelov na všeobecné účely. Výsledky naznačujú, že modely vyvinuté na široké spektrum úloh môžu podávať vynikajúce výkony aj pri preklade, najmä keď záleží na konverzačnom kontexte.
Je tu jeden dôležitý rozdiel: benchmark hodnotil Google Cloud Translation Basic, nie spotrebiteľskú aplikáciu Google Translate, ktorá už obsahuje ďalšie prekladateľské funkcie využívajúce Gemini.
Čo benchmark testoval?
Benchmark prekladu kórejských konverzácií s viacerými kolami a kontextom porovnal 15 prekladateľských systémov podľa toho, ako dokážu prekladať konverzačnú kórejčinu do angličtiny, japončiny a zjednodušenej čínštiny.
Súbor údajov obsahoval 216 kórejských konverzačných príkladov, čo predstavovalo až 648 prekladov na jeden systém.
Testy sa zamerali na jazykové javy, ktoré sa bez kontextu môžu prekladať ťažko:
- Vynechané informácie: V kórejčine sa často vynechávajú podmety a predmety, ktoré možno odvodiť z predchádzajúcich viet.
- Nejednoznačné odkazy: Slová a výrazy môžu odkazovať na osoby alebo predmety spomenuté skôr.
- Tón a zdvorilosť: Preklady musia zohľadňovať formálnosť a vzťahy medzi hovoriacimi.
- Zámer konverzácie: Krátke odpovede, naznačené významy a neúplné vety často závisia od predchádzajúcich správ.
- Nesúvisiaci kontext: Prekladateľský systém musí tiež rozpoznať, kedy treba predchádzajúce informácie ignorovať.
Kvalita prekladu sa hodnotila metodikou založenou na GEMBA-MQM. Automatizovaný hodnotiteľ s umelou inteligenciou identifikoval chyby a prideľoval im penalizáciu podľa závažnosti.
Nižšia priemerná penalizácia znamená, že sa v rámci tohto hodnotenia vyskytlo menej chýb alebo boli menej závažné.
Výsledky prekladateľského benchmarku
Porovnanie zo septembra 2026 prinieslo tieto výsledky pre vybrané textové systémy:
| Prekladateľský systém | Priemerná penalizácia za chyby |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Zdroj: Porovnanie 15 systémov, september 2026. Nižšie skóre je lepšie. DeepL mal 642 platných hodnotení; ostatné uvedené systémy mali 648. Úplné porovnanie zahŕňalo aj systémy na preklad reči, ktoré sme tu pre zachovanie jednotnosti vynechali.
GPT-6 Luna dosiahol najnižšiu priemernú penalizáciu za chyby, a to 0,130. Nasledovali Gemma 4 31B a Gemma 4 26B so skóre 0,353 a 0,387, zatiaľ čo DeepSeek V4 Flash dosiahol 0,571.
Komerčné prekladateľské služby si v tomto konkrétnom súbore údajov počínali horšie. Papago dosiahol skóre 2,699, DeepL API 3,914 a Google Cloud Translation Basic 5,731.
Pozoruhodným zistením je, že dobre si počínalo aj niekoľko relatívne malých modelov. Napríklad Gemma 4 12B QAT Q4 dosiahla priemernú penalizáciu 0,855.
Tieto výsledky sú zaujímavé, pretože GPT-6 Luna, Gemma a DeepSeek sú jazykové modely na všeobecné účely, nie špecializované prekladateľské produkty. Sú navrhnuté tak, aby zvládali mnoho rôznych úloh vrátane písania, uvažovania, programovania a analýzy.
Porovnanie však nie je úplne rovnocenné. Konfigurácie LLM mohli využívať predchádzajúce kolá konverzácie, zatiaľ čo komerčné prekladateľské služby sa hodnotili bez tejto histórie. Výsledky preto odrážajú výkonnosť testovaných prekladateľských postupov, nie iba samotné architektúry modelov.
Prečo je pri preklade dôležitý kontext
Presný preklad jednotlivých viet nezaručuje vždy zachovanie ich zamýšľaného významu.
Predstavte si napríklad kórejskú konverzáciu, v ktorej niekto spomenie, že si v obchode kúpil sandále a papuče. V nasledujúcej vete vysvetlí, že tieto veci nemali na sklade a museli mu ich doručiť.
V druhej vete môžu byť spomínané predmety vynechané, pretože z konverzácie už vyplýva, o čo ide.
Systém, ktorý prekladá iba túto vetu, môže vytvoriť nejednoznačný výsledok. Model s prístupom k predchádzajúcej správe dokáže chýbajúce odkazy rozpoznať.
Podobné problémy sa vyskytujú v mnohých jazykoch.
Pri idiomoch a neformálnych výrazoch môže byť potrebná interpretácia, nie doslovný preklad. Zdvorilosť a formálnosť môžu závisieť od vzťahu medzi hovoriacimi. Krátka odpoveď môže mať rôzne významy podľa toho, aká otázka jej predchádzala.
LLM dokážu nejednoznačnosti vyriešiť pomocou okolitých informácií. Môžu tiež dodržiavať pokyny týkajúce sa terminológie, štýlu písania a zamýšľaného publika.
Táto flexibilita je jedným z dôvodov, prečo sú jazykové modely na všeobecné účely čoraz užitočnejšie pri preklade.
Pridanie kontextu a pokynov znížilo počet chýb o 31,5 %
Benchmark zahŕňal samostatný experiment skúmajúci, ako dodatočné informácie ovplyvňujú kvalitu prekladu.
Výskumníci testovali Gemma 4 E4B QAT Q4 v dvoch podmienkach: pri preklade vety samostatne a pri jej preklade s dodatočnými pokynmi a úplnou históriou konverzácie.
| Konfigurácia | Priemerná penalizácia za chyby |
|---|---|
| Iba veta | 2,118 |
| Pokyny + história konverzácie | 1,452 |
Druhá konfigurácia dosiahla o 31,5 % nižšiu priemernú penalizáciu za chyby.
V rámci 642 párových hodnotení sa pri konfigurácii s kontextom a pokynmi zlepšilo 236 prekladov, 134 sa zhoršilo a pri 272 bolo skóre rovnaké.
Zlepšenie sa prejavilo tak v prípadoch, keď bolo potrebné využiť predchádzajúci kontext, ako aj vtedy, keď model musel rozpoznať, že predchádzajúce informácie nie sú relevantné.
Dôležitým obmedzením je, že experiment zmenil pokyny aj históriu konverzácie. Meria teda ich spoločný účinok, nie samostatný prínos kontextu.
Výsledky napriek tomu ukazujú, že kvalita prekladu sa môže výrazne meniť, aj keď samotný model umelej inteligencie zostáva nezmenený.
Prečítajte si celý experiment s kontextom.
Znamená to, že LLM vždy prekladajú lepšie?
Nie. Benchmark sa zameral na konkrétny typ prekladu: kórejské konverzácie, pri ktorých je potrebné porozumieť kontextu.
Jeho zistenia sa nemusia vzťahovať na všetky jazykové kombinácie, témy ani typy dokumentov.
Pri hodnotení sa navyše použil automatizovaný hodnotiteľ s umelou inteligenciou, nie profesionálni ľudskí prekladatelia. Hoci to umožňuje praktické porovnávanie vo veľkom rozsahu, automatizované hodnotenia môžu prinášať skreslenia a nemusia zachytiť všetky aspekty kvality prekladu.
Ďalším faktorom je, že komerčné prekladateľské služby sa neustále vyvíjajú.
DeepL vyvinul vlastné LLM špecializované na preklad, zatiaľ čo Google predstavil vylepšenia služby Google Translate využívajúce Gemini. Google Cloud ponúka aj špecializované prekladateľské modely, ktoré presahujú možnosti Basic API testovaného v tomto benchmarku.
Inými slovami, rozdiel medzi jazykovými modelmi na všeobecné účely a špecializovanými prekladateľskými službami sa čoraz viac stiera.
Rôzne modely môžu dosahovať lepšie výsledky pri rôznych jazykových kombináciách, odborných témach alebo prekladateľských úlohách. Presnosť navyše nie je jediným hľadiskom: v závislosti od použitia môžu byť rovnako dôležité rýchlosť, cena a konzistentnosť.
Namiesto toho, aby benchmark určil jeden univerzálne najlepší prekladateľský systém, ukazuje, aké konkurencieschopné sa stali jazykové modely na všeobecné účely.
Čo to znamená pre služby prekladu s využitím umelej inteligencie
S rastúcou kvalitou modelov na všeobecné účely majú prekladateľské služby viac možností než spoliehať sa výlučne na jediný proprietárny prekladateľský nástroj.
Služba môže namiesto toho ponúkať prístup k modelom od viacerých vývojárov a podľa úlohy vyberať alebo odporúčať rôzne možnosti.
Takýto prístup využívame v Lexibird.
Lexibird poskytuje prístup k rôznym jazykovým modelom od viacerých poskytovateľov umelej inteligencie. Používatelia si môžu model vybrať sami alebo pri bežnom preklade využiť automatický výber.
Dostupné modely pravidelne hodnotíme s ohľadom na tri hľadiská:
- Presnosť: Ako dobre model zachováva význam, kontext, tón a terminológiu.
- Rýchlosť: Ako rýchlo vytvára preklady, najmä pri každodenných úlohách.
- Cena: Či zlepšenie kvality odôvodňuje dodatočné náklady na spracovanie.
Medzi týmito faktormi existujú kompromisy. Výkonnejší model môže priniesť lepšie výsledky pri náročnom texte, ale reagovať pomalšie alebo byť drahší na prevádzku. Menší model môže postačovať na jednoduché preklady.
Naším cieľom je priebežne zlepšovať dostupné možnosti s príchodom nových modelov, nie predpokladať, že jeden model zostane najlepšou voľbou navždy.
Lexibird podporuje aj prekladové slovníky, prispôsobenie tónu a preklad dokumentov, obrázkov a zvuku. Tieto funkcie pomáhajú používateľom prispôsobiť preklady konkrétnym požiadavkám.
Samotný Lexibird sa v kórejskom benchmarku nehodnotil, preto zverejnené skóre nemožno považovať za meranie jeho prekladateľskej výkonnosti.
Najlepší prekladateľský model nemusí zostať najlepší dlho
Najzaujímavejším zistením tohto benchmarku nemusí byť prvenstvo GPT-6 Luna. Je ním skôr výrazný výkon niekoľkých jazykových modelov na všeobecné účely v porovnaní so špecializovanými prekladateľskými službami.
Výsledky ukazujú, ako veľmi sa strojový preklad zmenil. Modely vyvinuté na všeobecné porozumenie jazyku dnes dokážu zvládať prekladateľské úlohy, pri ktorých treba interpretovať kontext, doplniť vynechané informácie a zachovať zámer konverzácie.
Relatívna výkonnosť modelov sa však môže rýchlo meniť. Nové verzie môžu zlepšiť kvalitu prekladu, skrátiť čas odozvy alebo znížiť náklady.
Pre prekladateľské služby aj ich používateľov to naznačuje, že flexibilita môže byť cennejšia než viazanosť na jediný prekladateľský model.
Benchmark poskytuje užitočný obraz o stave prekladu pomocou umelej inteligencie v roku 2026, no širšia súťaž medzi modelmi na všeobecné účely a špecializovanými prekladateľskými modelmi sa ani zďaleka neskončila.
