Veliki jezični modeli opće namjene (LLM-ovi) sve su konkurentniji namjenskim uslugama strojnog prevođenja. Benchmark objavljen na GitHubu u rujnu 2026. pruža zanimljiv primjer: GPT-6 Luna, Gemma 4 i DeepSeek V4 Flash ostvarili su niže rezultate pogrešaka u prijevodu od DeepL API-ja i Google Cloud Translation Basic.
GPT-6 Luna zauzeo je prvo mjesto, a slijedilo ga je nekoliko drugih jezičnih modela opće namjene. Rezultati upućuju na to da modeli razvijeni za širok raspon zadataka mogu biti iznimno uspješni i u prevođenju, osobito kada je važan kontekst razgovora.
Postoji jedna važna razlika: benchmark je procjenjivao Google Cloud Translation Basic, a ne aplikaciju Google Prevoditelj namijenjenu potrošačima, koja je dobila dodatne prevoditeljske mogućnosti pogonjene Geminijem.
Što je benchmark testirao?
Benchmark za kontekstualno prevođenje višestrukih dijaloga s korejskog usporedio je 15 sustava za prevođenje prema njihovoj sposobnosti prevođenja razgovornog korejskog na engleski, japanski i pojednostavljeni kineski.
Skup podataka sadržavao je 216 primjera razgovora na korejskom, što je davalo do 648 prijevoda po sustavu.
Testovi su se usredotočili na jezične značajke koje je teško prevesti bez konteksta:
- Izostavljene informacije: U korejskom se često izostavljaju subjekti i objekti koji su jasni iz prethodnih rečenica.
- Dvosmislene reference: Riječi i izrazi mogu se odnositi na osobe ili predmete spomenute ranije.
- Ton i uljudnost: Pri prijevodu treba uzeti u obzir formalnost i odnose među govornicima.
- Namjera u razgovoru: Kratki odgovori, implicirana značenja i nedovršene rečenice često ovise o prethodnim porukama.
- Nebitan kontekst: Sustav za prevođenje mora prepoznati i kada treba zanemariti ranije informacije.
Kvaliteta prijevoda procijenjena je metodologijom utemeljenom na GEMBA-MQM-u. Automatizirani evaluator s umjetnom inteligencijom prepoznavao je pogreške i dodjeljivao kaznene bodove prema njihovoj ozbiljnosti.
Niži prosječni kazneni rezultat znači da je u ovoj procjeni bilo manje pogrešaka ili da su one bile manje ozbiljne.
Rezultati benchmarka prevođenja
Usporedba iz rujna 2026. dala je sljedeće rezultate za odabrane tekstualne sustave:
| Sustav za prevođenje | Prosječni kazneni rezultat za pogreške |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Izvor: Usporedba 15 sustava, rujan 2026.. Niže je bolje. DeepL je imao 642 valjane procjene, a ostali navedeni sustavi 648. Potpuna usporedba obuhvaćala je i sustave za govorno prevođenje, koji su ovdje izostavljeni radi dosljednosti.
GPT-6 Luna imao je najniži prosječni kazneni rezultat za pogreške: 0,130. Slijedili su Gemma 4 31B i Gemma 4 26B s rezultatima 0,353 i 0,387, dok je DeepSeek V4 Flash ostvario 0,571.
Komercijalne prevoditeljske usluge bile su slabije na ovom konkretnom skupu podataka. Papago je ostvario 2,699, DeepL API 3,914, a Google Cloud Translation Basic 5,731.
Jedan je značajan nalaz to što je nekoliko relativno malih modela također postiglo dobre rezultate. Primjerice, Gemma 4 12B QAT Q4 ostvario je prosječni kazneni rezultat od 0,855.
Ovi su rezultati zanimljivi jer su GPT-6 Luna, Gemma i DeepSeek jezični modeli opće namjene, a ne namjenski proizvodi za prevođenje. Osmišljeni su za obavljanje brojnih različitih zadataka, uključujući pisanje, zaključivanje, programiranje i analizu.
Međutim, usporedba nije u potpunosti izravna. Konfiguracije LLM-ova mogle su koristiti prethodne dijelove razgovora, dok su komercijalne prevoditeljske usluge procjenjivane bez tog konteksta. Rezultati stoga odražavaju učinkovitost testiranih prevoditeljskih tijekova rada, a ne samo arhitekturu temeljnih modela.
Zašto je kontekst važan pri prevođenju
Točan prijevod pojedinačnih rečenica ne jamči uvijek da će se sačuvati njihovo namjeravano značenje.
Zamislimo, primjerice, korejski razgovor u kojem netko spominje da je u trgovini kupio sandale i papuče. U sljedećoj rečenici objašnjava da artikala nije bilo na zalihi te da su ih morali dostaviti.
U drugoj se rečenici mogu izostaviti predmeti o kojima je riječ jer su već jasni iz razgovora.
Sustav koji prevodi samo tu rečenicu mogao bi proizvesti dvosmislen rezultat. Model koji ima pristup prethodnoj poruci može prepoznati izostavljene reference.
Slični se izazovi pojavljuju u mnogim jezicima.
Idiome i neformalne izraze možda je potrebno protumačiti, a ne doslovno prevesti. Uljudnost i formalnost mogu ovisiti o odnosu među govornicima. Kratak odgovor može imati različita značenja ovisno o prethodnom pitanju.
LLM-ovi mogu upotrijebiti okolne informacije kako bi razriješili te dvosmislenosti. Mogu pratiti i upute o terminologiji, stilu pisanja i ciljanoj publici.
Ta je prilagodljivost jedan od razloga zašto su jezični modeli opće namjene postali sve korisniji za prevođenje.
Dodavanje konteksta i uputa smanjilo je broj pogrešaka za 31,5 %
Benchmark je obuhvaćao zaseban eksperiment kojim se ispitivalo kako dodatne informacije utječu na kvalitetu prijevoda.
Istraživači su testirali Gemmu 4 E4B QAT Q4 u dva uvjeta: prevođenje rečenice bez dodatnih informacija te prevođenje uz dodatne upute i cjelovitu povijest razgovora.
| Konfiguracija | Prosječni kazneni rezultat za pogreške |
|---|---|
| Samo rečenica | 2,118 |
| Upute + povijest razgovora | 1,452 |
Druga konfiguracija ostvarila je 31,5 % niži prosječni kazneni rezultat za pogreške.
U 642 uparene procjene, konfiguracija s kontekstom i uputama poboljšala je 236 prijevoda, pogoršala 134, a za 272 ostvarila jednake rezultate.
Poboljšanje je zabilježeno i u slučajevima kada je bio potreban prethodni kontekst i kada je model morao prepoznati da prethodne informacije nisu relevantne.
Važno je napomenuti da su se u eksperimentu istodobno mijenjale i upute i povijest razgovora. Stoga se mjeri njihov zajednički učinak, a ne zasebno doprinos samog konteksta.
Ipak, rezultati pokazuju da kvaliteta prijevoda može znatno varirati čak i kada temeljni model umjetne inteligencije ostaje nepromijenjen.
Pročitajte cijeli eksperiment o kontekstu.
Znači li to da su LLM-ovi uvijek bolji u prevođenju?
Ne. Benchmark se usredotočio na određenu vrstu prevođenja: korejske razgovore za koje je potrebno razumijevanje konteksta.
Njegovi se nalazi ne moraju nužno moći primijeniti na sve jezične parove, teme ili vrste dokumenata.
U procjeni se također koristio automatizirani sustav za vrednovanje s umjetnom inteligencijom, a ne profesionalni ljudski prevoditelji. Iako takav pristup omogućuje praktičnu usporedbu velikih razmjera, automatizirane procjene mogu unijeti pristranost i možda neće obuhvatiti sve aspekte kvalitete prijevoda.
Treba uzeti u obzir i to da se komercijalne prevoditeljske usluge razvijaju.
DeepL je razvio vlastite LLM-ove specijalizirane za prevođenje, dok je Google uveo poboljšanja Google Prevoditelja pogonjena Geminijem. Google Cloud nudi i namjenske prevoditeljske modele koji nadilaze Basic API testiran u ovom benchmarku.
Drugim riječima, razlika između LLM-ova opće namjene i specijaliziranih prevoditeljskih usluga sve je manje jasna.
Različiti modeli mogu biti bolji za različite jezične parove, stručna područja ili prevoditeljske zadatke. Točnost je samo jedan od čimbenika: ovisno o načinu upotrebe, brzina, cijena i dosljednost mogu biti jednako važni.
Umjesto da izdvoji jedan univerzalno najbolji sustav za prevođenje, benchmark pokazuje koliko su LLM-ovi opće namjene postali konkurentni.
Što to znači za usluge prevođenja umjetnom inteligencijom
Kako se modeli opće namjene poboljšavaju, usluge prevođenja imaju više mogućnosti nego da se oslanjaju isključivo na jedan vlasnički prevoditeljski sustav.
Umjesto toga, usluga može omogućiti pristup modelima različitih razvojnih timova te odabrati ili preporučiti različite modele ovisno o zadatku.
Takav pristup primjenjujemo u usluzi Lexibird.
Lexibird omogućuje pristup nizu jezičnih modela različitih pružatelja usluga umjetne inteligencije. Korisnici mogu sami odabrati model ili za svakodnevno prevođenje koristiti automatsku opciju.
Dostupne modele redovito procjenjujemo uzimajući u obzir tri čimbenika:
- Točnost: Koliko dobro model čuva značenje, kontekst, ton i terminologiju.
- Brzina: Koliko brzo izrađuje prijevode, osobito za svakodnevne zadatke.
- Cijena: Opravdava li poboljšanje kvalitete dodatne troškove obrade.
Među tim čimbenicima postoje kompromisi. Sposobniji model može dati bolje rezultate kod zahtjevnog teksta, ali sporije odgovarati ili biti skuplji za korištenje. Manji model može biti dovoljan za jednostavne prijevode.
Naš je cilj stalno poboljšavati dostupne mogućnosti kako se pojavljuju novi modeli, umjesto da pretpostavimo kako će jedan model zauvijek ostati najbolji izbor.
Lexibird podržava i prijevodne glosare, prilagodbu tona te prevođenje dokumenata, slika i zvuka. Te značajke korisnicima omogućuju prilagođavanje prijevoda konkretnim zahtjevima.
Lexibird nije bio procjenjivan u korejskom benchmarku, pa objavljene rezultate ne treba tumačiti kao pokazatelje prevoditeljske uspješnosti usluge Lexibird.
Najbolji model za prevođenje možda neće još dugo ostati najbolji
Najzanimljiviji nalaz ovog benchmarka nije nužno to što je GPT-6 Luna zauzeo prvo mjesto. Riječ je o snažnim rezultatima nekoliko jezičnih modela opće namjene u usporedbi s namjenskim prevoditeljskim uslugama.
Rezultati pokazuju koliko se strojno prevođenje promijenilo. Modeli razvijeni za opće razumijevanje jezika sada mogu obavljati prevoditeljske zadatke koji zahtijevaju tumačenje konteksta, nadomještanje izostavljenih informacija i očuvanje namjere u razgovoru.
Istodobno se relativna uspješnost modela može brzo mijenjati. Nova izdanja mogu poboljšati kvalitetu prijevoda, skratiti vrijeme odgovora ili smanjiti troškove.
Za prevoditeljske usluge i njihove korisnike to znači da bi prilagodljivost mogla biti vrjednija od vezivanja uz jedan prevoditeljski model.
Benchmark pruža koristan prikaz stanja prevođenja uz pomoć umjetne inteligencije u 2026. godini, no šire nadmetanje modela opće namjene i specijaliziranih prevoditeljskih modela još je daleko od završetka.
