Modelele lingvistice de mari dimensiuni (LLM) de uz general devin tot mai competitive cu serviciile dedicate de traducere automată. Un benchmark publicat pe GitHub în septembrie 2026 oferă un exemplu interesant: GPT-6 Luna, Gemma 4 și DeepSeek V4 Flash au obținut toate scoruri mai mici ale erorilor de traducere decât DeepL API și Google Cloud Translation Basic.
GPT-6 Luna s-a clasat pe primul loc, urmat de alte câteva modele lingvistice de uz general. Rezultatele sugerează că modelele concepute pentru o gamă largă de sarcini pot oferi performanțe excepționale și la traducere, mai ales atunci când contează contextul conversațional.
Există o distincție importantă: benchmarkul a evaluat Google Cloud Translation Basic, nu aplicația Google Translate destinată utilizatorilor, care a integrat funcții suplimentare de traducere bazate pe Gemini.
Ce a testat benchmarkul?
Benchmarkul de traducere contextuală a conversațiilor în coreeană a comparat 15 sisteme de traducere, evaluându-le capacitatea de a traduce conversații în coreeană în engleză, japoneză și chineză simplificată.
Setul de date conținea 216 exemple de conversații în coreeană, rezultând până la 648 de traduceri pentru fiecare sistem.
Testele s-au concentrat asupra unor aspecte ale limbii care pot fi dificil de tradus fără context:
- Informații omise: În coreeană, subiectele și obiectele înțelese din propozițiile anterioare sunt adesea omise.
- Referințe ambigue: Cuvintele și expresiile se pot referi la persoane sau obiecte menționate anterior.
- Ton și politețe: Traducerile trebuie să țină seama de nivelul de formalitate și de relațiile dintre interlocutori.
- Intenția conversațională: Replicile scurte, sensurile implicite și propozițiile incomplete depind adesea de mesajele anterioare.
- Context irelevant: Un sistem de traducere trebuie să recunoască și situațiile în care informațiile anterioare ar trebui ignorate.
Calitatea traducerilor a fost evaluată printr-o metodologie bazată pe GEMBA-MQM. Un evaluator automat bazat pe inteligență artificială a identificat erorile și a aplicat penalizări în funcție de gravitatea lor.
O penalizare medie mai mică indică mai puține erori sau erori mai puțin grave în cadrul acestei evaluări.
Rezultatele benchmarkului de traducere
Comparația din septembrie 2026 a produs următoarele rezultate pentru sistemele text selectate:
| Sistem de traducere | Penalizare medie pentru erori |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Sursa: Comparație integrată a 15 sisteme, septembrie 2026. Un scor mai mic este mai bun. DeepL a avut 642 de evaluări valide; celelalte sisteme enumerate au avut 648. Comparația completă a inclus și sisteme de traducere vocală, omise aici pentru consecvență.
GPT-6 Luna a înregistrat cea mai mică penalizare medie pentru erori, de 0,130. Gemma 4 31B și Gemma 4 26B au urmat, cu scoruri de 0,353 și, respectiv, 0,387, în timp ce DeepSeek V4 Flash a obținut 0,571.
Serviciile comerciale de traducere au avut rezultate mai slabe pe acest set de date. Papago a obținut 2,699, DeepL API — 3,914, iar Google Cloud Translation Basic — 5,731.
Un rezultat remarcabil este că și câteva modele relativ mici s-au descurcat bine. Gemma 4 12B QAT Q4, de exemplu, a obținut o penalizare medie de 0,855.
Aceste rezultate sunt interesante deoarece GPT-6 Luna, Gemma și DeepSeek sunt modele lingvistice de uz general, nu produse dedicate traducerii. Ele sunt concepute pentru a aborda numeroase sarcini diferite, inclusiv redactare, raționament, programare și analiză.
Totuși, comparația nu este pe deplin echitabilă. Configurațiile LLM puteau utiliza replicile anterioare ale conversației, în timp ce serviciile comerciale de traducere au fost evaluate fără acest istoric. Prin urmare, rezultatele reflectă performanța fluxurilor de lucru de traducere testate, nu doar arhitecturile modelelor de bază.
De ce contează contextul în traducere
Traducerea corectă a propozițiilor individuale nu garantează întotdeauna păstrarea sensului intenționat.
De exemplu, imaginați-vă o conversație în coreeană în care cineva spune că a cumpărat sandale și papuci dintr-un magazin. În propoziția următoare, persoana explică faptul că produsele nu erau în stoc și a trebuit să fie livrate.
A doua propoziție poate omite obiectele despre care se vorbește, deoarece acestea sunt deja înțelese din conversație.
Un sistem care traduce doar acea propoziție poate produce un rezultat ambiguu. Un model care are acces la mesajul anterior poate identifica referințele omise.
Provocări similare apar în multe limbi.
Idiomele și expresiile informale pot necesita interpretare, nu traducere literală. Politețea și formalitatea pot depinde de relația dintre interlocutori. O replică scurtă poate avea sensuri diferite în funcție de întrebarea precedentă.
LLM-urile pot folosi informațiile din jur pentru a rezolva aceste ambiguități. De asemenea, pot urma instrucțiuni privind terminologia, stilul de redactare și publicul vizat.
Această flexibilitate este unul dintre motivele pentru care modelele lingvistice de uz general au devenit tot mai utile pentru traducere.
Adăugarea contextului și a instrucțiunilor a redus erorile cu 31,5%
Benchmarkul a inclus un experiment separat, care a analizat modul în care informațiile suplimentare influențează calitatea traducerii.
Cercetătorii au testat Gemma 4 E4B QAT Q4 în două condiții: traducerea unei propoziții de sine stătătoare și traducerea acesteia cu instrucțiuni suplimentare și istoricul complet al conversației.
| Configurație | Penalizare medie pentru erori |
|---|---|
| Doar propoziția | 2,118 |
| Instrucțiuni + istoricul conversației | 1,452 |
A doua configurație a obținut o penalizare medie pentru erori cu 31,5% mai mică.
În 642 de evaluări în pereche, configurația cu context și instrucțiuni a îmbunătățit 236 de traduceri, a înrăutățit 134 și a obținut scoruri echivalente la 272.
Îmbunătățirea s-a observat atât în cazurile în care era nevoie de contextul anterior, cât și în cele în care modelul trebuia să recunoască faptul că informațiile anterioare nu erau relevante.
O limitare importantă este că experimentul a modificat atât instrucțiunile, cât și istoricul conversației. Prin urmare, măsoară efectul lor combinat, nu beneficiul contextului luat separat.
Cu toate acestea, rezultatele arată că nivelul calității traducerii poate varia considerabil chiar și atunci când modelul AI de bază rămâne neschimbat.
Citiți experimentul complet despre context.
Înseamnă asta că LLM-urile sunt întotdeauna mai bune la traducere?
Nu. Benchmarkul s-a concentrat asupra unui anumit tip de traducere: conversații în coreeană care necesită înțelegerea contextului.
Concluziile sale nu se aplică neapărat tuturor perechilor de limbi, domeniilor sau tipurilor de documente.
Evaluarea a folosit, de asemenea, un evaluator automat bazat pe inteligență artificială, nu traducători profesioniști. Deși acest lucru permite comparații la scară largă, evaluările automate pot introduce prejudecăți și este posibil să nu surprindă toate aspectele calității traducerii.
Un alt aspect de luat în considerare este evoluția serviciilor comerciale de traducere.
DeepL și-a dezvoltat propriile LLM-uri specializate în traducere, iar Google a introdus îmbunătățiri pentru Google Translate bazate pe Gemini. Google Cloud oferă și modele de traducere dedicate, dincolo de API-ul Basic testat în acest benchmark.
Cu alte cuvinte, distincția dintre LLM-urile de uz general și serviciile specializate de traducere devine tot mai puțin clară.
Modele diferite pot avea performanțe mai bune pentru anumite perechi de limbi, domenii tehnice sau sarcini de traducere. Precizia este doar unul dintre criterii: în funcție de caz, viteza, costul și consecvența pot fi la fel de importante.
În loc să desemneze un singur sistem de traducere superior în toate situațiile, benchmarkul ilustrează cât de competitive au devenit LLM-urile de uz general.
Ce înseamnă acest lucru pentru serviciile de traducere AI
Pe măsură ce modelele de uz general se îmbunătățesc, serviciile de traducere au mai multe opțiuni decât să se bazeze exclusiv pe un singur motor proprietar de traducere.
Un serviciu poate oferi, în schimb, acces la modele de la mai mulți dezvoltatori și poate selecta sau recomanda opțiuni diferite în funcție de sarcină.
Aceasta este abordarea pe care o folosim la Lexibird.
Lexibird oferă acces la o gamă de modele lingvistice de la diferiți furnizori de AI. Utilizatorii pot selecta singuri un model sau pot folosi o opțiune automată pentru traducerile de zi cu zi.
Evaluăm periodic modelele disponibile, ținând cont de trei criterii:
- Precizie: Cât de bine păstrează un model sensul, contextul, tonul și terminologia.
- Viteză: Cât de repede generează traduceri, mai ales pentru sarcinile de zi cu zi.
- Cost: Dacă îmbunătățirea calității justifică cheltuielile suplimentare de procesare.
Aceste criterii presupun compromisuri. Un model mai capabil poate oferi rezultate mai bune pentru textele dificile, dar poate răspunde mai lent sau poate costa mai mult. Un model mai mic poate fi suficient pentru traduceri simple.
Scopul nostru este să îmbunătățim continuu opțiunile disponibile pe măsură ce apar modele noi, fără să presupunem că un singur model va rămâne la nesfârșit cea mai bună alegere.
Lexibird oferă și glosare de traducere, personalizarea tonului și traducerea documentelor, imaginilor și fișierelor audio. Aceste funcții îi ajută pe utilizatori să adapteze traducerile la cerințe specifice.
Lexibird nu a fost evaluat în benchmarkul pentru coreeană, așadar scorurile publicate nu trebuie interpretate ca măsurători ale performanței Lexibird în materie de traducere.
Cel mai bun model de traducere s-ar putea să nu rămână mult timp cel mai bun
Cea mai interesantă constatare a acestui benchmark nu este neapărat clasarea pe primul loc a GPT-6 Luna, ci performanța puternică a mai multor modele lingvistice de uz general în comparație cu serviciile dedicate de traducere.
Rezultatele ilustrează cât de mult s-a schimbat traducerea automată. Modelele dezvoltate pentru înțelegerea generală a limbajului pot aborda acum sarcini de traducere care necesită interpretarea contextului, recuperarea informațiilor omise și păstrarea intenției conversaționale.
În același timp, performanța relativă a modelelor se poate schimba rapid. Versiunile noi pot îmbunătăți calitatea traducerii, pot reduce timpul de răspuns sau pot scădea costurile.
Pentru serviciile de traducere și utilizatorii lor, acest lucru sugerează că flexibilitatea poate fi mai valoroasă decât fidelizarea față de un singur model de traducere.
Benchmarkul oferă o imagine utilă a stadiului traducerii prin AI în 2026, însă competiția mai amplă dintre modelele de uz general și cele specializate în traducere este departe de a fi încheiată.
