I modelli linguistici di grandi dimensioni (LLM) per uso generale sono sempre più competitivi rispetto ai servizi di traduzione automatica specializzati. Un benchmark pubblicato su GitHub a settembre 2026 ne offre un esempio interessante: GPT-6 Luna, Gemma 4 e DeepSeek V4 Flash hanno tutti ottenuto punteggi di errore di traduzione inferiori a quelli di DeepL API e Google Cloud Translation Basic.
GPT-6 Luna si è classificato al primo posto, seguito da diversi altri modelli linguistici per uso generale. I risultati suggeriscono che i modelli sviluppati per un’ampia gamma di attività possono ottenere prestazioni eccellenti anche nella traduzione, soprattutto quando il contesto della conversazione è importante.
C’è una distinzione importante: il benchmark ha valutato Google Cloud Translation Basic, non l’app Google Traduttore destinata ai consumatori, che include funzionalità di traduzione aggiuntive basate su Gemini.
Che cosa ha valutato il benchmark?
Il Korean Multi-turn Context Translation Benchmark ha confrontato 15 sistemi di traduzione, valutandone la capacità di tradurre conversazioni in coreano in inglese, giapponese e cinese semplificato.
Il dataset comprendeva 216 esempi di conversazioni in coreano, per un massimo di 648 traduzioni per sistema.
I test si sono concentrati su aspetti linguistici che possono essere difficili da tradurre senza contesto:
- Informazioni omesse: il coreano spesso tralascia soggetti e oggetti che si possono dedurre dalle frasi precedenti.
- Riferimenti ambigui: parole ed espressioni possono rimandare a persone o oggetti menzionati in precedenza.
- Tono e cortesia: le traduzioni devono tenere conto del grado di formalità e dei rapporti tra i parlanti.
- Intenzione comunicativa: risposte brevi, significati impliciti e frasi incomplete dipendono spesso dai messaggi precedenti.
- Contesto irrilevante: un sistema di traduzione deve anche riconoscere quando le informazioni precedenti vanno ignorate.
La qualità della traduzione è stata valutata con una metodologia basata su GEMBA-MQM. Un valutatore automatico basato sull’IA ha individuato gli errori e assegnato penalità in base alla loro gravità.
Una penalità media più bassa indica un numero minore di errori o errori meno gravi secondo questo metodo di valutazione.
Risultati del benchmark di traduzione
Il confronto di settembre 2026 ha prodotto i seguenti risultati per alcuni sistemi basati su testo:
| Sistema di traduzione | Penalità media per gli errori |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Fonte: Confronto integrato tra 15 sistemi, settembre 2026. Più basso è il punteggio, meglio è. DeepL ha totalizzato 642 valutazioni valide; gli altri sistemi elencati ne hanno totalizzate 648. Il confronto completo includeva anche sistemi di traduzione vocale, qui omessi per uniformità.
GPT-6 Luna ha ottenuto la penalità media per gli errori più bassa, pari a 0,130. Seguono Gemma 4 31B e Gemma 4 26B, con punteggi rispettivamente di 0,353 e 0,387, mentre DeepSeek V4 Flash ha totalizzato 0,571.
I servizi di traduzione commerciali hanno ottenuto risultati peggiori su questo specifico dataset. Papago ha totalizzato 2,699, DeepL API 3,914 e Google Cloud Translation Basic 5,731.
Un risultato degno di nota è che anche diversi modelli relativamente piccoli si sono comportati bene. Gemma 4 12B QAT Q4, per esempio, ha ottenuto una penalità media di 0,855.
Questi risultati sono interessanti perché GPT-6 Luna, Gemma e DeepSeek sono modelli linguistici per uso generale, non prodotti di traduzione specializzati. Sono progettati per svolgere molte attività diverse, tra cui scrittura, ragionamento, programmazione e analisi.
Il confronto, tuttavia, non è del tutto omogeneo. Le configurazioni degli LLM potevano utilizzare i turni precedenti della conversazione, mentre i servizi di traduzione commerciali sono stati valutati senza tale cronologia. I risultati riflettono quindi le prestazioni dei flussi di lavoro di traduzione testati, non semplicemente le architetture dei modelli sottostanti.
Perché il contesto è importante nella traduzione
Tradurre accuratamente le singole frasi non garantisce sempre che se ne conservi il significato inteso.
Immaginiamo, per esempio, una conversazione in coreano in cui qualcuno racconta di aver comprato sandali e pantofole in un negozio. Nella frase successiva spiega che gli articoli erano esauriti e che è stato necessario farseli consegnare.
La seconda frase potrebbe omettere gli oggetti di cui si parla, perché sono già chiari dal resto della conversazione.
Un sistema che traduce soltanto quella frase potrebbe produrre un risultato ambiguo. Un modello che può consultare il messaggio precedente è in grado di individuare i riferimenti mancanti.
Sfide analoghe si presentano in molte lingue.
Gli idiomi e le espressioni informali possono richiedere un’interpretazione anziché una traduzione letterale. La cortesia e il grado di formalità possono dipendere dal rapporto tra i parlanti. Una risposta breve può assumere significati diversi a seconda della domanda che la precede.
Gli LLM possono utilizzare le informazioni circostanti per risolvere queste ambiguità. Possono anche seguire istruzioni relative alla terminologia, allo stile di scrittura e al pubblico a cui ci si rivolge.
Questa flessibilità è uno dei motivi per cui i modelli linguistici per uso generale sono diventati sempre più utili per la traduzione.
L’aggiunta di contesto e istruzioni ha ridotto gli errori del 31,5%
Il benchmark comprendeva un esperimento separato, volto a esaminare l’effetto di informazioni aggiuntive sulla qualità della traduzione.
I ricercatori hanno testato Gemma 4 E4B QAT Q4 in due condizioni: traducendo una frase isolata e traducendola con istruzioni aggiuntive e l’intera cronologia della conversazione.
| Configurazione | Penalità media per gli errori |
|---|---|
| Solo frase | 2,118 |
| Istruzioni + cronologia della conversazione | 1,452 |
La seconda configurazione ha ottenuto una penalità media per gli errori inferiore del 31,5%.
Su 642 valutazioni abbinate, la configurazione con contesto e istruzioni ha migliorato 236 traduzioni, ne ha peggiorate 134 e ha ottenuto risultati equivalenti per 272.
Il miglioramento è stato osservato sia nei casi in cui era necessario il contesto precedente, sia in quelli in cui il modello doveva riconoscere che le informazioni precedenti erano irrilevanti.
Un’importante limitazione è che l’esperimento ha modificato sia le istruzioni sia la cronologia della conversazione. Misura quindi il loro effetto combinato, anziché isolare il contributo del solo contesto.
I risultati mostrano comunque che la qualità della traduzione può variare considerevolmente anche quando il modello di IA sottostante rimane invariato.
Leggi l’esperimento completo sul contesto.
Significa che gli LLM traducono sempre meglio?
No. Il benchmark si è concentrato su un tipo specifico di traduzione: conversazioni in coreano che richiedono una comprensione contestuale.
I risultati non si applicano necessariamente a tutte le combinazioni linguistiche, a tutti gli argomenti o a ogni tipologia di documento.
Inoltre, la valutazione si è basata su un giudice automatico basato sull’IA, anziché su traduttori professionisti. Questo rende pratici i confronti su vasta scala, ma le valutazioni automatizzate possono introdurre distorsioni e potrebbero non cogliere ogni aspetto della qualità della traduzione.
Un altro aspetto da considerare è che i servizi di traduzione commerciali continuano a evolversi.
DeepL ha sviluppato i propri LLM specializzati nella traduzione, mentre Google ha introdotto miglioramenti a Google Traduttore basati su Gemini. Google Cloud offre inoltre modelli di traduzione specializzati diversi dall’API Basic testata in questo benchmark.
In altre parole, la distinzione tra LLM per uso generale e servizi di traduzione specializzati sta diventando meno netta.
Modelli diversi possono offrire prestazioni migliori a seconda della combinazione linguistica, dell’argomento tecnico o del tipo di traduzione. Inoltre, la precisione è solo uno dei fattori da considerare: a seconda dell’uso previsto, velocità, costo e coerenza possono essere altrettanto importanti.
Più che individuare un unico sistema di traduzione universalmente superiore, il benchmark mostra quanto siano diventati competitivi gli LLM per uso generale.
Che cosa significa per i servizi di traduzione basati sull’IA
Con il miglioramento dei modelli per uso generale, i servizi di traduzione hanno più opzioni che affidarsi esclusivamente a un singolo motore proprietario.
Possono invece offrire accesso a modelli sviluppati da diversi fornitori, selezionando o consigliando opzioni differenti in base all’attività.
È l’approccio che adottiamo in Lexibird.
Lexibird offre accesso a una gamma di modelli linguistici di diversi fornitori di IA. Gli utenti possono scegliere un modello autonomamente oppure utilizzare un’opzione automatica per le traduzioni di tutti i giorni.
Valutiamo regolarmente i modelli disponibili tenendo conto di tre aspetti:
- Precisione: quanto bene un modello preserva significato, contesto, tono e terminologia.
- Velocità: quanto rapidamente produce traduzioni, soprattutto per le attività quotidiane.
- Costo: se il miglioramento della qualità giustifica la maggiore spesa di elaborazione.
Tra questi fattori esistono dei compromessi. Un modello più potente può fornire risultati migliori con testi difficili, ma essere più lento o costoso da utilizzare. Per traduzioni semplici può essere sufficiente un modello più piccolo.
Il nostro obiettivo è continuare a migliorare le opzioni disponibili con l’emergere di nuovi modelli, senza presumere che uno solo rimanga per sempre la scelta migliore.
Lexibird supporta anche glossari di traduzione, la personalizzazione del tono e la traduzione di documenti, immagini e audio. Queste funzionalità consentono agli utenti di adattare le traduzioni a esigenze specifiche.
Lexibird non è stato valutato nel benchmark sul coreano; pertanto, i punteggi pubblicati non devono essere interpretati come misurazioni delle prestazioni di traduzione di Lexibird.
Il miglior modello di traduzione potrebbe non restare tale a lungo
Il risultato più interessante di questo benchmark non è necessariamente il primo posto di GPT-6 Luna, ma le prestazioni solide di diversi modelli linguistici per uso generale rispetto ai servizi di traduzione specializzati.
I risultati mostrano quanto sia cambiata la traduzione automatica. I modelli sviluppati per comprendere il linguaggio in generale sono ormai in grado di affrontare attività di traduzione che richiedono di interpretare il contesto, recuperare informazioni omesse e preservare l’intenzione comunicativa.
Allo stesso tempo, le prestazioni relative dei modelli possono cambiare rapidamente. Le nuove versioni possono migliorare la qualità delle traduzioni, ridurre i tempi di risposta o abbassare i costi.
Per i servizi di traduzione e i loro utenti, questo suggerisce che la flessibilità potrebbe essere più preziosa dell’affidarsi a un unico modello.
Il benchmark offre un’interessante fotografia dello stato della traduzione basata sull’IA nel 2026, ma la più ampia competizione tra modelli per uso generale e modelli di traduzione specializzati è tutt’altro che conclusa.
