Les grands modèles de langage (LLM) à usage général rivalisent de plus en plus avec les services spécialisés de traduction automatique. Un benchmark publié sur GitHub en septembre 2026 en offre un exemple intéressant : GPT-6 Luna, Gemma 4 et DeepSeek V4 Flash ont tous obtenu des scores d’erreur de traduction inférieurs à ceux de DeepL API et de Google Cloud Translation Basic.
GPT-6 Luna est arrivé en tête, suivi de plusieurs autres modèles de langage à usage général. Les résultats suggèrent que les modèles conçus pour une grande variété de tâches peuvent aussi exceller en traduction, en particulier lorsque le contexte conversationnel est important.
Il faut toutefois souligner une différence importante : le benchmark a évalué Google Cloud Translation Basic, et non l’application Google Traduction destinée au grand public, qui intègre des fonctionnalités de traduction supplémentaires reposant sur Gemini.
Que testait le benchmark ?
Le Korean Multi-turn Context Translation Benchmark a comparé 15 systèmes de traduction selon leur capacité à traduire des conversations en coréen vers l’anglais, le japonais et le chinois simplifié.
Le jeu de données comprenait 216 exemples de conversations en coréen, soit jusqu’à 648 traductions par système.
Les tests portaient sur des aspects de la langue difficiles à traduire sans contexte :
- Informations omises : en coréen, les sujets et les objets compris grâce aux phrases précédentes sont souvent omis.
- Références ambiguës : des mots ou des expressions peuvent désigner des personnes ou des objets mentionnés plus tôt.
- Ton et niveau de politesse : les traductions doivent tenir compte du degré de formalité et des relations entre les interlocuteurs.
- Intention conversationnelle : les réponses brèves, les sous-entendus et les phrases incomplètes dépendent souvent des messages précédents.
- Contexte non pertinent : un système de traduction doit également savoir quand ignorer les informations antérieures.
La qualité des traductions a été évaluée au moyen d’une méthode fondée sur GEMBA-MQM. Un évaluateur automatisé utilisant l’IA repérait les erreurs et leur attribuait une pénalité en fonction de leur gravité.
Une pénalité moyenne plus faible indique qu’il y a eu moins d’erreurs ou que celles-ci étaient moins graves selon cette évaluation.
Résultats du benchmark de traduction
La comparaison de septembre 2026 a donné les résultats suivants pour certains systèmes textuels :
| Système de traduction | Pénalité moyenne liée aux erreurs |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Source : Comparaison intégrée de 15 systèmes, septembre 2026. Plus le score est faible, meilleur est le résultat. DeepL comptait 642 évaluations valides ; les autres systèmes indiqués en comptaient 648. La comparaison complète incluait également des systèmes de traduction vocale, omis ici pour assurer la cohérence.
GPT-6 Luna a obtenu la pénalité moyenne la plus faible, avec un score de 0,130. Gemma 4 31B et Gemma 4 26B suivaient, avec des scores de 0,353 et 0,387, tandis que DeepSeek V4 Flash obtenait 0,571.
Les services commerciaux de traduction ont obtenu de moins bons résultats sur ce jeu de données particulier. Papago a obtenu 2,699, DeepL API 3,914 et Google Cloud Translation Basic 5,731.
Autre constat notable : plusieurs modèles relativement petits ont également donné de bons résultats. Gemma 4 12B QAT Q4, par exemple, a obtenu une pénalité moyenne de 0,855.
Ces résultats sont intéressants, car GPT-6 Luna, Gemma et DeepSeek sont des modèles de langage à usage général, et non des produits spécialisés dans la traduction. Ils sont conçus pour accomplir de nombreuses tâches différentes, notamment la rédaction, le raisonnement, la programmation et l’analyse.
La comparaison n’est toutefois pas parfaitement équitable. Les configurations LLM pouvaient utiliser les tours de conversation précédents, contrairement aux services commerciaux de traduction, qui ont été évalués sans cet historique. Les résultats reflètent donc les performances des flux de traduction testés, et pas simplement celles des architectures de modèles sous-jacentes.
Pourquoi le contexte est important en traduction
Traduire correctement des phrases prises individuellement ne garantit pas toujours que leur sens voulu soit préservé.
Imaginons, par exemple, une conversation en coréen dans laquelle une personne dit avoir acheté des sandales et des chaussons dans un magasin. Dans la phrase suivante, elle explique que les articles étaient en rupture de stock et qu’ils ont dû être livrés.
La deuxième phrase peut omettre les objets évoqués, puisque la conversation permet déjà de les comprendre.
Un système qui ne traduit que cette phrase risque de produire un résultat ambigu. Un modèle qui a accès au message précédent peut identifier les références manquantes.
Des difficultés similaires se présentent dans de nombreuses langues.
Les expressions idiomatiques et familières peuvent nécessiter une interprétation plutôt qu’une traduction littérale. La politesse et le niveau de formalité peuvent dépendre de la relation entre les interlocuteurs. Une réponse brève peut prendre différents sens selon la question qui la précède.
Les LLM peuvent s’appuyer sur les informations environnantes pour lever ces ambiguïtés. Ils peuvent également suivre des consignes concernant la terminologie, le style rédactionnel et le public visé.
Cette souplesse explique en partie pourquoi les modèles de langage à usage général sont devenus de plus en plus utiles pour la traduction.
L’ajout de contexte et de consignes a réduit les erreurs de 31,5 %
Le benchmark comprenait une expérience distincte portant sur l’incidence d’informations supplémentaires sur la qualité des traductions.
Les chercheurs ont testé Gemma 4 E4B QAT Q4 dans deux conditions : la traduction d’une phrase seule, puis sa traduction avec des consignes supplémentaires et l’historique complet de la conversation.
| Configuration | Pénalité moyenne liée aux erreurs |
|---|---|
| Phrase seule | 2,118 |
| Consignes + historique de la conversation | 1,452 |
La deuxième configuration a obtenu une pénalité moyenne liée aux erreurs inférieure de 31,5 %.
Sur 642 évaluations appariées, la configuration avec contexte et consignes a amélioré 236 traductions, en a dégradé 134 et a obtenu des scores équivalents pour 272 d’entre elles.
L’amélioration a été constatée aussi bien lorsque le contexte antérieur était nécessaire que lorsque le modèle devait reconnaître que les informations précédentes n’étaient pas pertinentes.
Il convient toutefois de noter que l’expérience a modifié à la fois les consignes et l’historique de la conversation. Elle mesure donc leur effet combiné, et non l’apport du seul contexte.
Les résultats montrent néanmoins que la qualité des traductions peut varier considérablement même lorsque le modèle d’IA sous-jacent reste inchangé.
Lire l’expérience complète sur le contexte.
Cela signifie-t-il que les LLM sont toujours meilleurs en traduction ?
Non. Le benchmark portait sur un type de traduction bien précis : des conversations en coréen nécessitant une compréhension contextuelle.
Ses résultats ne s’appliquent pas nécessairement à toutes les paires de langues, à tous les sujets ni à tous les types de documents.
L’évaluation a également fait appel à un juge automatisé utilisant l’IA plutôt qu’à des traducteurs professionnels. Cette méthode facilite les comparaisons à grande échelle, mais les évaluations automatisées peuvent introduire des biais et ne pas tenir compte de tous les aspects de la qualité d’une traduction.
Il faut également prendre en considération l’évolution des services commerciaux de traduction.
DeepL a développé ses propres LLM spécialisés dans la traduction, tandis que Google a annoncé des améliorations de Google Traduction reposant sur Gemini. Google Cloud propose également des modèles de traduction spécialisés qui vont au-delà de l’API Basic testée dans ce benchmark.
Autrement dit, la distinction entre LLM à usage général et services spécialisés de traduction devient de moins en moins nette.
Les performances des modèles peuvent varier selon les paires de langues, les domaines techniques ou les tâches de traduction. La précision n’est par ailleurs qu’un critère parmi d’autres : selon le cas d’usage, la vitesse, le coût et la régularité peuvent être tout aussi importants.
Plutôt que de désigner un système de traduction universellement supérieur, ce benchmark illustre la compétitivité croissante des LLM à usage général.
Ce que cela implique pour les services de traduction par IA
À mesure que les modèles à usage général s’améliorent, les services de traduction disposent de davantage de possibilités au lieu de devoir s’appuyer exclusivement sur un moteur de traduction propriétaire unique.
Un service peut plutôt donner accès à des modèles de plusieurs développeurs et sélectionner ou recommander différentes options selon la tâche.
C’est l’approche que nous adoptons chez Lexibird.
Lexibird donne accès à une gamme de modèles de langage provenant de différents fournisseurs d’IA. Les utilisateurs peuvent choisir eux-mêmes un modèle ou opter pour une sélection automatique adaptée aux traductions du quotidien.
Nous évaluons régulièrement les modèles disponibles en tenant compte de trois critères :
- Précision : la capacité d’un modèle à préserver le sens, le contexte, le ton et la terminologie.
- Vitesse : la rapidité avec laquelle il produit des traductions, notamment pour les tâches courantes.
- Coût : la question de savoir si le gain de qualité justifie les frais de traitement supplémentaires.
Ces facteurs impliquent des compromis. Un modèle plus performant peut donner de meilleurs résultats sur les textes difficiles, mais répondre plus lentement ou coûter davantage à utiliser. Un modèle plus petit peut suffire pour des traductions simples.
Notre objectif est de continuer à améliorer les options disponibles à mesure que de nouveaux modèles apparaissent, plutôt que de supposer qu’un modèle restera indéfiniment le meilleur choix.
Lexibird prend également en charge les glossaires de traduction, la personnalisation du ton et la traduction de documents, d’images et de contenus audio. Ces fonctionnalités permettent aux utilisateurs d’adapter les traductions à des besoins particuliers.
Lexibird n’a pas été évalué dans le benchmark coréen ; les scores publiés ne doivent donc pas être interprétés comme une mesure de ses performances en traduction.
Le meilleur modèle de traduction ne le restera peut-être pas longtemps
Le résultat le plus intéressant de ce benchmark n’est pas nécessairement la première place de GPT-6 Luna. C’est la forte performance de plusieurs modèles de langage à usage général face aux services spécialisés de traduction.
Les résultats illustrent à quel point la traduction automatique a évolué. Des modèles conçus pour comprendre le langage de façon générale peuvent désormais accomplir des tâches de traduction qui nécessitent d’interpréter le contexte, de reconstituer les informations omises et de préserver l’intention conversationnelle.
Dans le même temps, les performances relatives des modèles peuvent évoluer rapidement. Les nouvelles versions peuvent améliorer la qualité des traductions, réduire les temps de réponse ou diminuer les coûts.
Pour les services de traduction et leurs utilisateurs, cela laisse penser que la souplesse pourrait être plus précieuse que le fait de s’en tenir à un seul modèle de traduction.
Ce benchmark offre un aperçu utile de l’état de la traduction par IA en 2026, mais la compétition plus large entre modèles de traduction à usage général et modèles spécialisés est loin d’être terminée.
