Los modelos de lenguaje grandes de propósito general (LLM) son cada vez más competitivos frente a los servicios especializados de traducción automática. Un benchmark publicado en GitHub en septiembre de 2026 ofrece un ejemplo interesante: GPT-6 Luna, Gemma 4 y DeepSeek V4 Flash obtuvieron puntuaciones de error de traducción más bajas que DeepL API y Google Cloud Translation Basic.
GPT-6 Luna ocupó el primer puesto, seguido de varios otros modelos de lenguaje de propósito general. Los resultados sugieren que los modelos desarrollados para una amplia variedad de tareas también pueden rendir excepcionalmente bien en traducción, sobre todo cuando importa el contexto conversacional.
Hay una distinción importante: el benchmark evaluó Google Cloud Translation Basic, no la aplicación Google Translate dirigida al consumidor, que ha incorporado capacidades de traducción adicionales potenciadas por Gemini.
¿Qué evaluó el benchmark?
El Korean Multi-turn Context Translation Benchmark comparó 15 sistemas de traducción según su capacidad para traducir conversaciones en coreano al inglés, japonés y chino simplificado.
El conjunto de datos contenía 216 ejemplos de conversaciones en coreano, lo que generó hasta 648 traducciones por sistema.
Las pruebas se centraron en aspectos del lenguaje que pueden ser difíciles de traducir sin contexto:
- Información omitida: En coreano es frecuente omitir sujetos y objetos que se sobreentienden por oraciones anteriores.
- Referencias ambiguas: Algunas palabras y expresiones pueden aludir a personas u objetos mencionados previamente.
- Tono y cortesía: Las traducciones deben tener en cuenta el grado de formalidad y la relación entre quienes conversan.
- Intención conversacional: Las respuestas breves, los significados implícitos y las oraciones incompletas suelen depender de los mensajes anteriores.
- Contexto irrelevante: Un sistema de traducción también debe reconocer cuándo conviene ignorar la información previa.
La calidad de las traducciones se evaluó mediante una metodología basada en GEMBA-MQM. Un evaluador automatizado de IA identificó errores y asignó penalizaciones según su gravedad.
Una penalización media más baja indica que, según esta evaluación, hubo menos errores o que estos fueron menos graves.
Resultados del benchmark de traducción
La comparación de septiembre de 2026 arrojó los siguientes resultados para algunos sistemas basados en texto:
| Sistema de traducción | Penalización media por errores |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
Fuente: Comparación integrada de 15 sistemas, septiembre de 2026. Cuanto menor sea la puntuación, mejor. DeepL tuvo 642 evaluaciones válidas; los demás sistemas enumerados tuvieron 648. La comparación completa también incluyó sistemas de traducción de voz, que se omiten aquí para mantener la coherencia.
GPT-6 Luna obtuvo la penalización media por errores más baja: 0.130. Le siguieron Gemma 4 31B y Gemma 4 26B, con puntuaciones de 0.353 y 0.387, mientras que DeepSeek V4 Flash obtuvo 0.571.
Los servicios comerciales de traducción rindieron peor en este conjunto de datos concreto. Papago obtuvo 2.699, DeepL API alcanzó 3.914 y Google Cloud Translation Basic obtuvo 5.731.
Un resultado destacable es que varios modelos relativamente pequeños también rindieron bien. Gemma 4 12B QAT Q4, por ejemplo, alcanzó una penalización media de 0.855.
Estos resultados son interesantes porque GPT-6 Luna, Gemma y DeepSeek son modelos de lenguaje de propósito general, no productos especializados en traducción. Están diseñados para realizar muchas tareas distintas, como redactar, razonar, programar y analizar.
Sin embargo, la comparación no es del todo equivalente. Las configuraciones de los LLM podían utilizar turnos anteriores de la conversación, mientras que los servicios comerciales de traducción se evaluaron sin ese historial. Por tanto, los resultados reflejan el rendimiento de los flujos de trabajo de traducción probados, no solo las arquitecturas subyacentes de los modelos.
Por qué importa el contexto en la traducción
Traducir oraciones aisladas con precisión no siempre garantiza que se conserve el significado que se pretendía transmitir.
Por ejemplo, imaginemos una conversación en coreano en la que alguien comenta que compró sandalias y pantuflas en una tienda. En la oración siguiente explica que esos artículos estaban agotados y tuvieron que enviárselos.
La segunda oración puede omitir los objetos de los que se habla, porque ya se sobreentienden por el contexto de la conversación.
Un sistema que traduzca únicamente esa oración podría producir un resultado ambiguo. En cambio, un modelo que tenga acceso al mensaje anterior puede identificar las referencias omitidas.
En muchos idiomas se presentan desafíos similares.
Los modismos y las expresiones informales pueden requerir interpretación, en lugar de una traducción literal. La cortesía y la formalidad pueden depender de la relación entre quienes conversan. Una respuesta breve puede tener distintos significados según la pregunta anterior.
Los LLM pueden utilizar la información circundante para resolver estas ambigüedades. También pueden seguir instrucciones sobre terminología, estilo de redacción y público destinatario.
Esta flexibilidad es una de las razones por las que los modelos de lenguaje de propósito general se han vuelto cada vez más útiles para traducir.
Añadir contexto e instrucciones redujo los errores un 31,5 %
El benchmark incluyó un experimento separado para analizar cómo afecta la información adicional a la calidad de la traducción.
Los investigadores probaron Gemma 4 E4B QAT Q4 en dos condiciones: traducir una oración por sí sola y traducirla con instrucciones adicionales y el historial completo de la conversación.
| Configuración | Penalización media por errores |
|---|---|
| Solo la oración | 2.118 |
| Instrucciones + historial de la conversación | 1.452 |
La segunda configuración logró una penalización media por errores un 31,5 % menor.
En 642 evaluaciones emparejadas, la configuración con contexto e instrucciones mejoró 236 traducciones, empeoró 134 y obtuvo resultados equivalentes en 272.
La mejora se observó tanto cuando era necesario recurrir al contexto previo como cuando el modelo debía reconocer que la información anterior era irrelevante.
Una limitación importante es que el experimento modificó tanto las instrucciones como el historial de la conversación. Por lo tanto, mide el efecto conjunto de ambos, en vez de aislar únicamente el beneficio del contexto.
Aun así, los resultados muestran que la calidad de la traducción puede variar considerablemente aunque el modelo de IA subyacente no cambie.
Lee el experimento completo sobre el contexto.
¿Significa esto que los LLM siempre traducen mejor?
No. El benchmark se centró en un tipo concreto de traducción: conversaciones en coreano que requieren comprensión contextual.
Sus conclusiones no necesariamente se aplican a todos los pares de idiomas, temas o tipos de documentos.
La evaluación también utilizó un juez de IA automatizado, en lugar de traductores profesionales. Aunque esto facilita las comparaciones a gran escala, las evaluaciones automatizadas pueden introducir sesgos y quizá no reflejen todos los aspectos de la calidad de una traducción.
Otro aspecto que debe tenerse en cuenta es que los servicios comerciales de traducción evolucionan.
DeepL ha desarrollado sus propios LLM especializados en traducción, mientras que Google ha introducido mejoras en Google Translate potenciadas por Gemini. Google Cloud también ofrece modelos de traducción especializados, además de la API Basic evaluada en este benchmark.
En otras palabras, la distinción entre los LLM de propósito general y los servicios especializados de traducción es cada vez menos clara.
Distintos modelos pueden rendir mejor con determinados pares de idiomas, temas técnicos o tareas de traducción. La precisión tampoco es el único factor: según el uso previsto, la velocidad, el costo y la coherencia pueden ser igual de importantes.
En vez de identificar un sistema de traducción universalmente superior, el benchmark muestra lo competitivos que se han vuelto los LLM de propósito general.
Qué significa esto para los servicios de traducción con IA
A medida que mejoran los modelos de propósito general, los servicios de traducción disponen de más opciones que depender exclusivamente de un único motor de traducción propietario.
En su lugar, un servicio puede ofrecer acceso a modelos de distintos desarrolladores y seleccionar o recomendar diferentes opciones según la tarea.
Ese es el enfoque que seguimos en Lexibird.
Lexibird proporciona acceso a una variedad de modelos de lenguaje de diferentes proveedores de IA. Los usuarios pueden elegir un modelo o usar una opción automática para las traducciones cotidianas.
Evaluamos periódicamente los modelos disponibles teniendo en cuenta tres aspectos:
- Precisión: Hasta qué punto el modelo conserva el significado, el contexto, el tono y la terminología.
- Velocidad: Cuánto tarda en producir las traducciones, sobre todo para tareas cotidianas.
- Costo: Si la mejora de calidad justifica el gasto adicional de procesamiento.
Estos factores implican ciertos compromisos. Un modelo más capaz puede ofrecer mejores resultados con textos difíciles, pero responder más lentamente o costar más. Para traducciones sencillas, puede bastar un modelo más pequeño.
Nuestro objetivo es seguir mejorando las opciones disponibles a medida que aparecen nuevos modelos, en lugar de dar por sentado que uno seguirá siendo la mejor opción indefinidamente.
Lexibird también admite glosarios de traducción, personalización del tono y traducción de documentos, imágenes y audio. Estas funciones ayudan a los usuarios a adaptar las traducciones a requisitos concretos.
Lexibird no se evaluó en el benchmark de coreano, por lo que las puntuaciones publicadas no deben interpretarse como mediciones del rendimiento de traducción de Lexibird.
Puede que el mejor modelo de traducción no lo sea por mucho tiempo
El resultado más interesante de este benchmark no es necesariamente el primer puesto de GPT-6 Luna. Lo más llamativo es el sólido rendimiento de varios modelos de lenguaje de propósito general frente a los servicios especializados de traducción.
Los resultados muestran cuánto ha cambiado la traducción automática. Los modelos desarrollados para comprender el lenguaje en general ahora pueden realizar tareas de traducción que requieren interpretar el contexto, recuperar información omitida y conservar la intención conversacional.
Al mismo tiempo, el rendimiento relativo de los modelos puede cambiar rápidamente. Las nuevas versiones pueden mejorar la calidad de la traducción, reducir los tiempos de respuesta o abaratar los costos.
Para los servicios de traducción y sus usuarios, esto sugiere que la flexibilidad puede ser más valiosa que comprometerse con un solo modelo de traducción.
El benchmark ofrece una instantánea útil del estado de la traducción con IA en 2026, pero la competencia más amplia entre los modelos de propósito general y los modelos especializados en traducción está lejos de resolverse.
