Os grandes modelos de linguagem (LLMs) de uso geral estão cada vez mais competitivos em relação aos serviços especializados de tradução automática. Um benchmark publicado no GitHub em setembro de 2026 oferece um exemplo interessante: GPT-6 Luna, Gemma 4 e DeepSeek V4 Flash obtiveram pontuações de erro de tradução menores que as da DeepL API e do Google Cloud Translation Basic.
O GPT-6 Luna ficou em primeiro lugar, seguido por vários outros modelos de linguagem de uso geral. Os resultados sugerem que modelos desenvolvidos para uma ampla variedade de tarefas também podem ter um desempenho excepcional na tradução, sobretudo quando o contexto da conversa é importante.
Há uma distinção importante: o benchmark avaliou o Google Cloud Translation Basic, e não o aplicativo Google Tradutor voltado ao consumidor, que incorporou recursos adicionais de tradução com tecnologia Gemini.
O que o benchmark avaliou?
O Korean Multi-turn Context Translation Benchmark comparou 15 sistemas de tradução quanto à capacidade de traduzir conversas em coreano para inglês, japonês e chinês simplificado.
O conjunto de dados continha 216 exemplos de conversas em coreano, gerando até 648 traduções por sistema.
Os testes se concentraram em aspectos da linguagem que podem ser difíceis de traduzir sem contexto:
- Informações omitidas: o coreano frequentemente deixa de fora sujeitos e objetos que podem ser deduzidos de frases anteriores.
- Referências ambíguas: palavras e expressões podem se referir a pessoas ou objetos mencionados anteriormente.
- Tom e polidez: as traduções precisam levar em conta o grau de formalidade e a relação entre os interlocutores.
- Intenção conversacional: respostas curtas, sentidos implícitos e frases incompletas muitas vezes dependem das mensagens anteriores.
- Contexto irrelevante: um sistema de tradução também precisa reconhecer quando deve ignorar informações anteriores.
A qualidade da tradução foi avaliada com uma metodologia baseada no GEMBA-MQM. Um avaliador automatizado de IA identificou erros e atribuiu penalidades de acordo com a gravidade.
Uma penalidade média menor indica menos erros ou erros menos graves segundo essa avaliação.
Resultados do benchmark de tradução
A comparação de setembro de 2026 produziu os seguintes resultados para alguns sistemas baseados em texto:
| Sistema de tradução | Penalidade média por erro |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Fonte: Comparação integrada de 15 sistemas, setembro de 2026. Quanto menor, melhor. A DeepL teve 642 avaliações válidas; os demais sistemas listados tiveram 648. A comparação completa também incluiu sistemas de tradução de fala, omitidos aqui para manter a consistência.
O GPT-6 Luna registrou a menor penalidade média por erro: 0,130. O Gemma 4 31B e o Gemma 4 26B vieram em seguida, com pontuações de 0,353 e 0,387, enquanto o DeepSeek V4 Flash obteve 0,571.
Os serviços comerciais de tradução tiveram resultados inferiores nesse conjunto de dados específico. O Papago obteve 2,699, a DeepL API ficou com 3,914 e o Google Cloud Translation Basic, com 5,731.
Um dado digno de nota é que vários modelos relativamente pequenos também tiveram um bom desempenho. O Gemma 4 12B QAT Q4, por exemplo, alcançou uma penalidade média de 0,855.
Esses resultados são interessantes porque GPT-6 Luna, Gemma e DeepSeek são modelos de linguagem de uso geral, e não produtos especializados em tradução. Eles foram desenvolvidos para realizar muitas tarefas diferentes, incluindo escrita, raciocínio, programação e análise.
No entanto, a comparação não é totalmente equivalente. As configurações dos LLMs podiam usar turnos anteriores da conversa, enquanto os serviços comerciais de tradução foram avaliados sem esse histórico. Portanto, os resultados refletem o desempenho dos fluxos de trabalho de tradução testados, e não apenas o das arquiteturas subjacentes dos modelos.
Por que o contexto importa na tradução
Traduzir frases isoladas com precisão nem sempre garante que o sentido pretendido seja preservado.
Por exemplo, imagine uma conversa em coreano em que alguém menciona ter comprado sandálias e chinelos numa loja. Na frase seguinte, a pessoa explica que os itens estavam em falta e tiveram de ser entregues.
A segunda frase pode omitir os objetos em questão porque eles já estão claros pelo contexto da conversa.
Um sistema que traduza apenas essa frase pode produzir um resultado ambíguo. Um modelo com acesso à mensagem anterior consegue identificar as referências omitidas.
Desafios semelhantes surgem em muitos idiomas.
Expressões idiomáticas e informais podem exigir interpretação em vez de tradução literal. A polidez e a formalidade podem depender da relação entre os interlocutores. Uma resposta curta pode ter sentidos diferentes conforme a pergunta que a antecedeu.
Os LLMs podem usar as informações ao redor para resolver essas ambiguidades. Também podem seguir instruções sobre terminologia, estilo de escrita e público-alvo.
Essa flexibilidade é uma das razões pelas quais os modelos de linguagem de uso geral se tornaram cada vez mais úteis para a tradução.
Contexto e instruções adicionais reduziram os erros em 31,5%
O benchmark incluiu um experimento separado para examinar como informações adicionais afetam a qualidade da tradução.
Os pesquisadores testaram o Gemma 4 E4B QAT Q4 em duas condições: traduzir uma frase isoladamente e traduzi-la com instruções adicionais e o histórico completo da conversa.
| Configuração | Penalidade média por erro |
|---|---|
| Apenas a frase | 2,118 |
| Instruções + histórico da conversa | 1,452 |
A segunda configuração alcançou uma penalidade média por erro 31,5% menor.
Em 642 avaliações pareadas, a configuração com contexto e instruções melhorou 236 traduções, piorou 134 e obteve pontuações equivalentes em 272.
A melhora foi observada tanto nos casos em que era necessário recorrer ao contexto anterior quanto naqueles em que o modelo precisava reconhecer que as informações anteriores eram irrelevantes.
Uma limitação importante é que o experimento alterou tanto as instruções quanto o histórico da conversa. Portanto, ele mede o efeito combinado de ambos, em vez de isolar o benefício do contexto por si só.
Ainda assim, os resultados mostram que a qualidade da tradução pode variar consideravelmente mesmo quando o modelo de IA subjacente não muda.
Leia o experimento completo sobre contexto.
Isso significa que os LLMs são sempre melhores para traduzir?
Não. O benchmark se concentrou em um tipo específico de tradução: conversas em coreano que exigem compreensão contextual.
As conclusões não se aplicam necessariamente a todos os pares de idiomas, assuntos ou tipos de documento.
A avaliação também utilizou um avaliador de IA automatizado, em vez de tradutores humanos profissionais. Embora isso torne práticas as comparações em grande escala, avaliações automatizadas podem introduzir vieses e talvez não captem todos os aspectos da qualidade da tradução.
Outro ponto a considerar é que os serviços comerciais de tradução estão evoluindo.
A DeepL desenvolveu seus próprios LLMs especializados em tradução, enquanto o Google introduziu melhorias no Google Tradutor com tecnologia Gemini. O Google Cloud também oferece modelos de tradução dedicados além da API Basic testada neste benchmark.
Em outras palavras, a distinção entre LLMs de uso geral e serviços especializados de tradução está se tornando menos nítida.
Modelos diferentes podem ter melhor desempenho com determinados pares de idiomas, áreas técnicas ou tarefas de tradução. A precisão também não é o único fator: a velocidade, o custo e a consistência podem ser igualmente importantes, dependendo do caso de uso.
Em vez de apontar um único sistema de tradução universalmente superior, o benchmark ilustra o quanto os LLMs de uso geral se tornaram competitivos.
O que isso significa para os serviços de tradução com IA
À medida que os modelos de uso geral melhoram, os serviços de tradução passam a ter mais opções do que depender exclusivamente de um único mecanismo proprietário.
Em vez disso, um serviço pode oferecer acesso a modelos de vários desenvolvedores, selecionando ou recomendando opções diferentes conforme a tarefa.
Essa é a abordagem que adotamos na Lexibird.
A Lexibird oferece acesso a diversos modelos de linguagem de diferentes provedores de IA. Os usuários podem escolher um modelo ou usar uma opção automática para traduções do dia a dia.
Avaliamos regularmente os modelos disponíveis levando em conta três aspectos:
- Precisão: até que ponto um modelo preserva o significado, o contexto, o tom e a terminologia.
- Velocidade: com que rapidez ele produz traduções, sobretudo em tarefas cotidianas.
- Custo: se a melhora na qualidade justifica o custo adicional de processamento.
Há compensações entre esses fatores. Um modelo mais capaz pode produzir resultados melhores em textos difíceis, mas responder mais lentamente ou custar mais para operar. Um modelo menor pode ser suficiente para traduções simples.
Nosso objetivo é continuar aprimorando as opções disponíveis à medida que surgem novos modelos, em vez de presumir que um único modelo será sempre a melhor escolha.
A Lexibird também oferece suporte a glossários de tradução, personalização do tom e tradução de documentos, imagens e áudio. Esses recursos ajudam os usuários a adaptar as traduções a requisitos específicos.
A própria Lexibird não foi avaliada no benchmark de coreano; portanto, as pontuações publicadas não devem ser interpretadas como medidas do desempenho de tradução da Lexibird.
O melhor modelo de tradução talvez não continue sendo o melhor por muito tempo
A conclusão mais interessante deste benchmark talvez não seja o primeiro lugar do GPT-6 Luna. É o forte desempenho de vários modelos de linguagem de uso geral em comparação com serviços especializados de tradução.
Os resultados ilustram o quanto a tradução automática mudou. Modelos desenvolvidos para compreensão geral da linguagem agora conseguem lidar com tarefas de tradução que exigem interpretar o contexto, recuperar informações omitidas e preservar a intenção da conversa.
Ao mesmo tempo, o desempenho relativo dos modelos pode mudar rapidamente. Novos lançamentos podem melhorar a qualidade das traduções, reduzir o tempo de resposta ou diminuir os custos.
Para os serviços de tradução e seus usuários, isso sugere que a flexibilidade pode ser mais valiosa do que se comprometer com um único modelo de tradução.
O benchmark oferece um retrato útil do estado da tradução por IA em 2026, mas a disputa mais ampla entre modelos de uso geral e modelos especializados em tradução está longe de estar decidida.
