汎用大規模言語モデル（LLM）は、専用の機械翻訳サービスにますます匹敵する性能を示しています。2026年9月にGitHubで公開されたベンチマークは、その興味深い事例です。GPT-6 Luna、Gemma 4、DeepSeek V4 Flashはいずれも、DeepL APIやGoogle Cloud Translation Basicより低い翻訳エラーのスコアを記録しました。
GPT-6 Lunaが首位となり、ほかの汎用言語モデルがそれに続きました。この結果は、幅広いタスク向けに開発されたモデルも翻訳で非常に優れた性能を発揮できること、特に会話の文脈が重要な場合にその傾向が強いことを示しています。
ただし、重要な違いが一つあります。このベンチマークで評価されたのは、Google Cloud Translation Basicであり、Geminiを活用した翻訳機能が追加されている一般ユーザー向けのGoogle翻訳アプリではありません。
ベンチマークでは何をテストしたのか？
韓国語マルチターン文脈翻訳ベンチマークでは、韓国語の会話を英語、日本語、簡体字中国語に翻訳する能力について、15種類の翻訳システムを比較しました。
データセットには韓国語の会話例が216件含まれており、システムごとに最大648件の翻訳が作成されました。
テストでは、文脈がないと翻訳が難しくなる次のような言語的要素に重点が置かれました。
- 省略された情報： 韓国語では、前の文から意味が分かる主語や目的語が頻繁に省略されます。
- 曖昧な指示対象： 単語や表現が、以前に言及された人物や物を指すことがあります。
- 口調と丁寧さ： 翻訳では、話し手の間柄や、表現のフォーマルさを考慮する必要があります。
- 会話の意図： 短い返答、含意、不完全な文は、前の発言に左右されることがよくあります。
- 無関係な文脈： 翻訳システムは、以前の情報を無視すべき場合も見極めなければなりません。
翻訳品質は、GEMBA-MQMに基づく手法で評価されました。自動AI評価器が誤りを特定し、深刻度に応じてペナルティを付けました。
平均ペナルティが低いほど、この評価方法における誤りが少ない、または軽微であることを示します。
翻訳ベンチマークの結果
2026年9月の比較で、選定されたテキストベースのシステムは次の結果となりました。
| 翻訳システム | 平均エラーペナルティ |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
出典：15システム統合比較、2026年9月。数値は低いほど良好です。DeepLの有効評価件数は642件で、その他の掲載システムは648件でした。比較全体には音声翻訳システムも含まれていましたが、条件をそろえるため、ここでは省略しています。
GPT-6 Lunaは平均エラーペナルティ0.130で最も低い値を記録しました。続いてGemma 4 31Bが0.353、Gemma 4 26Bが0.387、DeepSeek V4 Flashが0.571でした。
この特定のデータセットでは、商用翻訳サービスの成績はこれらより低くなりました。Papagoは2.699、DeepL APIは3.914、Google Cloud Translation Basicは5.731でした。
注目すべき点の一つは、比較的小規模なモデルもいくつか良好な成績を収めたことです。たとえばGemma 4 12B QAT Q4の平均ペナルティは0.855でした。
この結果が興味深いのは、GPT-6 Luna、Gemma、DeepSeekが、翻訳専用製品ではなく汎用言語モデルだからです。これらは、文章作成、推論、コーディング、分析など、多様なタスクに対応するよう設計されています。
ただし、比較条件が完全に同じというわけではありません。LLMの設定では過去の会話ターンを利用できた一方、商用翻訳サービスの評価では会話履歴が与えられていません。そのため、この結果が示すのは、テストされた翻訳ワークフローの性能であり、基盤となるモデルのアーキテクチャだけを比較したものではありません。
翻訳で文脈が重要な理由
個々の文を正確に翻訳できても、意図された意味が必ず保たれるとは限りません。
たとえば、ある人が店でサンダルとスリッパを買ったと話す韓国語の会話を想像してください。次の文では、それらの商品が品切れだったため、配送してもらうことになったと説明しています。
会話の流れからすでに分かるため、2文目では話題となっている品物が省略されているかもしれません。
その文だけを翻訳するシステムでは、意味が曖昧になる可能性があります。以前の発言を参照できるモデルなら、省略された対象を特定できます。
同様の課題は多くの言語に見られます。
慣用句やくだけた表現は、直訳ではなく解釈が必要な場合があります。丁寧さやフォーマルさは、話し手同士の関係によって変わります。短い返答も、直前の質問によって意味が異なることがあります。
LLMは周辺情報を使って、こうした曖昧さを解消できます。また、用語、文体、想定読者についての指示に従うこともできます。
汎用言語モデルが翻訳にますます役立つようになった理由の一つは、この柔軟性にあります。
文脈と指示の追加でエラーが31.5%減少
このベンチマークには、追加情報が翻訳品質に与える影響を調べる別の実験も含まれていました。
研究者はGemma 4 E4B QAT Q4について、文だけを単独で翻訳する条件と、追加の指示および会話履歴全体を含めて翻訳する条件の2つをテストしました。
| 設定 | 平均エラーペナルティ |
|---|---|
| 文のみ | 2.118 |
| 指示＋会話履歴 | 1.452 |
2つ目の設定では、平均エラーペナルティが31.5%低下しました。
対応する642件の評価では、文脈と指示を与えた設定により、236件の翻訳が改善し、134件で悪化、272件ではスコアに差がありませんでした。
この改善は、過去の文脈が必要な場合だけでなく、以前の情報が無関係だとモデルが判断する必要のある場合にも見られました。
重要な制約として、この実験では指示と会話履歴の両方を変更しています。そのため、文脈だけの効果を切り分けたのではなく、両者を組み合わせた効果を測定しています。
それでも、基盤となるAIモデルを変えなくても、翻訳品質が大きく変わり得ることを結果は示しています。
LLMは常に翻訳性能が優れているということか？
いいえ。このベンチマークが対象としたのは、文脈理解が求められる韓国語の会話という、特定の種類の翻訳です。
その結果が、あらゆる言語ペア、分野、文書の種類に当てはまるとは限りません。
また、評価にはプロの人間の翻訳者ではなく、自動AI評価器が使われました。大規模な比較を実施しやすくなる一方で、自動評価には偏りが生じる可能性があり、翻訳品質のあらゆる側面を捉えられるとは限りません。
もう一つ考慮すべきなのは、商用翻訳サービスも進化していることです。
DeepLは独自の翻訳特化型LLMを開発しており、GoogleはGeminiを活用したGoogle翻訳の機能強化を導入しています。Google Cloudも、このベンチマークでテストされたBasic API以外に、専用の翻訳モデルを提供しています。
つまり、汎用LLMと翻訳特化型サービスとの境界は、ますます曖昧になっています。
言語ペア、専門分野、翻訳タスクによって、優れた性能を示すモデルは異なる可能性があります。また、正確さだけが判断基準ではありません。用途によっては、速度、コスト、一貫性も同じくらい重要です。
このベンチマークは、あらゆる状況で最も優れた翻訳システムを一つ決めるというより、汎用LLMの競争力がどれほど高まったかを示しています。
AI翻訳サービスにとって何を意味するのか
汎用モデルの性能が向上するにつれ、翻訳サービスは単一の独自翻訳エンジンだけに依存せずに済むようになっています。
代わりに、複数の開発元のモデルを利用できるようにし、タスクに応じて異なる選択肢を提示したり、推奨したりできます。
Lexibirdでは、このアプローチを採用しています。
Lexibirdでは、さまざまなAIプロバイダーの複数の言語モデルを利用できます。ユーザー自身がモデルを選ぶことも、日常的な翻訳向けの自動選択機能を使うこともできます。
私たちは次の3つの観点を重視し、利用可能なモデルを定期的に評価しています。
- 正確さ： 意味、文脈、口調、用語をどれだけ適切に保てるか。
- 速度： 特に日常的な用途で、どれほど速く翻訳を生成できるか。
- コスト： 品質向上が追加の処理コストに見合うか。
これらの要素にはトレードオフがあります。高性能なモデルは難しい文章でより良い結果を出せる一方、応答が遅かったり、実行コストが高かったりする場合があります。簡単な翻訳なら、小型モデルで十分なこともあります。
私たちの目標は、一つのモデルがいつまでも最良の選択肢であり続けると考えるのではなく、新しいモデルの登場に合わせて利用可能な選択肢を改善し続けることです。
Lexibirdは、翻訳用語集、口調のカスタマイズ、文書・画像・音声の翻訳にも対応しています。これらの機能により、ユーザーは特定の要件に合わせて翻訳を調整できます。
Lexibird自体は韓国語ベンチマークで評価されていないため、公開されたスコアをLexibirdの翻訳性能を測るものとして解釈しないでください。
最良の翻訳モデルは、長く最良であり続けるとは限らない
このベンチマークで最も興味深いのは、必ずしもGPT-6 Lunaが首位になったことではありません。複数の汎用言語モデルが、専用翻訳サービスに対して優れた性能を示したことです。
この結果は、機械翻訳が大きく変化したことを物語っています。一般的な言語理解のために開発されたモデルが、文脈の解釈、省略情報の補完、会話の意図の保持を必要とする翻訳タスクにも対応できるようになりました。
同時に、モデル間の相対的な性能は急速に変化する可能性があります。新しいモデルの登場により、翻訳品質が向上したり、応答時間が短縮されたり、コストが下がったりすることもあります。
翻訳サービスとそのユーザーにとって、これは一つの翻訳モデルに固定するより、柔軟性を保つことのほうが価値を持つ可能性を示しています。
このベンチマークは2026年のAI翻訳の状況を把握するうえで有用な一例ですが、汎用モデルと特化型翻訳モデルの競争に決着がついたわけではありません。
