Allzweck-Sprachmodelle (LLMs) werden zunehmend konkurrenzfähig gegenüber spezialisierten maschinellen Übersetzungsdiensten. Ein im September 2026 auf GitHub veröffentlichter Benchmark liefert ein interessantes Beispiel: GPT-6 Luna, Gemma 4 und DeepSeek V4 Flash erzielten allesamt niedrigere Übersetzungsfehlerraten als die DeepL API und Google Cloud Translation Basic.
GPT-6 Luna belegte den ersten Platz, gefolgt von mehreren anderen Allzweck-Sprachmodellen. Die Ergebnisse legen nahe, dass Modelle, die für ein breites Aufgabenspektrum entwickelt wurden, auch bei Übersetzungen hervorragende Leistungen erbringen können – insbesondere, wenn der Gesprächskontext eine Rolle spielt.
Dabei gibt es einen wichtigen Unterschied: Im Benchmark wurde Google Cloud Translation Basic bewertet, nicht die Verbraucher-App Google Übersetzer, die um zusätzliche, von Gemini unterstützte Übersetzungsfunktionen erweitert wurde.
Was wurde im Benchmark getestet?
Der Korean Multi-turn Context Translation Benchmark verglich 15 Übersetzungssysteme hinsichtlich ihrer Fähigkeit, Gespräche auf Koreanisch ins Englische, Japanische und vereinfachte Chinesisch zu übersetzen.
Der Datensatz umfasste 216 Beispiele für koreanische Gespräche und ergab bis zu 648 Übersetzungen pro System.
Die Tests konzentrierten sich auf Aspekte der Sprache, deren Übersetzung ohne Kontext schwierig sein kann:
- Ausgelassene Informationen: Im Koreanischen werden Subjekte und Objekte häufig weggelassen, wenn sie aus vorherigen Sätzen erschlossen werden können.
- Mehrdeutige Bezüge: Wörter und Ausdrücke können sich auf Personen oder Gegenstände beziehen, die zuvor erwähnt wurden.
- Tonfall und Höflichkeit: Bei Übersetzungen müssen Förmlichkeit und die Beziehungen zwischen den Gesprächspartnern berücksichtigt werden.
- Gesprächsabsicht: Kurze Antworten, implizite Bedeutungen und unvollständige Sätze hängen oft von vorherigen Nachrichten ab.
- Irrelevanter Kontext: Ein Übersetzungssystem muss außerdem erkennen, wann frühere Informationen ignoriert werden sollten.
Die Übersetzungsqualität wurde anhand einer auf GEMBA-MQM basierenden Methode bewertet. Ein automatisierter KI-Bewerter erkannte Fehler und vergab je nach Schweregrad Strafpunkte.
Eine niedrigere durchschnittliche Fehlerstrafe weist bei dieser Bewertung auf weniger oder weniger schwerwiegende Fehler hin.
Ergebnisse des Übersetzungsbenchmarks
Der Vergleich vom September 2026 ergab für ausgewählte textbasierte Systeme folgende Resultate:
| Übersetzungssystem | Durchschnittliche Fehlerstrafe |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Quelle: 15-System Integrated Comparison, September 2026. Niedrigere Werte sind besser. Für DeepL gab es 642 gültige Bewertungen, für die anderen aufgeführten Systeme jeweils 648. Der vollständige Vergleich umfasste außerdem Sprachübersetzungssysteme, die hier der Einheitlichkeit halber weggelassen wurden.
GPT-6 Luna erzielte mit 0,130 die niedrigste durchschnittliche Fehlerstrafe. Gemma 4 31B und Gemma 4 26B folgten mit Werten von 0,353 und 0,387, während DeepSeek V4 Flash einen Wert von 0,571 erreichte.
Die kommerziellen Übersetzungsdienste schnitten bei diesem speziellen Datensatz schlechter ab. Papago erzielte 2,699, die DeepL API 3,914 und Google Cloud Translation Basic 5,731.
Bemerkenswert ist, dass auch mehrere relativ kleine Modelle gute Ergebnisse erzielten. Gemma 4 12B QAT Q4 erreichte beispielsweise eine durchschnittliche Fehlerstrafe von 0,855.
Diese Ergebnisse sind interessant, weil GPT-6 Luna, Gemma und DeepSeek Allzweck-Sprachmodelle und keine spezialisierten Übersetzungsprodukte sind. Sie wurden für viele verschiedene Aufgaben entwickelt, darunter Schreiben, Schlussfolgern, Programmieren und Analysieren.
Der Vergleich ist jedoch nicht vollständig gleichwertig. Die LLM-Konfigurationen konnten auf vorherige Gesprächsrunden zurückgreifen, während die kommerziellen Übersetzungsdienste ohne diesen Verlauf bewertet wurden. Die Ergebnisse spiegeln daher die Leistung der getesteten Übersetzungsabläufe wider und nicht einfach die zugrunde liegenden Modellarchitekturen.
Warum Kontext bei Übersetzungen wichtig ist
Die genaue Übersetzung einzelner Sätze garantiert nicht immer, dass deren beabsichtigte Bedeutung erhalten bleibt.
Stellen wir uns beispielsweise ein koreanisches Gespräch vor, in dem jemand erzählt, in einem Geschäft Sandalen und Hausschuhe gekauft zu haben. Im folgenden Satz erklärt die Person, dass die Artikel nicht vorrätig waren und geliefert werden mussten.
Im zweiten Satz können die besprochenen Gegenstände unerwähnt bleiben, weil sie aus dem Gespräch bereits hervorgehen.
Ein System, das nur diesen Satz übersetzt, könnte ein mehrdeutiges Ergebnis liefern. Ein Modell, das Zugriff auf die vorherige Nachricht hat, kann die fehlenden Bezüge erkennen.
Ähnliche Herausforderungen gibt es in vielen Sprachen.
Redewendungen und umgangssprachliche Ausdrücke müssen möglicherweise interpretiert statt wörtlich übersetzt werden. Höflichkeit und Förmlichkeit können vom Verhältnis zwischen den Gesprächspartnern abhängen. Eine kurze Antwort kann je nach vorausgehender Frage unterschiedliche Bedeutungen haben.
LLMs können den umgebenden Kontext nutzen, um solche Mehrdeutigkeiten aufzulösen. Außerdem können sie Anweisungen zu Terminologie, Schreibstil und Zielgruppe befolgen.
Diese Flexibilität ist ein Grund dafür, dass Allzweck-Sprachmodelle für Übersetzungen immer nützlicher geworden sind.
Kontext und Anweisungen verringerten Fehler um 31,5 %
Der Benchmark umfasste ein separates Experiment, in dem untersucht wurde, wie sich zusätzliche Informationen auf die Übersetzungsqualität auswirken.
Die Forschenden testeten Gemma 4 E4B QAT Q4 unter zwei Bedingungen: Ein Satz wurde einmal für sich allein und einmal mit zusätzlichen Anweisungen sowie dem vollständigen Gesprächsverlauf übersetzt.
| Konfiguration | Durchschnittliche Fehlerstrafe |
|---|---|
| Nur der Satz | 2,118 |
| Anweisungen + Gesprächsverlauf | 1,452 |
Bei der zweiten Konfiguration fiel die durchschnittliche Fehlerstrafe um 31,5 % niedriger aus.
Bei 642 paarweisen Bewertungen verbesserte die Konfiguration mit Kontext und Anweisungen 236 Übersetzungen, verschlechterte 134 und erzielte bei 272 gleichwertige Werte.
Die Verbesserung zeigte sich sowohl dann, wenn der vorherige Kontext benötigt wurde, als auch dann, wenn das Modell erkennen musste, dass frühere Informationen irrelevant waren.
Eine wichtige Einschränkung besteht darin, dass bei diesem Experiment sowohl die Anweisungen als auch der Gesprächsverlauf geändert wurden. Daher wird ihre gemeinsame Wirkung gemessen und nicht der Nutzen des Kontexts allein.
Dennoch zeigen die Ergebnisse, dass die Übersetzungsqualität erheblich variieren kann, obwohl das zugrunde liegende KI-Modell unverändert bleibt.
Das vollständige Kontextexperiment lesen.
Bedeutet das, dass LLMs immer besser übersetzen?
Nein. Der Benchmark konzentrierte sich auf eine bestimmte Art von Übersetzung: koreanische Gespräche, bei denen das Verständnis des Kontexts erforderlich ist.
Die Ergebnisse lassen sich nicht unbedingt auf jedes Sprachpaar, jedes Fachgebiet oder jede Textsorte übertragen.
Außerdem wurde die Bewertung von einem automatisierten KI-Bewerter und nicht von professionellen menschlichen Übersetzern vorgenommen. Das ermöglicht zwar praktische Vergleiche in großem Maßstab, doch automatisierte Bewertungen können Verzerrungen aufweisen und möglicherweise nicht alle Aspekte der Übersetzungsqualität erfassen.
Ein weiterer Aspekt ist, dass sich kommerzielle Übersetzungsdienste weiterentwickeln.
DeepL hat eigene auf Übersetzungen spezialisierte LLMs entwickelt, während Google von Gemini unterstützte Verbesserungen für Google Übersetzer eingeführt hat. Google Cloud bietet außerdem spezielle Übersetzungsmodelle an, die über die in diesem Benchmark getestete Basic API hinausgehen.
Mit anderen Worten: Die Grenze zwischen Allzweck-LLMs und spezialisierten Übersetzungsdiensten wird zunehmend unscharf.
Verschiedene Modelle können je nach Sprachpaar, Fachgebiet oder Übersetzungsaufgabe unterschiedlich gut abschneiden. Genauigkeit ist zudem nur ein Faktor: Je nach Anwendungsfall können Geschwindigkeit, Kosten und Konsistenz ebenso wichtig sein.
Anstatt ein universell überlegenes Übersetzungssystem zu bestimmen, veranschaulicht der Benchmark, wie konkurrenzfähig Allzweck-LLMs inzwischen geworden sind.
Was das für KI-Übersetzungsdienste bedeutet
Mit der Weiterentwicklung von Allzweckmodellen haben Übersetzungsdienste mehr Möglichkeiten, als sich ausschließlich auf eine einzige proprietäre Übersetzungsmaschine zu verlassen.
Ein Dienst kann stattdessen Zugriff auf Modelle verschiedener Entwickler anbieten und je nach Aufgabe unterschiedliche Optionen auswählen oder empfehlen.
Diesen Ansatz verfolgen wir bei Lexibird.
Lexibird bietet Zugriff auf eine Reihe von Sprachmodellen verschiedener KI-Anbieter. Nutzerinnen und Nutzer können selbst ein Modell auswählen oder für alltägliche Übersetzungen eine automatische Option verwenden.
Wir bewerten verfügbare Modelle regelmäßig anhand von drei Gesichtspunkten:
- Genauigkeit: Wie gut ein Modell Bedeutung, Kontext, Tonfall und Terminologie bewahrt.
- Geschwindigkeit: Wie schnell es Übersetzungen erstellt, insbesondere bei alltäglichen Aufgaben.
- Kosten: Ob die Qualitätsverbesserung die zusätzlichen Verarbeitungskosten rechtfertigt.
Zwischen diesen Faktoren bestehen Zielkonflikte. Ein leistungsfähigeres Modell liefert bei schwierigen Texten möglicherweise bessere Ergebnisse, antwortet aber langsamer oder verursacht höhere Betriebskosten. Für unkomplizierte Übersetzungen kann ein kleineres Modell ausreichen.
Unser Ziel ist es, die verfügbaren Optionen mit dem Erscheinen neuer Modelle laufend zu verbessern, statt davon auszugehen, dass ein Modell dauerhaft die beste Wahl bleibt.
Lexibird unterstützt außerdem Übersetzungsglossare, die Anpassung des Tonfalls sowie die Übersetzung von Dokumenten, Bildern und Audio. Mit diesen Funktionen können Nutzerinnen und Nutzer Übersetzungen an bestimmte Anforderungen anpassen.
Lexibird selbst wurde im koreanischen Benchmark nicht bewertet. Die veröffentlichten Werte sollten daher nicht als Messwerte für die Übersetzungsleistung von Lexibird verstanden werden.
Das beste Übersetzungsmodell ist vielleicht nicht lange das beste
Die interessanteste Erkenntnis aus diesem Benchmark ist nicht unbedingt GPT-6 Lunas erster Platz. Es ist vielmehr die starke Leistung mehrerer Allzweck-Sprachmodelle im Vergleich zu spezialisierten Übersetzungsdiensten.
Die Ergebnisse veranschaulichen, wie sehr sich die maschinelle Übersetzung verändert hat. Modelle, die für ein allgemeines Sprachverständnis entwickelt wurden, können inzwischen Übersetzungsaufgaben bewältigen, bei denen Kontext interpretiert, ausgelassene Informationen ergänzt und die Gesprächsabsicht bewahrt werden muss.
Gleichzeitig kann sich die relative Leistung der Modelle schnell verändern. Neue Versionen können die Übersetzungsqualität verbessern, Antwortzeiten verkürzen oder Kosten senken.
Für Übersetzungsdienste und ihre Nutzerinnen und Nutzer bedeutet das, dass Flexibilität wertvoller sein kann, als sich auf ein einzelnes Übersetzungsmodell festzulegen.
Der Benchmark bietet eine nützliche Momentaufnahme des Stands der KI-Übersetzung im Jahr 2026. Der größere Wettbewerb zwischen Allzweck- und spezialisierten Übersetzungsmodellen ist jedoch noch lange nicht entschieden.
