Універсальні великі мовні моделі (LLM) дедалі успішніше конкурують зі спеціалізованими сервісами машинного перекладу. Бенчмарк, опублікований на GitHub у вересні 2026 року, демонструє цікавий приклад: GPT-6 Luna, Gemma 4 і DeepSeek V4 Flash отримали нижчі показники похибки перекладу, ніж DeepL API та Google Cloud Translation Basic.
GPT-6 Luna посіла перше місце, за нею йшли кілька інших універсальних мовних моделей. Результати свідчать, що моделі, розроблені для широкого спектра завдань, можуть також надзвичайно добре перекладати — особливо коли важливий контекст розмови.
Є одна важлива відмінність: у бенчмарку оцінювали Google Cloud Translation Basic, а не призначений для користувачів застосунок Google Translate, до якого додали нові можливості перекладу на базі Gemini.
Що перевіряв бенчмарк?
Бенчмарк багатокрокового перекладу корейських розмов із урахуванням контексту порівняв 15 систем перекладу за їхньою здатністю перекладати розмовну корейську англійською, японською та спрощеною китайською мовами.
Набір даних містив 216 прикладів корейських розмов, що давало до 648 перекладів для кожної системи.
Тести зосереджувалися на мовних особливостях, які буває складно перекласти без контексту:
- Пропущена інформація: у корейській мові часто опускають підмети й додатки, якщо їх можна зрозуміти з попередніх речень.
- Неоднозначні посилання: слова й вислови можуть стосуватися людей або предметів, згаданих раніше.
- Тон і ввічливість: під час перекладу потрібно враховувати формальність мовлення та стосунки між співрозмовниками.
- Намір співрозмовника: короткі відповіді, підтекст і незавершені речення часто залежать від попередніх повідомлень.
- Нерелевантний контекст: система перекладу також має розпізнавати, коли попередню інформацію слід ігнорувати.
Якість перекладу оцінювали за методологією на основі GEMBA-MQM. Автоматизований оцінювач зі штучним інтелектом визначав помилки та нараховував штрафні бали залежно від їхньої серйозності.
Нижчий середній штрафний бал означає, що за цією методикою виявлено менше помилок або менш серйозні помилки.
Результати бенчмарку перекладу
У порівнянні за вересень 2026 року отримали такі результати для вибраних текстових систем:
| Система перекладу | Середній штрафний бал за помилки |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Джерело: Порівняння 15 систем, вересень 2026 року. Менше — краще. Для DeepL було проведено 642 оцінювання, для решти систем у списку — 648. Повне порівняння також охоплювало системи перекладу мовлення, які тут не наведено для послідовності.
GPT-6 Luna мала найнижчий середній штрафний бал за помилки — 0,130. Далі йшли Gemma 4 31B і Gemma 4 26B з показниками 0,353 і 0,387, тоді як результат DeepSeek V4 Flash становив 0,571.
У цьому наборі даних комерційні сервіси перекладу показали гірші результати. Papago отримав 2,699 бала, DeepL API — 3,914, а Google Cloud Translation Basic — 5,731.
Примітно, що кілька відносно невеликих моделей також показали хороші результати. Наприклад, середній штрафний бал Gemma 4 12B QAT Q4 становив 0,855.
Ці результати цікаві, адже GPT-6 Luna, Gemma та DeepSeek — універсальні мовні моделі, а не спеціалізовані продукти для перекладу. Їх розроблено для виконання багатьох різних завдань, зокрема написання текстів, міркування, програмування й аналізу.
Однак порівняння не зовсім рівноцінне. Конфігурації LLM могли використовувати попередні репліки розмови, тоді як комерційні сервіси перекладу оцінювали без доступу до цієї історії. Тому результати відображають ефективність протестованих робочих процесів перекладу, а не лише архітектуру моделей.
Чому контекст важливий для перекладу
Точний переклад окремих речень не завжди гарантує збереження їхнього задуму.
Наприклад, уявімо корейську розмову, де хтось згадує, що купив у магазині сандалі та капці. У наступному реченні людина пояснює, що цих товарів не було в наявності й їх довелося доставити.
У другому реченні предмети можуть не називатися, оскільки вони вже зрозумілі з розмови.
Система, що перекладає лише це речення, може видати неоднозначний результат. Модель, яка має доступ до попереднього повідомлення, здатна визначити пропущені посилання.
Подібні труднощі трапляються в багатьох мовах.
Ідіоми й неформальні вислови можуть потребувати тлумачення, а не буквального перекладу. Вибір ввічливої чи формальної форми може залежати від стосунків між співрозмовниками. Коротка відповідь може мати різні значення залежно від попереднього запитання.
LLM можуть використовувати навколишню інформацію, щоб усувати цю неоднозначність. Також вони можуть виконувати інструкції щодо термінології, стилю письма й цільової аудиторії.
Саме ця гнучкість є однією з причин, чому універсальні мовні моделі стають дедалі кориснішими для перекладу.
Додавання контексту та інструкцій зменшило кількість помилок на 31,5%
У бенчмарку був окремий експеримент, який досліджував, як додаткова інформація впливає на якість перекладу.
Дослідники перевірили Gemma 4 E4B QAT Q4 за двох умов: переклад речення окремо та переклад із додатковими інструкціями й повною історією розмови.
| Конфігурація | Середній штрафний бал за помилки |
|---|---|
| Лише речення | 2,118 |
| Інструкції та історія розмови | 1,452 |
Друга конфігурація забезпечила на 31,5% нижчий середній штрафний бал за помилки.
У 642 парних оцінюваннях конфігурація з контекстом та інструкціями покращила 236 перекладів, погіршила 134, а для 272 дала еквівалентні результати.
Покращення спостерігалося як у випадках, коли потрібен був попередній контекст, так і тоді, коли моделі потрібно було розпізнати, що попередня інформація не має значення.
Важливе обмеження полягає в тому, що в експерименті одночасно змінювали і інструкції, і історію розмови. Тому вимірювався їхній сукупний ефект, а не окрема користь самого контексту.
Попри це, результати показують, що якість перекладу може суттєво змінюватися, навіть якщо сама модель ШІ залишається незмінною.
Переглянути повний експеримент із контекстом.
Чи означає це, що LLM завжди краще перекладають?
Ні. Бенчмарк був присвячений конкретному типу перекладу: корейським розмовам, що потребують розуміння контексту.
Його висновки не обов’язково стосуються всіх мовних пар, тематик і типів документів.
Крім того, оцінювання проводив автоматизований суддя зі штучним інтелектом, а не професійні перекладачі-люди. Такий підхід спрощує масштабні порівняння, але автоматизовані оцінки можуть бути упередженими й не охоплювати всіх аспектів якості перекладу.
Також варто враховувати, що комерційні сервіси перекладу розвиваються.
DeepL розробила власні LLM, спеціалізовані на перекладі, а Google додала покращення Google Translate на базі Gemini. Крім того, Google Cloud пропонує спеціалізовані моделі перекладу, окрім API Basic, який тестували в цьому бенчмарку.
Інакше кажучи, межа між універсальними LLM і спеціалізованими сервісами перекладу стає дедалі менш чіткою.
Різні моделі можуть краще працювати з різними мовними парами, технічними темами чи завданнями перекладу. Точність — лише один із чинників: залежно від потреби не менш важливими можуть бути швидкість, вартість і стабільність результатів.
Замість того щоб визначати одну універсально найкращу систему перекладу, бенчмарк показує, наскільки конкурентоспроможними стали універсальні LLM.
Що це означає для сервісів перекладу на основі ШІ
У міру вдосконалення універсальних моделей сервіси перекладу отримують більше можливостей, ніж покладатися лише на один власний рушій перекладу.
Натомість сервіс може надавати доступ до моделей від кількох розробників, вибираючи або рекомендуючи різні варіанти залежно від завдання.
Саме такого підходу ми дотримуємося в Lexibird.
Lexibird надає доступ до різноманітних мовних моделей від різних постачальників ШІ. Користувачі можуть самостійно вибрати модель або для повсякденного перекладу скористатися автоматичним режимом.
Ми регулярно оцінюємо доступні моделі з огляду на три чинники:
- Точність: наскільки добре модель зберігає зміст, контекст, тон і термінологію.
- Швидкість: як швидко вона створює переклад, особливо для повсякденних завдань.
- Вартість: чи виправдовує покращення якості додаткові обчислювальні витрати.
Між цими чинниками є компроміси. Потужніша модель може краще впоратися зі складним текстом, але відповідати повільніше або коштувати дорожче в роботі. Для простих перекладів може бути достатньо меншої моделі.
Наша мета — постійно вдосконалювати доступні варіанти в міру появи нових моделей, а не вважати, що одна модель завжди залишатиметься найкращим вибором.
Lexibird також підтримує глосарії перекладу, налаштування тону та переклад документів, зображень і аудіо. Ці функції допомагають користувачам адаптувати переклади до конкретних вимог.
Сам сервіс Lexibird не оцінювали в корейському бенчмарку, тому опубліковані результати не слід трактувати як показники якості перекладу Lexibird.
Найкраща модель перекладу може невдовзі втратити першість
Найцікавіший висновок цього бенчмарку — не обов’язково перше місце GPT-6 Luna. Важливіше те, наскільки добре кілька універсальних мовних моделей показали себе на тлі спеціалізованих сервісів перекладу.
Результати демонструють, наскільки змінилося машинне перекладання. Моделі, розроблені для загального розуміння мови, тепер можуть виконувати завдання перекладу, що вимагають тлумачення контексту, відновлення пропущеної інформації та збереження наміру співрозмовника.
Водночас відносна ефективність моделей може швидко змінюватися. Нові версії можуть покращити якість перекладу, скоротити час відповіді або знизити вартість.
Для сервісів перекладу та їхніх користувачів це означає, що гнучкість може бути ціннішою за прив’язаність до однієї моделі перекладу.
Бенчмарк дає корисне уявлення про стан перекладу на основі ШІ у 2026 році, але ширше суперництво між універсальними та спеціалізованими моделями перекладу ще далеко не завершене.
