Большие языковые модели (LLM) общего назначения всё успешнее конкурируют со специализированными сервисами машинного перевода. Интересный пример — бенчмарк, опубликованный на GitHub в сентябре 2026 года: GPT-6 Luna, Gemma 4 и DeepSeek V4 Flash показали более низкие оценки ошибок перевода, чем DeepL API и Google Cloud Translation Basic.
Первое место заняла GPT-6 Luna, за ней расположились несколько других языковых моделей общего назначения. Результаты показывают, что модели, разработанные для широкого круга задач, могут отлично справляться и с переводом — особенно когда важен контекст беседы.
Важно учитывать одно различие: в бенчмарке оценивался Google Cloud Translation Basic, а не пользовательское приложение Google Переводчик, в которое добавлены дополнительные возможности перевода на базе Gemini.
Что проверял бенчмарк?
В рамках Korean Multi-turn Context Translation Benchmark 15 систем перевода сравнивались по способности переводить разговорную корейскую речь на английский, японский и упрощённый китайский языки.
Набор данных включал 216 примеров корейских диалогов, что давало до 648 переводов на каждую систему.
Тестирование охватывало языковые особенности, перевод которых без контекста может быть затруднён:
- Пропущенная информация: в корейском часто опускаются подлежащие и дополнения, понятные из предыдущих предложений.
- Неоднозначные отсылки: слова и выражения могут относиться к людям или предметам, упомянутым ранее.
- Тон и вежливость: при переводе необходимо учитывать формальность речи и отношения между собеседниками.
- Коммуникативное намерение: смысл коротких ответов, подразумеваемых высказываний и незаконченных предложений часто зависит от предыдущих сообщений.
- Нерелевантный контекст: система перевода также должна распознавать случаи, когда прежнюю информацию следует игнорировать.
Качество перевода оценивалось по методике, основанной на GEMBA-MQM. Автоматизированный ИИ-оценщик выявлял ошибки и назначал штрафные баллы в зависимости от их серьёзности.
Чем ниже средний штрафной балл, тем меньше ошибок или тем ниже их серьёзность по результатам этой оценки.
Результаты бенчмарка перевода
В сравнении за сентябрь 2026 года текстовые системы показали следующие результаты:
| Система перевода | Средний штрафной балл за ошибки |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
Источник: 15-System Integrated Comparison, сентябрь 2026 года. Чем ниже показатель, тем лучше. Для DeepL было проведено 642 оценки, для остальных перечисленных систем — 648. Полное сравнение также включало системы перевода речи, которые здесь не приводятся для единообразия.
У GPT-6 Luna был самый низкий средний штрафной балл — 0.130. Далее шли Gemma 4 31B и Gemma 4 26B с показателями 0.353 и 0.387, а результат DeepSeek V4 Flash составил 0.571.
На этом наборе данных коммерческие сервисы перевода показали более слабые результаты. Показатель Papago составил 2.699, DeepL API — 3.914, а Google Cloud Translation Basic — 5.731.
Примечательно, что хорошо показали себя и несколько сравнительно небольших моделей. Например, Gemma 4 12B QAT Q4 получила средний штрафной балл 0.855.
Эти результаты интересны тем, что GPT-6 Luna, Gemma и DeepSeek — это большие языковые модели общего назначения, а не специализированные продукты для перевода. Они созданы для решения самых разных задач, включая написание текстов, рассуждение, программирование и анализ.
Однако сравнение не вполне равнозначное. Конфигурации LLM могли учитывать предыдущие реплики диалога, тогда как коммерческие сервисы перевода тестировались без истории переписки. Поэтому результаты отражают эффективность проверенных сценариев перевода, а не только особенности архитектуры лежащих в их основе моделей.
Почему контекст важен для перевода
Точный перевод отдельных предложений не всегда гарантирует сохранение их изначального смысла.
Представьте, например, корейский разговор, в котором человек рассказывает, что купил в магазине сандалии и шлёпанцы. В следующем предложении он объясняет, что этих вещей не оказалось в наличии и их пришлось доставить.
Во втором предложении предметы могут не называться, поскольку они уже понятны из разговора.
Система, переводящая только это предложение, может выдать неоднозначный результат. Модель, которой доступно предыдущее сообщение, сможет определить, к чему относятся пропущенные слова.
Подобные сложности встречаются во многих языках.
Для перевода идиом и разговорных выражений может потребоваться интерпретация, а не дословный перевод. Вежливость и формальность могут зависеть от отношений между собеседниками. Короткая реплика может иметь разный смысл в зависимости от предыдущего вопроса.
LLM могут использовать окружающую информацию, чтобы устранить такую неоднозначность. Кроме того, они могут следовать инструкциям по терминологии, стилю письма и целевой аудитории.
Именно эта гибкость — одна из причин, по которым большие языковые модели общего назначения становятся всё более полезными для перевода.
Добавление контекста и инструкций сократило число ошибок на 31,5%
В бенчмарк вошёл отдельный эксперимент, посвящённый влиянию дополнительной информации на качество перевода.
Исследователи проверили Gemma 4 E4B QAT Q4 в двух условиях: перевод предложения без контекста и перевод с дополнительными инструкциями и полной историей диалога.
| Конфигурация | Средний штрафной балл за ошибки |
|---|---|
| Только предложение | 2.118 |
| Инструкции + история диалога | 1.452 |
Во втором случае средний штрафной балл за ошибки оказался на 31,5% ниже.
В 642 парных оценках конфигурация с контекстом и инструкциями улучшила 236 переводов, ухудшила 134, а в 272 случаях оценки остались одинаковыми.
Улучшение наблюдалось и тогда, когда требовался предыдущий контекст, и тогда, когда модели нужно было распознать, что прежняя информация не относится к делу.
Важно учитывать ограничение эксперимента: одновременно менялись и инструкции, и история диалога. Поэтому он измеряет их совокупный эффект, а не позволяет отдельно оценить пользу одного лишь контекста.
Тем не менее результаты показывают, что качество перевода может заметно меняться, даже если сама модель ИИ остаётся неизменной.
Полный эксперимент с контекстом.
Значит ли это, что LLM всегда лучше переводят?
Нет. Бенчмарк был посвящён конкретному типу перевода: корейским диалогам, для понимания которых необходим контекст.
Его выводы не обязательно применимы ко всем языковым парам, тематикам и типам документов.
Кроме того, оценку проводил автоматизированный ИИ-судья, а не профессиональные переводчики. Такой подход позволяет практически оценивать большие объёмы данных, но автоматические оценки могут быть предвзятыми и не учитывать все аспекты качества перевода.
Следует учесть и то, что коммерческие сервисы перевода продолжают развиваться.
DeepL разработала собственные LLM, специализированные на переводе, а Google представила улучшения Google Переводчика на базе Gemini. Кроме того, Google Cloud предлагает специализированные модели перевода помимо Basic API, который тестировался в этом бенчмарке.
Иными словами, различие между LLM общего назначения и специализированными сервисами перевода становится всё менее чётким.
Разные модели могут лучше справляться с разными языковыми парами, техническими темами или задачами перевода. При этом точность — лишь один из критериев: в зависимости от задачи не менее важными могут быть скорость, стоимость и стабильность результатов.
Вместо того чтобы объявлять одну систему перевода безусловно лучшей, бенчмарк показывает, насколько конкурентоспособными стали LLM общего назначения.
Что это значит для сервисов перевода на базе ИИ
По мере совершенствования моделей общего назначения у сервисов перевода появляется больше возможностей, чем просто полагаться на один собственный движок перевода.
Вместо этого сервис может предоставлять доступ к моделям разных разработчиков, выбирая или рекомендуя подходящие варианты для конкретной задачи.
Именно такой подход мы применяем в Lexibird.
Lexibird предоставляет доступ к различным языковым моделям от разных поставщиков ИИ. Пользователи могут выбрать модель самостоятельно или воспользоваться автоматическим режимом для повседневного перевода.
Мы регулярно оцениваем доступные модели по трём критериям:
- Точность: насколько хорошо модель сохраняет смысл, контекст, тон и терминологию.
- Скорость: как быстро она выдаёт перевод, особенно для повседневных задач.
- Стоимость: оправдывает ли улучшение качества дополнительные расходы на обработку.
Между этими факторами приходится искать баланс. Более мощная модель может дать лучший результат на сложном тексте, но отвечать медленнее или обходиться дороже. Для несложного перевода может быть достаточно небольшой модели.
Наша цель — продолжать расширять доступные варианты по мере появления новых моделей, а не считать, что одна модель навсегда останется лучшим выбором.
Lexibird также поддерживает глоссарии перевода, настройку тона и перевод документов, изображений и аудио. Эти функции помогают адаптировать переводы к конкретным требованиям.
Сам Lexibird в корейском бенчмарке не оценивался, поэтому опубликованные баллы не следует считать показателями качества перевода Lexibird.
Лучшая модель перевода может быстро уступить первое место
Самый интересный вывод бенчмарка — не обязательно первое место GPT-6 Luna. Важнее то, что несколько больших языковых моделей общего назначения показали сильные результаты в сравнении со специализированными сервисами перевода.
Результаты демонстрируют, насколько изменился машинный перевод. Модели, созданные для общего понимания языка, теперь справляются с задачами, требующими интерпретации контекста, восстановления пропущенной информации и сохранения смысла диалога.
В то же время относительные показатели моделей могут быстро меняться. Новые версии способны улучшить качество перевода, сократить время ответа или снизить затраты.
Для сервисов перевода и их пользователей это означает, что гибкость может быть ценнее приверженности одной модели.
Бенчмарк представляет собой полезный срез состояния ИИ-перевода в 2026 году, но конкуренция между моделями общего назначения и специализированными моделями перевода ещё далека от завершения.
