범용 대규모 언어 모델(LLM)은 전용 기계 번역 서비스와의 경쟁에서 점점 더 좋은 성과를 내고 있습니다. 2026년 9월 GitHub에 공개된 벤치마크는 흥미로운 사례를 보여 줍니다. GPT-6 Luna, Gemma 4, DeepSeek V4 Flash가 모두 DeepL API와 Google Cloud Translation Basic보다 낮은 번역 오류 점수를 기록했습니다.
GPT-6 Luna가 1위를 차지했고, 그 뒤를 여러 범용 언어 모델이 이었습니다. 이 결과는 다양한 작업을 위해 개발된 모델도 번역에서 탁월한 성능을 발휘할 수 있으며, 특히 대화 맥락이 중요한 경우에 그렇다는 점을 시사합니다.
다만 중요한 차이가 하나 있습니다. 이 벤치마크는 일반 사용자가 쓰는 Google 번역 앱이 아니라 Google Cloud Translation Basic을 평가했습니다. Google 번역 앱에는 Gemini 기반 번역 기능이 추가로 적용되어 있습니다.
벤치마크에서는 무엇을 테스트했나요?
*한국어 다중 턴 맥락 번역 벤치마크(Korean Multi-turn Context Translation Benchmark)*는 한국어 대화를 영어, 일본어, 중국어 간체로 번역하는 능력을 기준으로 15개 번역 시스템을 비교했습니다.
데이터 세트에는 한국어 대화 예시 216개가 포함되었으며, 시스템마다 최대 648개의 번역 결과가 생성되었습니다.
테스트는 맥락 없이 번역하기 어려울 수 있는 언어적 요소에 초점을 맞췄습니다.
- 생략된 정보: 한국어에서는 앞선 문장에서 이미 알 수 있는 주어와 목적어를 자주 생략합니다.
- 모호한 지시 대상: 단어나 표현이 앞서 언급된 사람이나 사물을 가리킬 수 있습니다.
- 말투와 높임 표현: 번역 시 격식의 정도와 화자 간 관계를 고려해야 합니다.
- 대화 의도: 짧은 답변, 함축된 의미, 불완전한 문장은 앞선 대화에 따라 뜻이 달라지는 경우가 많습니다.
- 불필요한 맥락: 번역 시스템은 앞선 정보 가운데 무시해야 할 내용을 알아보는 능력도 필요합니다.
번역 품질은 GEMBA-MQM을 기반으로 한 방법론으로 평가했습니다. 자동화된 AI 평가자가 오류를 찾아내고 심각도에 따라 감점을 부여했습니다.
평균 감점이 낮을수록 이 평가에서 오류가 적거나 덜 심각하다는 뜻입니다.
번역 벤치마크 결과
2026년 9월 비교에서 선정된 텍스트 기반 시스템의 결과는 다음과 같습니다.
| 번역 시스템 | 평균 오류 감점 |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
출처: 15개 시스템 통합 비교, 2026년 9월. 낮을수록 좋습니다. DeepL은 유효 평가 642건을 기록했고, 나머지 표기된 시스템은 648건을 기록했습니다. 전체 비교에는 음성 번역 시스템도 포함되었지만, 일관성을 위해 여기서는 생략했습니다.
GPT-6 Luna가 평균 오류 감점 0.130으로 가장 낮은 점수를 기록했습니다. Gemma 4 31B와 Gemma 4 26B가 각각 0.353과 0.387로 뒤를 이었고, DeepSeek V4 Flash는 0.571을 기록했습니다.
이번 데이터 세트에서는 상용 번역 서비스의 성적이 상대적으로 낮았습니다. Papago는 2.699, DeepL API는 3.914, Google Cloud Translation Basic은 5.731을 기록했습니다.
비교적 작은 모델 여러 개도 좋은 성능을 보였다는 점이 눈에 띕니다. 예를 들어 Gemma 4 12B QAT Q4는 평균 감점 0.855를 기록했습니다.
이 결과가 흥미로운 이유는 GPT-6 Luna, Gemma, DeepSeek가 전용 번역 제품이 아니라 범용 언어 모델이기 때문입니다. 이 모델들은 글쓰기, 추론, 코딩, 분석 등 다양한 작업을 처리하도록 설계되었습니다.
다만 완전히 동일한 조건의 비교는 아닙니다. LLM 구성은 앞선 대화 내용을 사용할 수 있었지만, 상용 번역 서비스는 대화 기록 없이 평가되었습니다. 따라서 결과는 단순히 모델 아키텍처 자체가 아니라, 테스트한 번역 워크플로의 성능을 반영합니다.
번역에서 맥락이 중요한 이유
개별 문장을 정확하게 번역한다고 해서 의도된 의미까지 항상 보존되는 것은 아닙니다.
예를 들어, 누군가 가게에서 샌들과 슬리퍼를 샀다는 한국어 대화를 상상해 보세요. 이어지는 문장에서 그 물건들이 품절이라 배송받아야 했다고 설명합니다.
대화에서 이미 무엇을 말하는지 알 수 있기 때문에 두 번째 문장에서는 대상이 생략될 수 있습니다.
그 문장만 번역하는 시스템은 모호한 결과를 낼 수 있습니다. 앞선 메시지에 접근할 수 있는 모델은 생략된 대상을 파악할 수 있습니다.
비슷한 어려움은 여러 언어에서 나타납니다.
관용구와 비격식 표현은 직역보다 해석이 필요할 수 있습니다. 공손함과 격식의 정도는 화자 간 관계에 따라 달라집니다. 짧은 답변도 앞서 나온 질문에 따라 의미가 달라질 수 있습니다.
LLM은 주변 정보를 활용해 이런 모호성을 해소할 수 있습니다. 용어, 문체, 대상 독자에 관한 지시도 따를 수 있습니다.
이러한 유연성은 범용 언어 모델이 번역에 점점 더 유용해진 이유 중 하나입니다.
맥락과 지시를 추가하자 오류가 31.5% 감소
벤치마크에는 추가 정보가 번역 품질에 미치는 영향을 살펴보는 별도의 실험도 포함되었습니다.
연구진은 Gemma 4 E4B QAT Q4를 두 가지 조건에서 테스트했습니다. 하나는 문장만 단독으로 번역하는 조건이고, 다른 하나는 추가 지시와 전체 대화 기록을 제공하는 조건이었습니다.
| 구성 | 평균 오류 감점 |
|---|---|
| 문장만 제공 | 2.118 |
| 지시 + 대화 기록 | 1.452 |
두 번째 구성에서는 평균 오류 감점이 31.5% 낮았습니다.
짝지어진 평가 642건 가운데 맥락과 지시를 제공한 구성은 번역 236건에서 개선되었고, 134건에서는 악화되었으며, 272건에서는 점수가 같았습니다.
앞선 맥락이 필요한 경우뿐 아니라 이전 정보가 불필요하다는 점을 모델이 알아내야 하는 경우에도 성능 향상이 나타났습니다.
중요한 한계는 이 실험에서 지시와 대화 기록을 모두 변경했다는 점입니다. 따라서 맥락 자체의 효과만 분리한 것이 아니라 두 요소의 결합 효과를 측정했습니다.
그럼에도 이 결과는 기반 AI 모델이 그대로여도 번역 품질이 상당히 달라질 수 있음을 보여 줍니다.
LLM이 번역에서 항상 더 낫다는 뜻인가요?
아닙니다. 이 벤치마크는 맥락 이해가 필요한 한국어 대화 번역이라는 특정 유형에 초점을 맞췄습니다.
그 결과가 모든 언어 쌍, 주제, 문서 유형에도 적용된다고 볼 수는 없습니다.
또한 평가는 전문 번역가가 아니라 자동화된 AI 심사자를 사용했습니다. 이를 통해 대규모 비교를 실용적으로 수행할 수 있지만, 자동 평가에는 편향이 개입할 수 있고 번역 품질의 모든 측면을 포착하지 못할 수도 있습니다.
상용 번역 서비스가 계속 발전하고 있다는 점도 고려해야 합니다.
DeepL은 자체 번역 특화 LLM을 개발했고, Google은 Gemini 기반 Google 번역 개선 기능을 선보였습니다. Google Cloud도 이번 벤치마크에서 테스트한 Basic API 외에 전용 번역 모델을 제공합니다.
다시 말해 범용 LLM과 특화 번역 서비스의 경계가 점점 흐려지고 있습니다.
언어 쌍, 기술 분야, 번역 작업에 따라 더 나은 성능을 내는 모델은 달라질 수 있습니다. 정확도만이 고려 사항인 것도 아닙니다. 사용 사례에 따라 속도, 비용, 일관성도 똑같이 중요할 수 있습니다.
이 벤치마크는 어느 한 번역 시스템이 보편적으로 우수하다고 결론 내리기보다, 범용 LLM의 경쟁력이 얼마나 높아졌는지를 보여 줍니다.
AI 번역 서비스에 주는 시사점
범용 모델이 발전하면서 번역 서비스는 하나의 독점 번역 엔진에만 의존하지 않는 선택지를 갖게 되었습니다.
대신 여러 개발사의 모델을 제공하고, 작업에 따라 서로 다른 옵션을 선택하거나 추천할 수 있습니다.
Lexibird는 이런 접근 방식을 취합니다.
Lexibird는 여러 AI 제공업체의 다양한 언어 모델을 이용할 수 있도록 합니다. 사용자는 직접 모델을 선택하거나 일상적인 번역을 위한 자동 옵션을 사용할 수 있습니다.
저희는 다음 세 가지를 고려해 이용 가능한 모델을 정기적으로 평가합니다.
- 정확도: 모델이 의미, 맥락, 말투, 용어를 얼마나 잘 보존하는가.
- 속도: 특히 일상적인 작업에서 번역 결과를 얼마나 빠르게 생성하는가.
- 비용: 품질 개선이 추가 처리 비용을 정당화하는가.
이 요소들 사이에는 상충 관계가 있습니다. 성능이 더 뛰어난 모델은 어려운 텍스트에서 더 나은 결과를 내지만 응답이 느리거나 실행 비용이 더 높을 수 있습니다. 간단한 번역에는 더 작은 모델로 충분할 수 있습니다.
저희의 목표는 한 모델이 영원히 최선의 선택으로 남을 것이라고 가정하는 대신, 새로운 모델이 등장할 때마다 이용 가능한 옵션을 계속 개선하는 것입니다.
Lexibird는 번역 용어집, 말투 맞춤 설정, 문서·이미지·오디오 번역도 지원합니다. 이러한 기능을 통해 사용자는 특정 요구 사항에 맞게 번역을 조정할 수 있습니다.
Lexibird 자체는 한국어 벤치마크에서 평가되지 않았으므로, 공개된 점수를 Lexibird의 번역 성능 측정치로 해석해서는 안 됩니다.
최고의 번역 모델도 오래도록 최고는 아닐 수 있습니다
이 벤치마크에서 가장 흥미로운 점은 반드시 GPT-6 Luna가 1위를 차지했다는 사실만은 아닙니다. 여러 범용 언어 모델이 전용 번역 서비스와 비교해 강한 성능을 보였다는 점도 중요합니다.
이 결과는 기계 번역이 얼마나 달라졌는지 보여 줍니다. 일반적인 언어 이해를 위해 개발된 모델이 이제는 맥락을 해석하고, 생략된 정보를 복원하고, 대화의 의도를 보존해야 하는 번역 작업도 처리할 수 있습니다.
동시에 모델 간 상대적인 성능은 빠르게 바뀔 수 있습니다. 새 모델이 나오면 번역 품질이 향상되고, 응답 시간이 줄거나 비용이 낮아질 수 있습니다.
번역 서비스와 사용자에게 이는 하나의 번역 모델에 고정하기보다 유연성을 확보하는 편이 더 가치 있을 수 있음을 시사합니다.
이 벤치마크는 2026년 AI 번역 현황을 보여 주는 유용한 단면이지만, 범용 모델과 특화 번역 모델 간의 더 큰 경쟁은 아직 끝나지 않았습니다.
