Genel amaçlı büyük dil modelleri (LLM’ler), özel makine çevirisi hizmetleriyle giderek daha fazla rekabet ediyor. GitHub’da yayımlanan Eylül 2026 tarihli bir kıyaslama buna ilginç bir örnek sunuyor: GPT-6 Luna, Gemma 4 ve DeepSeek V4 Flash, DeepL API ve Google Cloud Translation Basic’ten daha düşük çeviri hata puanları elde etti.
GPT-6 Luna ilk sırada yer alırken onu birkaç başka genel amaçlı dil modeli izledi. Sonuçlar, geniş bir görev yelpazesi için geliştirilen modellerin özellikle konuşma bağlamının önemli olduğu durumlarda çeviride de olağanüstü performans gösterebildiğine işaret ediyor.
Burada önemli bir ayrım var: Kıyaslamada tüketicilere yönelik Google Translate uygulaması değil, Google Cloud Translation Basic değerlendirildi. Google Translate’e ek olarak Gemini destekli çeviri özellikleri de eklendi.
Kıyaslama Neleri Test Etti?
Korece Çok Turlu Bağlam Çevirisi Kıyaslaması, 15 çeviri sistemini; konuşma dilindeki Koreceyi İngilizceye, Japoncaya ve Basitleştirilmiş Çinceye çevirme becerilerine göre karşılaştırdı.
Veri kümesinde 216 Korece konuşma örneği yer aldı ve sistem başına en fazla 648 çeviri üretildi.
Testler, bağlam olmadan çevrilmesi zor olabilen dil özelliklerine odaklandı:
- Atlanan bilgiler: Korecede, önceki cümlelerden anlaşılan özne ve nesneler çoğu zaman söylenmez.
- Belirsiz göndermeler: Sözcük ve ifadeler, daha önce bahsedilen kişilere veya nesnelere gönderme yapabilir.
- Üslup ve nezaket: Çevirilerde resmiyet ve konuşmacılar arasındaki ilişkiler dikkate alınmalıdır.
- Konuşma niyeti: Kısa yanıtlar, ima edilen anlamlar ve tamamlanmamış cümleler çoğu zaman önceki mesajlara bağlıdır.
- İlgisiz bağlam: Bir çeviri sistemi, önceki bilgilerin ne zaman göz ardı edilmesi gerektiğini de belirlemelidir.
Çeviri kalitesi, GEMBA-MQM tabanlı bir yöntemle değerlendirildi. Otomatik bir yapay zekâ değerlendiricisi hataları belirleyip önem derecelerine göre ceza puanları verdi.
Ortalama ceza puanının düşük olması, bu değerlendirmede daha az sayıda veya daha az ciddi hata yapıldığı anlamına gelir.
Çeviri Kıyaslaması Sonuçları
Eylül 2026’da yapılan karşılaştırmada, seçili metin tabanlı sistemler şu sonuçları elde etti:
| Çeviri sistemi | Ortalama hata cezası |
|---|---|
| GPT-6 Luna | 0,130 |
| Gemma 4 31B | 0,353 |
| Gemma 4 26B | 0,387 |
| DeepSeek V4 Flash | 0,571 |
| Gemma 4 12B QAT Q4 | 0,855 |
| Gemma 4 E4B fp16 | 1,353 |
| Papago Web | 2,699 |
| DeepL API | 3,914 |
| Google Cloud Translation Basic | 5,731 |
Kaynak: 15 Sistemli Bütünleşik Karşılaştırma, Eylül 2026. Düşük puan daha iyidir. DeepL için 642 geçerli değerlendirme, listelenen diğer sistemler için 648 değerlendirme yapıldı. Tam karşılaştırmada, tutarlılık amacıyla burada yer verilmeyen konuşma çevirisi sistemleri de bulunuyordu.
GPT-6 Luna, 0,130 ile en düşük ortalama hata cezasını aldı. Gemma 4 31B ve Gemma 4 26B, sırasıyla 0,353 ve 0,387 puanla onu izlerken DeepSeek V4 Flash 0,571 puan aldı.
Ticari çeviri hizmetleri bu veri kümesinde daha düşük performans gösterdi. Papago 2,699, DeepL API 3,914 ve Google Cloud Translation Basic 5,731 puan aldı.
Dikkat çekici bulgulardan biri de görece küçük modellerden bazılarının iyi performans göstermesiydi. Örneğin Gemma 4 12B QAT Q4, 0,855 ortalama ceza puanına ulaştı.
Bu sonuçlar ilgi çekici; çünkü GPT-6 Luna, Gemma ve DeepSeek, özel çeviri ürünleri değil, genel amaçlı dil modelleridir. Yazma, akıl yürütme, kodlama ve analiz dâhil pek çok farklı görevi yerine getirecek şekilde tasarlanmışlardır.
Bununla birlikte, karşılaştırma tam anlamıyla eşdeğer koşullarda yapılmadı. LLM yapılandırmaları önceki konuşma turlarından yararlanabilirken ticari çeviri hizmetleri bu geçmiş olmadan değerlendirildi. Dolayısıyla sonuçlar, yalnızca temel model mimarilerinin performansını değil, test edilen çeviri iş akışlarının performansını yansıtıyor.
Çeviride Bağlam Neden Önemlidir?
Tek tek cümleleri doğru çevirmek, amaçlanan anlamın korunacağını her zaman garanti etmez.
Örneğin, birinin Korece bir konuşmada mağazadan sandalet ve terlik aldığından bahsettiğini düşünün. Bir sonraki cümlede, ürünlerin stokta olmadığını ve teslim edilmek zorunda kaldığını açıklasın.
Konuşmadan zaten anlaşıldığı için ikinci cümlede söz konusu nesneler belirtilmeyebilir.
Yalnızca bu cümleyi çeviren bir sistem, belirsiz bir sonuç üretebilir. Önceki mesaja erişimi olan bir model, eksik göndermeleri belirleyebilir.
Benzer zorluklar birçok dilde görülür.
Deyimler ve günlük ifadeler, kelimesi kelimesine çeviri yerine yorumlama gerektirebilir. Nezaket ve resmiyet, konuşmacılar arasındaki ilişkiye bağlı olabilir. Kısa bir yanıtın anlamı, önceki soruya göre değişebilir.
LLM’ler bu belirsizlikleri gidermek için çevredeki bilgilerden yararlanabilir. Ayrıca terminoloji, yazım üslubu ve hedef kitleyle ilgili talimatları da izleyebilirler.
Genel amaçlı dil modellerinin çeviri için giderek daha yararlı hâle gelmesinin nedenlerinden biri de bu esnekliktir.
Bağlam ve Talimatlar Hataları %31,5 Azalttı
Kıyaslamada, ek bilgilerin çeviri kalitesini nasıl etkilediğini inceleyen ayrı bir deney de yer aldı.
Araştırmacılar Gemma 4 E4B QAT Q4 modelini iki koşulda test etti: Bir cümleyi tek başına çevirmek ve ek talimatlar ile konuşma geçmişinin tamamını kullanarak çevirmek.
| Yapılandırma | Ortalama hata cezası |
|---|---|
| Yalnızca cümle | 2,118 |
| Talimatlar + konuşma geçmişi | 1,452 |
İkinci yapılandırmada ortalama hata cezası %31,5 daha düşük oldu.
Eşleştirilmiş 642 değerlendirmede, bağlam ve talimatların kullanıldığı yapılandırma 236 çeviriyi iyileştirdi, 134’ünü kötüleştirdi ve 272 çeviride eşdeğer puanlar aldı.
İyileşme hem önceki bağlamın gerekli olduğu hem de modelin önceki bilgilerin ilgisiz olduğunu anlaması gereken durumlarda gözlemlendi.
Önemli bir kısıtlama şu: Deneyde hem talimatlar hem de konuşma geçmişi değiştirildi. Dolayısıyla yalnızca bağlamın faydasını yalıtmak yerine bu iki unsurun birleşik etkisi ölçüldü.
Yine de sonuçlar, temel yapay zekâ modeli değişmeden kalsa bile çeviri kalitesinin önemli ölçüde değişebileceğini gösteriyor.
Bağlam deneyinin tamamını okuyun.
Bu, LLM’lerin Çeviride Her Zaman Daha İyi Olduğu Anlamına mı Geliyor?
Hayır. Kıyaslama, belirli bir çeviri türüne odaklandı: Bağlamın anlaşılmasını gerektiren Korece konuşmalar.
Bulguların her dil çifti, konu veya belge türü için geçerli olacağı söylenemez.
Değerlendirmede profesyonel insan çevirmenler yerine otomatik bir yapay zekâ değerlendiricisi kullanıldı. Bu yöntem büyük ölçekli karşılaştırmaları uygulanabilir kılsa da otomatik değerlendirmeler yanlılık içerebilir ve çeviri kalitesinin her yönünü kapsamayabilir.
Bir başka nokta da ticari çeviri hizmetlerinin gelişmeye devam etmesidir.
DeepL kendi çeviri konusunda uzmanlaşmış LLM’lerini geliştirirken Google, Google Translate’e Gemini destekli iyileştirmeler getirdi. Google Cloud ayrıca bu kıyaslamada test edilen Basic API’nin ötesinde özel çeviri modelleri de sunuyor.
Başka bir deyişle, genel amaçlı LLM’lerle özel çeviri hizmetleri arasındaki ayrım giderek belirsizleşiyor.
Farklı modeller, farklı dil çiftlerinde, teknik konularda veya çeviri görevlerinde daha iyi performans gösterebilir. Ayrıca doğruluk tek ölçüt değildir: Kullanım amacına bağlı olarak hız, maliyet ve tutarlılık da aynı derecede önemli olabilir.
Kıyaslama, evrensel olarak en üstün çeviri sistemini belirlemekten ziyade genel amaçlı LLM’lerin ne kadar rekabetçi hâle geldiğini gösteriyor.
Bu, Yapay Zekâ Çeviri Hizmetleri İçin Ne Anlama Geliyor?
Genel amaçlı modeller geliştikçe çeviri hizmetlerinin, yalnızca tek bir tescilli çeviri motoruna bağlı kalmak dışında daha fazla seçeneği oluyor.
Bunun yerine bir hizmet, farklı geliştiricilerin modellerine erişim sağlayıp göreve göre farklı seçenekleri belirleyebilir veya önerebilir.
Lexibird olarak izlediğimiz yaklaşım budur.
Lexibird, farklı yapay zekâ sağlayıcılarının çeşitli dil modellerine erişim sunar. Kullanıcılar bir modeli kendileri seçebilir ya da günlük çeviriler için otomatik seçeneği kullanabilir.
Mevcut modelleri düzenli olarak şu üç ölçütü göz önünde bulundurarak değerlendiriyoruz:
- Doğruluk: Bir model anlamı, bağlamı, üslubu ve terminolojiyi ne ölçüde koruyor?
- Hız: Özellikle günlük görevlerde çevirileri ne kadar hızlı üretiyor?
- Maliyet: Kalitedeki iyileşme, ek işlem maliyetini karşılamaya değer mi?
Bu faktörler arasında ödünleşimler vardır. Daha yetenekli bir model, zor metinlerde daha iyi sonuçlar verebilir; ancak daha yavaş yanıt verebilir veya çalıştırma maliyeti daha yüksek olabilir. Daha küçük bir model, basit çeviriler için yeterli olabilir.
Amacımız, tek bir modelin süresiz olarak en iyi seçenek kalacağını varsaymak yerine yeni modeller çıktıkça sunulan seçenekleri geliştirmeyi sürdürmektir.
Lexibird ayrıca çeviri sözlüklerini, üslup özelleştirmesini ve belge, görsel ve ses çevirisini destekler. Bu özellikler, kullanıcıların çevirileri belirli gereksinimlere göre uyarlamasına yardımcı olur.
Lexibird, Korece kıyaslamasında değerlendirilmedi; bu nedenle yayımlanan puanlar Lexibird’in çeviri performansının ölçümü olarak yorumlanmamalıdır.
En İyi Çeviri Modeli Uzun Süre En İyisi Kalmayabilir
Bu kıyaslamanın en ilginç bulgusu, GPT-6 Luna’nın birinci olması olmak zorunda değil. Genel amaçlı dil modellerinden birkaçının özel çeviri hizmetlerine karşı gösterdiği güçlü performans da en az bunun kadar dikkat çekici.
Sonuçlar, makine çevirisinin ne kadar değiştiğini ortaya koyuyor. Genel dil anlama için geliştirilen modeller artık bağlamı yorumlamayı, atlanan bilgileri çıkarsamayı ve konuşma niyetini korumayı gerektiren çeviri görevlerinin üstesinden gelebiliyor.
Bununla birlikte modellerin göreli performansı hızla değişebilir. Yeni sürümler çeviri kalitesini artırabilir, yanıt sürelerini kısaltabilir veya maliyetleri düşürebilir.
Çeviri hizmetleri ve kullanıcıları açısından bu, tek bir çeviri modeline bağlanmaktansa esnekliğin daha değerli olabileceğini gösteriyor.
Bu kıyaslama, 2026’da yapay zekâ çevirisinin durumuna dair yararlı bir anlık görüntü sunuyor; ancak genel amaçlı ve özel çeviri modelleri arasındaki daha geniş rekabet henüz sonuçlanmış değil.
