Model bahasa besar (LLM) serba guna semakin mampu bersaing dengan perkhidmatan terjemahan mesin khusus. Satu penanda aras yang diterbitkan di GitHub pada September 2026 memberikan contoh yang menarik: GPT-6 Luna, Gemma 4 dan DeepSeek V4 Flash semuanya memperoleh skor ralat terjemahan yang lebih rendah berbanding DeepL API dan Google Cloud Translation Basic.
GPT-6 Luna menduduki tempat pertama, diikuti beberapa model bahasa serba guna yang lain. Hasilnya menunjukkan bahawa model yang dibangunkan untuk pelbagai tugasan juga boleh menghasilkan terjemahan yang sangat baik, khususnya apabila konteks perbualan penting.
Namun, terdapat satu perbezaan penting: penanda aras ini menilai Google Cloud Translation Basic, bukannya aplikasi Google Translate untuk pengguna, yang telah dilengkapi dengan keupayaan terjemahan tambahan berasaskan Gemini.
Apakah yang Diuji dalam Penanda Aras Ini?
Penanda Aras Terjemahan Konteks Perbualan Berbilang Giliran Bahasa Korea membandingkan 15 sistem terjemahan berdasarkan keupayaan mereka menterjemahkan perbualan dalam bahasa Korea ke bahasa Inggeris, Jepun dan Cina Ringkas.
Set data tersebut mengandungi 216 contoh perbualan bahasa Korea, yang menghasilkan sehingga 648 terjemahan bagi setiap sistem.
Ujian ini memfokuskan pada aspek bahasa yang sukar diterjemahkan tanpa konteks:
- Maklumat yang digugurkan: Bahasa Korea kerap menggugurkan subjek dan objek yang dapat difahami daripada ayat sebelumnya.
- Rujukan yang samar: Perkataan dan ungkapan mungkin merujuk kepada orang atau objek yang telah disebut lebih awal.
- Nada dan kesantunan: Terjemahan perlu mengambil kira tahap formaliti dan hubungan antara penutur.
- Niat dalam perbualan: Jawapan ringkas, maksud tersirat dan ayat yang tidak lengkap sering bergantung pada mesej sebelumnya.
- Konteks yang tidak relevan: Sistem terjemahan juga perlu mengenal pasti apabila maklumat terdahulu patut diketepikan.
Kualiti terjemahan dinilai menggunakan metodologi berasaskan GEMBA-MQM. Penilai AI automatik mengenal pasti kesilapan dan mengenakan penalti mengikut tahap keterukannya.
Purata penalti yang lebih rendah menunjukkan lebih sedikit kesilapan atau kesilapan yang kurang serius berdasarkan penilaian ini.
Keputusan Penanda Aras Terjemahan
Perbandingan pada September 2026 menghasilkan keputusan berikut untuk sistem berasaskan teks terpilih:
| Sistem terjemahan | Purata penalti ralat |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
Sumber: Perbandingan Bersepadu 15 Sistem, September 2026. Lebih rendah adalah lebih baik. DeepL mempunyai 642 penilaian sah; sistem lain yang disenaraikan mempunyai 648. Perbandingan penuh turut merangkumi sistem terjemahan pertuturan, yang tidak disertakan di sini demi keseragaman.
GPT-6 Luna mencatat purata penalti ralat terendah, iaitu 0.130. Gemma 4 31B dan Gemma 4 26B menyusul dengan skor masing-masing 0.353 dan 0.387, manakala DeepSeek V4 Flash memperoleh skor 0.571.
Perkhidmatan terjemahan komersial menunjukkan prestasi yang lebih rendah pada set data khusus ini. Papago memperoleh skor 2.699, DeepL API 3.914 dan Google Cloud Translation Basic 5.731.
Satu lagi dapatan yang menarik ialah beberapa model yang agak kecil juga menunjukkan prestasi yang baik. Contohnya, Gemma 4 12B QAT Q4 memperoleh purata penalti sebanyak 0.855.
Keputusan ini menarik kerana GPT-6 Luna, Gemma dan DeepSeek ialah model bahasa serba guna, bukannya produk terjemahan khusus. Model-model ini direka untuk mengendalikan pelbagai tugasan, termasuk penulisan, penaakulan, pengekodan dan analisis.
Namun begitu, perbandingan ini tidak sepenuhnya setara. Konfigurasi LLM boleh menggunakan giliran perbualan sebelumnya, manakala perkhidmatan terjemahan komersial dinilai tanpa sejarah tersebut. Oleh itu, keputusan ini mencerminkan prestasi aliran kerja terjemahan yang diuji, bukannya seni bina model yang mendasarinya semata-mata.
Mengapa Konteks Penting dalam Terjemahan
Menterjemahkan ayat secara berasingan dengan tepat tidak semestinya mengekalkan maksud yang ingin disampaikan.
Sebagai contoh, bayangkan satu perbualan dalam bahasa Korea yang menyebut tentang seseorang membeli sandal dan selipar di sebuah kedai. Dalam ayat berikutnya, orang itu menjelaskan bahawa barang-barang tersebut kehabisan stok dan terpaksa dihantar.
Ayat kedua mungkin menggugurkan objek yang dibincangkan kerana perkara itu sudah difahami daripada perbualan.
Sistem yang hanya menterjemahkan ayat tersebut mungkin menghasilkan terjemahan yang samar. Model yang mempunyai akses kepada mesej sebelumnya boleh mengenal pasti rujukan yang tertinggal itu.
Cabaran serupa wujud dalam banyak bahasa.
Idiom dan ungkapan tidak formal mungkin memerlukan tafsiran, bukannya terjemahan secara harfiah. Kesantunan dan formaliti boleh bergantung pada hubungan antara penutur. Jawapan ringkas juga boleh membawa maksud yang berbeza bergantung pada soalan sebelumnya.
LLM boleh menggunakan maklumat sekeliling untuk menyelesaikan kekaburan ini. LLM juga boleh mengikuti arahan tentang istilah, gaya penulisan dan khalayak sasaran.
Fleksibiliti ini ialah salah satu sebab model bahasa serba guna semakin berguna untuk terjemahan.
Menambah Konteks dan Arahan Mengurangkan Ralat sebanyak 31.5%
Penanda aras ini merangkumi eksperimen berasingan yang meneliti kesan maklumat tambahan terhadap kualiti terjemahan.
Penyelidik menguji Gemma 4 E4B QAT Q4 dalam dua keadaan: menterjemahkan ayat secara bersendirian, dan menterjemahkannya dengan arahan tambahan serta sejarah perbualan penuh.
| Konfigurasi | Purata penalti ralat |
|---|---|
| Ayat sahaja | 2.118 |
| Arahan + sejarah perbualan | 1.452 |
Konfigurasi kedua mencapai purata penalti ralat 31.5% lebih rendah.
Daripada 642 penilaian berpasangan, konfigurasi dengan konteks dan arahan meningkatkan mutu 236 terjemahan, menurunkan mutu 134 terjemahan dan memperoleh skor setara bagi 272 terjemahan.
Peningkatan diperhatikan sama ada apabila konteks terdahulu diperlukan mahupun apabila model perlu mengenal pasti bahawa maklumat sebelumnya tidak relevan.
Satu batasan penting ialah eksperimen itu mengubah arahan dan sejarah perbualan secara serentak. Oleh itu, eksperimen tersebut mengukur kesan gabungan kedua-duanya, bukannya mengasingkan manfaat konteks sahaja.
Walau bagaimanapun, hasilnya menunjukkan bahawa kualiti terjemahan boleh berubah dengan ketara walaupun model AI yang mendasarinya tidak berubah.
Baca eksperimen konteks penuh.
Adakah Ini Bermakna LLM Sentiasa Lebih Baik untuk Terjemahan?
Tidak. Penanda aras ini memfokuskan pada jenis terjemahan tertentu: perbualan bahasa Korea yang memerlukan pemahaman konteks.
Dapatan ini tidak semestinya terpakai kepada semua pasangan bahasa, bidang atau jenis dokumen.
Penilaian ini juga menggunakan pengadil AI automatik dan bukannya penterjemah manusia profesional. Walaupun kaedah ini menjadikan perbandingan berskala besar lebih praktikal, penilaian automatik boleh memperkenalkan bias dan mungkin tidak mengambil kira setiap aspek kualiti terjemahan.
Satu lagi perkara yang perlu dipertimbangkan ialah perkhidmatan terjemahan komersial terus berkembang.
DeepL telah membangunkan LLM khusus terjemahan tersendiri, manakala Google telah memperkenalkan penambahbaikan Google Translate berasaskan Gemini. Google Cloud juga menawarkan model terjemahan khusus selain API Basic yang diuji dalam penanda aras ini.
Dengan kata lain, perbezaan antara LLM serba guna dengan perkhidmatan terjemahan khusus semakin kabur.
Model yang berbeza mungkin menunjukkan prestasi lebih baik untuk pasangan bahasa, bidang teknikal atau tugasan terjemahan yang berbeza. Ketepatan juga bukan satu-satunya pertimbangan: kelajuan, kos dan konsistensi boleh sama pentingnya bergantung pada kegunaan.
Daripada mengenal pasti satu sistem terjemahan yang unggul dalam semua keadaan, penanda aras ini menunjukkan betapa kompetitifnya LLM serba guna.
Implikasi terhadap Perkhidmatan Terjemahan AI
Apabila model serba guna semakin baik, perkhidmatan terjemahan mempunyai lebih banyak pilihan daripada bergantung sepenuhnya pada satu enjin terjemahan proprietari.
Sebaliknya, sesuatu perkhidmatan boleh memberikan akses kepada model daripada pelbagai pembangun, kemudian memilih atau mengesyorkan pilihan yang berbeza mengikut tugasan.
Inilah pendekatan yang kami gunakan di Lexibird.
Lexibird menyediakan akses kepada pelbagai model bahasa daripada penyedia AI yang berbeza. Pengguna boleh memilih model sendiri atau menggunakan pilihan automatik untuk terjemahan harian.
Kami menilai model yang tersedia secara berkala dengan mengambil kira tiga perkara:
- Ketepatan: Sejauh mana model mengekalkan maksud, konteks, nada dan istilah.
- Kelajuan: Seberapa pantas model menghasilkan terjemahan, khususnya untuk tugasan harian.
- Kos: Sama ada peningkatan kualiti berbaloi dengan perbelanjaan pemprosesan tambahan.
Terdapat pertukaran antara faktor-faktor ini. Model yang lebih berkeupayaan mungkin menghasilkan keputusan lebih baik untuk teks yang sukar, tetapi mengambil masa lebih lama untuk memberikan respons atau menelan kos operasi yang lebih tinggi. Model yang lebih kecil mungkin memadai untuk terjemahan mudah.
Matlamat kami ialah terus menambah baik pilihan yang tersedia apabila model baharu muncul, bukannya menganggap satu model akan kekal sebagai pilihan terbaik selama-lamanya.
Lexibird juga menyokong glosari terjemahan, penyesuaian nada serta terjemahan dokumen, imej dan audio. Ciri-ciri ini membantu pengguna menyesuaikan terjemahan mengikut keperluan tertentu.
Lexibird sendiri tidak dinilai dalam penanda aras bahasa Korea ini. Oleh itu, skor yang diterbitkan tidak sepatutnya dianggap sebagai ukuran prestasi terjemahan Lexibird.
Model Terjemahan Terbaik Mungkin Tidak Kekal Terbaik Lama
Dapatan paling menarik daripada penanda aras ini mungkin bukan keputusan GPT-6 Luna yang menduduki tempat pertama. Sebaliknya, beberapa model bahasa serba guna menunjukkan prestasi yang kukuh berbanding perkhidmatan terjemahan khusus.
Hasilnya menggambarkan betapa banyaknya perubahan yang berlaku dalam terjemahan mesin. Model yang dibangunkan untuk pemahaman bahasa umum kini mampu mengendalikan tugasan terjemahan yang memerlukan tafsiran konteks, pemulihan maklumat yang digugurkan dan pengekalan maksud perbualan.
Pada masa yang sama, prestasi relatif model boleh berubah dengan pantas. Keluaran baharu mungkin meningkatkan kualiti terjemahan, memendekkan masa respons atau mengurangkan kos.
Bagi perkhidmatan terjemahan dan penggunanya, hal ini menunjukkan bahawa fleksibiliti mungkin lebih bernilai daripada terikat pada satu model terjemahan sahaja.
Penanda aras ini memberikan gambaran berguna tentang keadaan terjemahan AI pada tahun 2026, tetapi persaingan yang lebih luas antara model serba guna dengan model terjemahan khusus masih jauh daripada selesai.
