Model bahasa besar (LLM) serbaguna semakin kompetitif dibandingkan layanan penerjemahan mesin khusus. Sebuah tolok ukur yang diterbitkan di GitHub pada September 2026 menawarkan contoh menarik: GPT-6 Luna, Gemma 4, dan DeepSeek V4 Flash semuanya memperoleh skor kesalahan terjemahan yang lebih rendah daripada DeepL API dan Google Cloud Translation Basic.
GPT-6 Luna menempati peringkat pertama, disusul beberapa model bahasa serbaguna lainnya. Hasil ini menunjukkan bahwa model yang dikembangkan untuk beragam tugas juga dapat menghasilkan terjemahan yang sangat baik, khususnya ketika konteks percakapan berperan penting.
Ada satu perbedaan penting: tolok ukur ini menguji Google Cloud Translation Basic, bukan aplikasi Google Translate yang ditujukan bagi konsumen, yang telah dilengkapi kemampuan terjemahan tambahan yang didukung Gemini.
Apa yang Diuji oleh Tolok Ukur Ini?
Tolok Ukur Terjemahan Kontekstual Percakapan Multi-giliran Bahasa Korea membandingkan 15 sistem penerjemahan berdasarkan kemampuan mereka menerjemahkan percakapan berbahasa Korea ke bahasa Inggris, Jepang, dan Mandarin Sederhana.
Kumpulan datanya mencakup 216 contoh percakapan bahasa Korea, menghasilkan hingga 648 terjemahan untuk setiap sistem.
Pengujian berfokus pada aspek bahasa yang sulit diterjemahkan tanpa konteks:
- Informasi yang dihilangkan: Bahasa Korea kerap tidak menyebutkan subjek dan objek yang sudah dipahami dari kalimat sebelumnya.
- Rujukan yang ambigu: Kata dan ungkapan mungkin merujuk pada orang atau benda yang disebutkan sebelumnya.
- Nada dan kesantunan: Terjemahan perlu mempertimbangkan tingkat formalitas dan hubungan antarpembicara.
- Maksud dalam percakapan: Jawaban singkat, makna tersirat, dan kalimat tidak lengkap sering kali bergantung pada pesan sebelumnya.
- Konteks yang tidak relevan: Sistem penerjemahan juga harus mengenali kapan informasi sebelumnya sebaiknya diabaikan.
Kualitas terjemahan dievaluasi menggunakan metodologi yang didasarkan pada GEMBA-MQM. Evaluator AI otomatis mengidentifikasi kesalahan dan memberikan penalti sesuai tingkat keparahannya.
Rata-rata penalti yang lebih rendah menunjukkan kesalahan yang lebih sedikit atau kurang parah dalam evaluasi ini.
Hasil Tolok Ukur Penerjemahan
Perbandingan September 2026 menghasilkan skor berikut untuk beberapa sistem berbasis teks:
| Sistem penerjemahan | Rata-rata penalti kesalahan |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
Sumber: Perbandingan Terpadu 15 Sistem, September 2026. Skor yang lebih rendah lebih baik. DeepL memiliki 642 evaluasi valid; sistem lain yang tercantum memiliki 648. Perbandingan lengkap juga mencakup sistem penerjemahan suara, yang tidak disertakan di sini agar konsisten.
GPT-6 Luna mencatat rata-rata penalti kesalahan terendah, yaitu 0.130. Gemma 4 31B dan Gemma 4 26B menyusul dengan skor 0.353 dan 0.387, sementara DeepSeek V4 Flash memperoleh skor 0.571.
Layanan penerjemahan komersial menunjukkan hasil yang kurang baik pada kumpulan data khusus ini. Papago memperoleh skor 2.699, DeepL API 3.914, dan Google Cloud Translation Basic 5.731.
Salah satu temuan yang menonjol adalah performa beberapa model berukuran relatif kecil yang juga baik. Sebagai contoh, Gemma 4 12B QAT Q4 memperoleh rata-rata penalti 0.855.
Hasil ini menarik karena GPT-6 Luna, Gemma, dan DeepSeek merupakan model bahasa serbaguna, bukan produk penerjemahan khusus. Model-model ini dirancang untuk menangani beragam tugas, termasuk menulis, bernalar, membuat kode, dan menganalisis.
Namun, perbandingan ini tidak sepenuhnya setara. Konfigurasi LLM dapat menggunakan giliran percakapan sebelumnya, sedangkan layanan penerjemahan komersial diuji tanpa riwayat tersebut. Karena itu, hasilnya mencerminkan performa alur kerja penerjemahan yang diuji, bukan semata-mata arsitektur model yang mendasarinya.
Mengapa Konteks Penting dalam Penerjemahan
Menerjemahkan setiap kalimat secara akurat tidak selalu menjamin bahwa makna yang dimaksud tetap terjaga.
Sebagai contoh, bayangkan percakapan dalam bahasa Korea ketika seseorang menyebutkan bahwa ia membeli sandal dan selop di sebuah toko. Dalam kalimat berikutnya, ia menjelaskan bahwa barang-barang tersebut kehabisan stok dan harus dikirimkan.
Kalimat kedua mungkin tidak menyebutkan benda yang sedang dibicarakan karena benda-benda itu sudah dipahami dari percakapan.
Sistem yang hanya menerjemahkan kalimat itu dapat menghasilkan terjemahan yang ambigu. Model yang dapat mengakses pesan sebelumnya bisa mengenali rujukan yang tidak disebutkan.
Tantangan serupa ditemukan dalam banyak bahasa.
Idiom dan ungkapan informal mungkin memerlukan penafsiran, bukan terjemahan harfiah. Kesantunan dan formalitas dapat bergantung pada hubungan antarpembicara. Jawaban singkat bisa memiliki arti berbeda, tergantung pada pertanyaan sebelumnya.
LLM dapat memanfaatkan informasi di sekitarnya untuk mengatasi ambiguitas ini. Model-model tersebut juga dapat mengikuti instruksi terkait istilah, gaya penulisan, dan audiens yang dituju.
Fleksibilitas inilah salah satu alasan model bahasa serbaguna semakin bermanfaat untuk penerjemahan.
Penambahan Konteks dan Instruksi Mengurangi Kesalahan Sebesar 31,5%
Tolok ukur ini mencakup eksperimen terpisah untuk menelaah pengaruh informasi tambahan terhadap kualitas terjemahan.
Para peneliti menguji Gemma 4 E4B QAT Q4 dalam dua kondisi: menerjemahkan kalimat secara terpisah, serta menerjemahkannya dengan instruksi tambahan dan riwayat percakapan lengkap.
| Konfigurasi | Rata-rata penalti kesalahan |
|---|---|
| Kalimat saja | 2.118 |
| Instruksi + riwayat percakapan | 1.452 |
Konfigurasi kedua menghasilkan rata-rata penalti kesalahan 31,5% lebih rendah.
Dari 642 evaluasi berpasangan, konfigurasi yang menggunakan konteks dan instruksi meningkatkan hasil pada 236 terjemahan, memperburuk hasil pada 134, dan menghasilkan skor setara pada 272 terjemahan.
Peningkatan terlihat baik ketika konteks sebelumnya diperlukan maupun ketika model harus mengenali bahwa informasi terdahulu tidak relevan.
Salah satu keterbatasan pentingnya adalah eksperimen ini mengubah instruksi sekaligus riwayat percakapan. Karena itu, yang diukur adalah dampak gabungan keduanya, bukan manfaat konteks saja secara terpisah.
Meski demikian, hasilnya menunjukkan bahwa kualitas terjemahan dapat sangat bervariasi meskipun model AI yang digunakan tetap sama.
Baca eksperimen konteks selengkapnya.
Apakah Ini Berarti LLM Selalu Lebih Baik dalam Penerjemahan?
Tidak. Tolok ukur ini berfokus pada jenis penerjemahan tertentu: percakapan bahasa Korea yang membutuhkan pemahaman kontekstual.
Temuannya belum tentu berlaku untuk semua pasangan bahasa, bidang, atau jenis dokumen.
Evaluasi ini juga menggunakan penilai AI otomatis, bukan penerjemah manusia profesional. Meskipun cara ini memudahkan perbandingan dalam skala besar, penilaian otomatis dapat menimbulkan bias dan mungkin tidak mencakup setiap aspek kualitas terjemahan.
Hal lain yang perlu dipertimbangkan adalah layanan penerjemahan komersial terus berkembang.
DeepL telah mengembangkan LLM khusus penerjemahan, sementara Google memperkenalkan peningkatan Google Translate yang didukung Gemini. Google Cloud juga menawarkan model penerjemahan khusus di luar Basic API yang diuji dalam tolok ukur ini.
Dengan kata lain, perbedaan antara LLM serbaguna dan layanan penerjemahan khusus semakin kabur.
Model yang berbeda mungkin bekerja lebih baik untuk pasangan bahasa, bidang teknis, atau tugas penerjemahan tertentu. Akurasi juga bukan satu-satunya pertimbangan: kecepatan, biaya, dan konsistensi bisa sama pentingnya, tergantung pada kebutuhan penggunaannya.
Alih-alih menetapkan satu sistem penerjemahan yang unggul secara universal, tolok ukur ini menunjukkan betapa kompetitifnya LLM serbaguna saat ini.
Artinya bagi Layanan Penerjemahan AI
Seiring meningkatnya kemampuan model serbaguna, layanan penerjemahan kini memiliki lebih banyak pilihan daripada hanya mengandalkan satu mesin penerjemahan eksklusif.
Sebagai gantinya, layanan dapat menyediakan akses ke model dari berbagai pengembang, lalu memilih atau merekomendasikan opsi yang berbeda sesuai tugasnya.
Inilah pendekatan yang kami terapkan di Lexibird.
Lexibird menyediakan akses ke beragam model bahasa dari berbagai penyedia AI. Pengguna dapat memilih model sendiri atau menggunakan opsi otomatis untuk penerjemahan sehari-hari.
Kami secara rutin mengevaluasi model yang tersedia dengan mempertimbangkan tiga hal:
- Akurasi: Seberapa baik model mempertahankan makna, konteks, nada, dan istilah.
- Kecepatan: Seberapa cepat model menghasilkan terjemahan, terutama untuk tugas sehari-hari.
- Biaya: Apakah peningkatan kualitas sepadan dengan biaya pemrosesan tambahan.
Ada kompromi di antara faktor-faktor ini. Model yang lebih mumpuni mungkin menghasilkan terjemahan yang lebih baik untuk teks sulit, tetapi merespons lebih lambat atau membutuhkan biaya operasional lebih tinggi. Model yang lebih kecil mungkin sudah cukup untuk terjemahan sederhana.
Tujuan kami adalah terus meningkatkan pilihan yang tersedia seiring munculnya model-model baru, alih-alih beranggapan bahwa satu model akan selalu menjadi pilihan terbaik.
Lexibird juga mendukung glosarium terjemahan, penyesuaian nada, serta penerjemahan dokumen, gambar, dan audio. Fitur-fitur ini membantu pengguna menyesuaikan terjemahan dengan kebutuhan tertentu.
Lexibird sendiri tidak dievaluasi dalam tolok ukur bahasa Korea ini. Karena itu, skor yang dipublikasikan tidak boleh ditafsirkan sebagai pengukuran performa penerjemahan Lexibird.
Model Penerjemahan Terbaik Mungkin Tak Lama Lagi Bukan yang Terbaik
Temuan paling menarik dari tolok ukur ini belum tentu hasil GPT-6 Luna yang menempati posisi pertama. Yang lebih menarik adalah performa kuat beberapa model bahasa serbaguna dibandingkan layanan penerjemahan khusus.
Hasilnya menunjukkan betapa banyaknya perubahan dalam penerjemahan mesin. Model yang dikembangkan untuk memahami bahasa secara umum kini mampu menangani tugas penerjemahan yang memerlukan penafsiran konteks, pemulihan informasi yang dihilangkan, dan pemertahanan maksud percakapan.
Pada saat yang sama, performa relatif model dapat berubah dengan cepat. Rilis baru dapat meningkatkan kualitas terjemahan, mempercepat respons, atau menurunkan biaya.
Bagi layanan penerjemahan dan penggunanya, hal ini menunjukkan bahwa fleksibilitas mungkin lebih berharga daripada berkomitmen pada satu model penerjemahan.
Tolok ukur ini memberikan gambaran yang bermanfaat tentang kondisi penerjemahan AI pada 2026, tetapi persaingan yang lebih luas antara model serbaguna dan model penerjemahan khusus masih jauh dari selesai.
