Yleiskäyttöiset suuret kielimallit (LLM) kilpailevat yhä paremmin erityisesti konekääntämiseen tarkoitettujen palveluiden kanssa. GitHubissa syyskuussa 2026 julkaistu vertailu tarjoaa tästä kiinnostavan esimerkin: GPT-6 Luna, Gemma 4 ja DeepSeek V4 Flash saivat kaikki pienemmät käännösvirhepisteet kuin DeepL API ja Google Cloud Translation Basic.
GPT-6 Luna sijoittui ensimmäiseksi, ja sen jälkeen tuli useita muita yleiskäyttöisiä kielimalleja. Tulokset viittaavat siihen, että monenlaisiin tehtäviin kehitetyt mallit voivat suoriutua erinomaisesti myös kääntämisestä, etenkin silloin, kun keskusteluyhteydellä on merkitystä.
On tärkeää huomata yksi ero: vertailussa arvioitiin Google Cloud Translation Basicia, ei kuluttajille tarkoitettua Google Kääntäjä -sovellusta, johon on lisätty Gemini-tekoälyyn perustuvia käännösominaisuuksia.
Mitä vertailussa testattiin?
Korealaisen monivuorovaikutteisen kontekstikäännöksen vertailussa verrattiin 15 käännösjärjestelmän kykyä kääntää keskustelumuotoista koreaa englanniksi, japaniksi ja yksinkertaistetuksi kiinaksi.
Aineisto sisälsi 216 koreankielistä keskusteluesimerkkiä, joista muodostui enintään 648 käännöstä järjestelmää kohden.
Testeissä keskityttiin kielen piirteisiin, joiden kääntäminen voi olla hankalaa ilman kontekstia:
- Pois jätetty tieto: Koreassa subjektit ja objektit jätetään usein mainitsematta, kun ne käyvät ilmi aiemmista lauseista.
- Monitulkintaiset viittaukset: Sanat ja ilmaukset voivat viitata aiemmin mainittuihin ihmisiin tai asioihin.
- Sävy ja kohteliaisuus: Käännöksissä on huomioitava muodollisuus ja puhujien väliset suhteet.
- Keskustelun tarkoitus: Lyhyet vastaukset, vihjaukset ja keskeneräiset lauseet riippuvat usein aiemmista viesteistä.
- Epäolennainen konteksti: Käännösjärjestelmän on myös tunnistettava, milloin aiempi tieto tulee sivuuttaa.
Käännösten laatua arvioitiin GEMBA-MQM-menetelmään perustuvalla lähestymistavalla. Automaattinen tekoälyarvioija tunnisti virheet ja määritti niille vakavuuteen perustuvat rangaistuspisteet.
Pienempi keskimääräinen rangaistuspistemäärä tarkoittaa, että arvioinnissa havaittiin vähemmän virheitä tai ne olivat lievempiä.
Käännösvertailun tulokset
Syyskuussa 2026 tehdyssä vertailussa valikoidut tekstipohjaiset järjestelmät saivat seuraavat tulokset:
| Käännösjärjestelmä | Virheiden keskimääräinen rangaistuspistemäärä |
|---|---|
| GPT-6 Luna | 0.130 |
| Gemma 4 31B | 0.353 |
| Gemma 4 26B | 0.387 |
| DeepSeek V4 Flash | 0.571 |
| Gemma 4 12B QAT Q4 | 0.855 |
| Gemma 4 E4B fp16 | 1.353 |
| Papago Web | 2.699 |
| DeepL API | 3.914 |
| Google Cloud Translation Basic | 5.731 |
Lähde: 15 järjestelmän integroitu vertailu, syyskuu 2026. Pienempi tulos on parempi. DeepListä saatiin 642 kelvollista arviointia; muista luetelluista järjestelmistä 648. Täydessä vertailussa oli mukana myös puheen käännösjärjestelmiä, jotka on jätetty tästä pois vertailukelpoisuuden vuoksi.
GPT-6 Lunalla oli pienin virheiden keskimääräinen rangaistuspistemäärä, 0.130. Seuraavina tulivat Gemma 4 31B ja Gemma 4 26B pistein 0.353 ja 0.387, ja DeepSeek V4 Flash sai tulokseksi 0.571.
Kaupalliset käännöspalvelut pärjäsivät tässä aineistossa heikommin. Papagon tulos oli 2.699, DeepL APIn 3.914 ja Google Cloud Translation Basicin 5.731.
Huomionarvoista on myös, että useat suhteellisen pienet mallit suoriutuivat hyvin. Esimerkiksi Gemma 4 12B QAT Q4 sai keskimääräiseksi rangaistuspistemääräkseen 0.855.
Tulokset ovat kiinnostavia, koska GPT-6 Luna, Gemma ja DeepSeek ovat yleiskäyttöisiä kielimalleja eivätkä erityisesti kääntämiseen tarkoitettuja tuotteita. Ne on suunniteltu monenlaisiin tehtäviin, kuten kirjoittamiseen, päättelyyn, ohjelmointiin ja analysointiin.
Vertailu ei kuitenkaan ole täysin tasapuolinen. LLM-mallien asetuksissa voitiin hyödyntää keskustelun aiempia vuoroja, kun taas kaupallisia käännöspalveluita arvioitiin ilman tätä historiaa. Tulokset kuvaavat siis testattujen käännöstyönkulkujen suorituskykyä, eivät pelkästään mallien taustalla olevia arkkitehtuureja.
Miksi kontekstilla on merkitystä kääntämisessä?
Yksittäisten lauseiden tarkka kääntäminen ei aina takaa sitä, että niiden tarkoitettu merkitys säilyy.
Kuvitellaan esimerkiksi koreankielinen keskustelu, jossa joku kertoo ostaneensa kaupasta sandaalit ja tohvelit. Seuraavassa lauseessa hän selittää, että tuotteet olivat loppuneet varastosta ja ne piti toimittaa.
Toisesta lauseesta voi puuttua maininta käsiteltävistä tuotteista, koska ne käyvät jo ilmi keskustelusta.
Jos järjestelmä kääntää vain kyseisen lauseen, tulos voi olla monitulkintainen. Aiemman viestin näkevä malli pystyy tunnistamaan puuttuvat viittaukset.
Samanlaisia haasteita esiintyy monissa kielissä.
Idiomit ja epämuodolliset ilmaukset saattavat vaatia tulkintaa kirjaimellisen käännöksen sijaan. Kohteliaisuus ja muodollisuus voivat riippua puhujien välisestä suhteesta. Lyhyellä vastauksella voi olla eri merkityksiä sen mukaan, mitä sitä ennen kysyttiin.
LLM-mallit voivat hyödyntää ympäröivää tietoa näiden monitulkintaisuuksien ratkaisemiseksi. Ne voivat myös noudattaa sanastoa, kirjoitustyyliä ja kohdeyleisöä koskevia ohjeita.
Tämä joustavuus on yksi syy siihen, miksi yleiskäyttöiset kielimallit ovat osoittautuneet yhä hyödyllisemmiksi kääntämisessä.
Kontekstin ja ohjeiden lisääminen vähensi virheitä 31,5 %
Vertailuun sisältyi erillinen koe, jossa tutkittiin lisätietojen vaikutusta käännösten laatuun.
Tutkijat testasivat Gemma 4 E4B QAT Q4 -mallia kahdessa tilanteessa: lause käännettiin yksinään tai lisäohjeiden ja koko keskusteluhistorian kanssa.
| Asetus | Virheiden keskimääräinen rangaistuspistemäärä |
|---|---|
| Pelkkä lause | 2.118 |
| Ohjeet + keskusteluhistoria | 1.452 |
Jälkimmäisessä asetuksessa virheiden keskimääräinen rangaistuspistemäärä oli 31,5 % pienempi.
642 parittaisessa arvioinnissa kontekstia ja ohjeita käyttävä asetus paransi 236 käännöstä, heikensi 134 käännöstä ja tuotti 272 tapauksessa saman pistemäärän.
Parannusta havaittiin sekä silloin, kun tarvittiin aiempaa kontekstia, että silloin, kun mallin piti tunnistaa aiemman tiedon olevan merkityksetöntä.
Kokeessa on tärkeä rajoitus: sekä ohjeita että keskusteluhistoriaa muutettiin. Siksi siinä mitataan niiden yhteisvaikutusta eikä pelkän kontekstin hyötyä erikseen.
Tulokset osoittavat silti, että käännösten laatu voi vaihdella huomattavasti, vaikka taustalla oleva tekoälymalli pysyy samana.
Tarkoittaako tämä, että LLM-mallit ovat aina parempia kääntämään?
Ei. Vertailussa keskityttiin tietynlaiseen kääntämiseen: koreankielisiin keskusteluihin, joiden ymmärtäminen vaatii kontekstin huomioimista.
Tulokset eivät välttämättä päde kaikkiin kielipareihin, aiheisiin tai asiakirjatyyppeihin.
Arvioinnissa käytettiin myös automaattista tekoälyarvioijaa ammattikääntäjien sijaan. Näin laajamittaiset vertailut ovat käytännössä mahdollisia, mutta automaattisiin arvioihin voi liittyä vinoumia, eivätkä ne välttämättä huomioi kaikkia käännösten laadun osa-alueita.
On myös huomioitava, että kaupalliset käännöspalvelut kehittyvät jatkuvasti.
DeepL on kehittänyt omia kääntämiseen erikoistuneita LLM-mallejaan, ja Google on tuonut Gemini-tekoälyyn perustuvia parannuksia Google Kääntäjään. Google Cloud tarjoaa myös erityisiä käännösmalleja, jotka ylittävät tässä vertailussa testatun Basic-APIn ominaisuudet.
Toisin sanoen yleiskäyttöisten LLM-mallien ja erikoistuneiden käännöspalveluiden välinen ero hämärtyy.
Eri mallit voivat suoriutua muita paremmin eri kielipareissa, teknisissä aiheissa tai käännöstehtävissä. Tarkkuus on lisäksi vain yksi huomioon otettava tekijä: käyttötarkoituksen mukaan yhtä tärkeitä voivat olla nopeus, hinta ja yhdenmukaisuus.
Sen sijaan, että vertailu nimeäisi yhden kaikissa tilanteissa ylivoimaisen käännösjärjestelmän, se havainnollistaa, kuinka kilpailukykyisiksi yleiskäyttöiset LLM-mallit ovat kehittyneet.
Mitä tämä tarkoittaa tekoälykäännöspalveluille?
Yleiskäyttöisten mallien kehittyessä käännöspalveluilla on enemmän vaihtoehtoja kuin luottaa yksinomaan yhteen omaan käännösmoottoriin.
Palvelu voi sen sijaan tarjota eri kehittäjien malleja ja valita tai suositella niistä sopivaa tehtävän mukaan.
Tällaista lähestymistapaa käytämme Lexibirdissä.
Lexibird tarjoaa käyttöön valikoiman eri tekoälypalveluntarjoajien kielimalleja. Käyttäjä voi valita mallin itse tai käyttää automaattista vaihtoehtoa tavalliseen kääntämiseen.
Arvioimme saatavilla olevia malleja säännöllisesti kolmen tekijän perusteella:
- Tarkkuus: Kuinka hyvin malli säilyttää merkityksen, kontekstin, sävyn ja termistön.
- Nopeus: Kuinka nopeasti se tuottaa käännöksiä, etenkin arkisissa tehtävissä.
- Hinta: Oikeuttaako laadun paraneminen lisäkustannukset.
Näiden tekijöiden välillä on kompromisseja. Tehokkaampi malli voi tuottaa parempia tuloksia vaikeasta tekstistä, mutta vastata hitaammin tai maksaa enemmän. Pienempi malli voi riittää yksinkertaisiin käännöksiin.
Tavoitteenamme on parantaa saatavilla olevia vaihtoehtoja uusien mallien ilmestyessä sen sijaan, että olettaisimme yhden mallin pysyvän parhaana valintana loputtomiin.
Lexibird tukee myös käännössanastoja, sävyn mukauttamista sekä asiakirjojen, kuvien ja äänen kääntämistä. Näiden ominaisuuksien avulla käyttäjät voivat mukauttaa käännöksiä erityistarpeisiinsa.
Lexibirdiä ei arvioitu koreankielisessä vertailussa, joten julkaistuja pisteitä ei pidä tulkita Lexibirdin käännöskyvyn mittauksiksi.
Paras käännösmalli ei välttämättä pysy parhaana pitkään
Vertailun kiinnostavin havainto ei välttämättä ole GPT-6 Lunan ensimmäinen sija. Se on useiden yleiskäyttöisten kielimallien vahva suorituskyky verrattuna kääntämiseen erikoistuneisiin palveluihin.
Tulokset havainnollistavat, kuinka paljon konekääntäminen on muuttunut. Yleisen kielen ymmärtämiseen kehitetyt mallit pystyvät nyt käsittelemään käännöstehtäviä, joissa on tulkittava kontekstia, täydennettävä pois jätettyä tietoa ja säilytettävä keskustelun tarkoitus.
Mallien keskinäinen suorituskyky voi kuitenkin muuttua nopeasti. Uudet julkaisut voivat parantaa käännösten laatua, nopeuttaa vastauksia tai alentaa kustannuksia.
Tämä viittaa siihen, että käännöspalveluille ja niiden käyttäjille joustavuus voi olla arvokkaampaa kuin sitoutuminen yhteen käännösmalliin.
Vertailu tarjoaa hyödyllisen tilannekuvan tekoälykääntämisestä vuonna 2026, mutta yleiskäyttöisten ja erikoistuneiden käännösmallien välinen kilpailu on vielä kaukana ratkaisustaan.
