BLEU puanı makine çevirisinin kalitesi mi?

Kısa cevap: BLEU kalite hükmü değil, benzerlik ölçüsüdür

BLEU, bir makine çıktısının belirli insan referanslarında bulunan sözcük veya alt-sözcük dizileriyle ne ölçüde örtüştüğünü sayısallaştırır. Özgün 2002 makalesi, tekrarların puanı şişirmesini sınırlayan değiştirilmiş n-gram kesinliğini ve gereğinden kısa adayları cezalandıran bir uzunluk bileşenini birleştirir. Bu yapı hızlı ve tekrarlanabilir sistem karşılaştırması sağlar. Fakat sayı “anlamın yüzde kaçı doğru”, “çevirmen bunu onayladı” veya “metin yayıma hazır” demek değildir. Referansın sözcük seçimi, noktalama, bölümleme ve ölçüm yazılımı değiştiğinde aynı aday farklı puan alabilir.

İngilizce–Türkçe yönünde sorun daha görünür olabilir. Türkçe eklemeli yapısı nedeniyle bir İngilizce söz öbeğindeki anlam, hedefte tek bir çekimli sözcüğe veya farklı sıraya dağılabilir. İki doğal Türkçe çeviri aynı yüklemi farklı kişi, çatı ya da adlaştırma tercihiyle kurabilir. Tek referansa daha az benzeyen seçenek bağlamda daha doğru, akıcı veya terminolojik olarak daha tutarlı olabilir. Bunun tersi de mümkündür: Referanstaki birkaç sık parçayı tekrarlayan ama ilişkiyi bozan çıktı örtüşme kazanabilir. BLEU bu yüzden çeviri incelemesinin yerine değil, açıkça tanımlanmış test düzeninin bir bileşeni olarak kullanılmalıdır.

Referans çeviri neden tek doğru değildir?

Çeviri, kaynak cümlenin sözcüklerini hedef dilde aynı sıraya yerleştirmek değildir. Özne açık mı kalacak, Türkçede kişi ekiyle mi karşılanacak? İngilizce bir ad öbeği Türkçede tamlama mı, yan cümle mi olacak? Kurum adı çevrilecek mi, yerleşik biçimi mi kullanılacak? Teknik terim hedef kurumun sözlüğüne göre mi seçilecek? Bunların birden fazlası bağlama göre savunulabilir. Referans çeviri, bu kararların yayımlanmış bir örneğidir; olası bütün doğru hedefleri listelemez. Metrik, referans çeşitliliğini dilin bütün seçenekleri sanırsa çevirmenin gerekçeli başka kararını hata gibi sayabilir.

Öğretici bir örnek düşünelim: İngilizce bir kurul kararını Türkçeye “Kurul kararı kabul etti” veya bağlama göre “Kurul öneriyi benimsedi” diye aktarmak mümkün olabilir. İkinci hedefte “karar” sözcüğü yoktur ama eylemin kurumsal anlamı daha açık olabilir. Bu örnek herhangi bir FLORES cümlesi ya da model çıktısı değildir; metrik sınırını göstermek için bu dosyada kurulmuştur. Gerçek değerlendirmede kaynak belgenin türü, önceki cümleler, terim listesi ve hedef okur gerekir. Cümleleri bağlamdan koparan bir test, belge boyunca tutarlılığı, gönderimleri, hitap düzeyini ve ritmi ölçemez.

BLEU nasıl hesaplanır ve neden imza gerekir?

Özgün BLEU, adayda görülen n-gram sayısını referanslarda izin verilen en yüksek sayıyla sınırlar; böylece aynı sözcüğü gereksiz tekrar eden çıktı bütün tekrarları doğruymuş gibi yazamaz. Bir, iki, üç ve dört sözcüklük dizilerin değiştirilmiş kesinlikleri geometrik olarak birleştirilir. Aday referanstan kısa olduğunda brevity penalty denen ceza uygulanır. Bu özet, varsayılan BLEU-4 fikrini açıklar; düzeltme, yumuşatma ve bölümleme ayrıntıları yazılıma göre değişebilir. Özellikle tek cümlede bir üst n-gram hiç eşleşmediğinde puan sert biçimde düşebilir. Özgün metrik, sistemleri korpus düzeyinde karşılaştırma amacıyla sunulmuştur.

Bu yüzden çıplak “BLEU 28” ifadesi yeniden üretilebilir değildir. Hangi test kümesi ve sürümü? Hangi dil yönü? Büyük-küçük harf duyarlı mı? Noktalama nasıl ayrıldı? Türkçe ekler sözcük mü, alt-sözcük mü sayıldı? Kaç referans var? Hangi SacreBLEU veya başka uygulama kullanıldı? FLORES-200 deposu öncelikle chrF++ ve ayrıca ortak SentencePiece modeliyle spBLEU komutlarını yayımlar. spBLEU, yüzey sözcükleri yerine ortak alt-sözcük bölümlemesiyle diller arası karşılaştırılabilirliği artırmayı amaçlar; buna rağmen veri alanı ve referans kalitesi sorununu ortadan kaldırmaz. Sonuç tablosu puanla birlikte tam hesaplama imzasını vermelidir.

FLORES-200 hangi metin alanını temsil ediyor?

FLORES-200 veri kartı, 842 ayrı web yazısından alınan toplam 3.001 cümlenin çok dilli çevirilerini içerdiğini bildirir. Bölümler 997 cümlelik geliştirme, 1.012 cümlelik devtest ve gizli test olarak düzenlenmiştir; ortalama cümle uzunluğu yaklaşık 21 sözcüktür. Bu sayılar her dil için milyonlarca doğal konuşma örneği bulunduğu anlamına gelmez. Aynı kaynak cümlelerin dil sürümleri, kontrollü sistem karşılaştırmasına yarayan paralel bir kıyaslama alanıdır. Haber ve web kökeni; hukuk sözleşmesi, tıbbi rapor, edebiyat, müşteri diyaloğu veya bütün bir belgenin söylem zinciri için doğrudan temsil garantisi vermez.

Veri kartı daha az ölçünleşmiş diller için uzmanlaşmış profesyonel çeviri ve daha karmaşık doğrulama iş akışına ihtiyaç duyulduğunu açıklar. Bazı diller İngilizceden değil İspanyolca, Fransızca, Rusça veya Modern Standart Arapçadan çevrilmiştir. Bu bilgi kaynak dilin her hedefte aynı olmadığını gösterir. Türkçe yapılandırması tur_Latn koduyla listelenir; yine de İngilizce–Türkçe bir skorun hangi alan ve bölümde hesaplandığı ayrıca yazılmalıdır. Veri deposu artık güncellenmediğini ve daha yeni FLORES+ kaynağına yönlendirdiğini de belirtir. Sürüm sabitlenmeden bugün indirilen dosya ile eski makaledeki tabloyu eşleştirmek güçleşebilir.

NLLB model kartı hangi sınırları açıkça koyuyor?

NLLB-200 distilled 600M model kartı, sistemi özellikle düşük kaynaklı dillerde makine çevirisi araştırması için ve tek cümle çevirisi bağlamında tanımlar. Değerlendirme verisi olarak FLORES-200’ü; ölçütler olarak BLEU, spBLEU ve chrF++’ı listeler, ayrıca XSTS insan değerlendirmesi ve toksisite incelemesine atıf yapar. Bunlar model ailesinin nasıl değerlendirildiğini gösterir; bu dosya modeli indirip İngilizce–Türkçe çıktı üretmedi. Model adı, parametre ölçeği veya 200 dil etiketi tek başına belirli bir dil yönündeki kaliteyi göstermez. Her yönün veri miktarı, yazı sistemi ve alan uyumu farklıdır.

Aynı kart üretim dağıtımını, belge çevirisini, sertifikalı çeviriyi ve hukuk ya da sağlık gibi alan-özgü metinleri kapsam dışı bırakır. Eğitim girdilerinin 512 belirteci aşmadığını, uzun dizilerde kalitenin düşebileceğini ve desteklenen diller içindeki çeşitlerin tam temsil edilmeyebileceğini söyler. Bu sınırlar dipnot değil, kullanım kararının merkezidir. Tek cümle testinde iyi örtüşme; adlar, zamirler ve terminolojinin sayfalar boyunca tutarlı kaldığını kanıtlamaz. Model kartı “araştırma” diyorsa, bir kurumun müşteri metnini otomatik yayımlaması için ayrıca alan testi, veri koruma incelemesi, insan düzeltisi ve hata geri çağırma planı gerekir.

Sağlam İngilizce–Türkçe değerlendirme nasıl kurulur?

Önce görev tanımlanır: Haber cümlesi mi, ürün arayüzü mü, mevzuat özeti mi, edebî metin mi? Kaynak İngilizce çeşidi, hedef Türkiye Türkçesi bağlamı, okur, terminoloji ve kabul edilemez hata sınıfları yazılır. Test verisi eğitimden ayrılır; belge ve kaynak bazında sızıntı denetlenir. Profesyonel çevirmenler veya alan uzmanları referansları hazırlar, bireysel adları yayımlanmıyorsa ekip ve doğrulama süreci dürüstçe belirtilir. Otomatik ölçütler aynı sürüm ve imzayla hesaplanır; cümle ve belge düzeyinde kör insan değerlendirmesi anlam kaybı, ekleme, eksiltme, ad, sayı, olumsuzluk, ton ve terim hatalarını ayrı kodlar.

Sonuç tek ortalama yerine hata dağılımıyla raporlanır. Hangi alt alanda kaç belge vardı? Kaynak ve hedef uzunlukları neydi? İnsanlar arası uyuşma nasıl ölçüldü? Model sürümü, çıkarım ayarları ve değerlendirme kodu sabitlendi mi? 2025 EMNLP araştırması FLORES+’ı dört dilde inceleyerek alan ve kültürel yanlılık sorunları ile basit ad kopyalamanın puan üretebilmesini gösterdi; bu doğrudan Türkçe sonucu değildir ama kıyaslamanın kendisini de denetleme gereğini açıklar. Bu metin model testi veya çevirmen görüşmesi yapmadı. Adı belirtilmiş çeviribilimci ya da dil teknolojileri uzmanı incelemesi bulunmadığından dosya üretim veya yayın onayı sayılmaz.