WER, yanlış bir ismi, yanlış bir sayıyı ve eksik bir “değil”i, düşürülen bir “the” ile aynı ağırlıkta sayar. Bir transkripsiyon sistemini başlıktaki sayıya göre değil, hangi hataları yakaladığına ve düzeltmelerini görüp görmediğinize göre değerlendirin.
Kelime hata oranı (WER), konuşma tanıma için standart ölçüdür. İnsanın denetlediği bir referans transkripti alın, makinenin çıktısını bu referansla kelime kelime hizalayın ve üç tür hatayı sayın: ikameler (yanlış bir kelime), eklemeler (hiç söylenmemiş bir kelime) ve silmeler (eksik kalan bir kelime). Bu üçünün toplamını, referanstaki kelime sayısına bölün.
WER = (ikame + ekleme + silme) / referanstaki kelime sayısı
Hizalama gözle yapılmaz. İki metin, minimum düzenleme mesafesiyle hizalanır (Levenshtein mesafesi, harfler yerine kelimelere uygulanmış hâliyle): çıktıyı referansla eşleştirmenin tüm yolları arasından en az düzenleme gerektireni seçilir ve bu düzenlemeler sayılır. Eklemeler sayıldığı ve payda referansın uzunluğu olduğu için WER yüzde 100'ü aşabilir: sessiz bir dakikayı metinle dolduran bir model, hiçbir şey yazmayan modelden daha kötü bir puan alır.
Referans cümle “we will meet Dr Okafor at nine on Thursday” olsun; dokuz kelimeden oluşuyor. Makine ise “we will meet the doctor at nine on Tuesday” yazıyor. Bu, üç ikame (Dr, Okafor, Thursday) demek; dokuz kelime üzerinden WER yüzde 33. Kelimelerin üçte ikisi doğru, ama hâlâ yanlış toplantıda ve yanlış günde olursunuz. Yalnızca “Thursday” yanlış olsaydı, puan yüzde 11 olurdu. Her kelimesi doğru ama söylenmemiş bir “um” eklenmiş bir sürüm de yüzde 11 puan alır, çünkü bir ekleme bir ikame kadar sayılır.
Sayımdan önce her iki metin de genellikle normalleştirilir ve bu adımdaki seçimler, skoru modelin kendisi kadar etkiler. “Dr” ile “Doctor” aynı kelime midir? “nine” ile “9” aynı mıdır? Büyük-küçük harf ve noktalama sayılır mı? Katı bir puanlama, “Dr” ile “Doctor”ı ikame olarak işaretler. Yayımlanan skorların çoğu, karşılaştırmadan önce her şeyi küçük harfe çevirir, noktalamayı siler ve tüm sayıları tek bir biçimde yazar: ya kelime olarak ya da rakamla. Bir satıcının rakamı bu yüzden görmediğiniz bir normalleştiriciye sessizce bağlıdır. Kelimeler arasında boşluk bırakılmayan diller, örneğin Çince, Japonca ve Tayca, sayılabilecek net bir kelime sınırına sahip değildir; bu yüzden bunlar yerine karakter hata oranı (CER) ile puanlanır: aynı formül, bu kez karakterlere uygulanır.
Bunun iki sonucu var. Birincisi, yüzde 5'lik bir WER yirmide bir kelime demektir; bir saatlik konuşmada bu birkaç yüz kelime eder. Kıyas için, insan transkripsiyoncularının konuşma dilinde genellikle yaklaşık yüzde 4 ile 5 arasında hata yaptığı belirtilir; 2017'de Switchboard telefon derleminde yayımlanmış ve sıkça atıf yapılan bir sonuç ise bir makinenin yaklaşık yüzde 5,1 olduğunu gösterdi. Ancak her iki rakam da sese ve puanlama kurallarına bağlıdır. İkincisi, sayı tamamen test sesine bağlıdır: temiz okunmuş konuşma bir rakam verir, aksan ve üst üste konuşmalarla dolu gürültülü bir panel çok farklı bir rakam verir. Bir üst düzey WER, satıcının sisteminden çok satıcının test setini anlatır.
Sayım budur. Sayımın dışarıda bıraktığı şey, her hatanın okuyucuya maliyetidir.
WER her kelimeyi eşit sayar. Okuyucular öyle düşünmez:
Bunların her biri WER sütununda bir ya da iki hatadır. Okuyucunun sütununda ise hiçbir şeyden başlayıp farklı bir günde farklı bir toplantıya kadar uzanır. Bu yüzden soru yalnızca “hata oranı nedir” değil, “hangi tür hatalar var ve neler bunları yakalar”dır.
Birkaç katman, tanımanın yanlış yaptığı şeyleri yakalar ve her değişiklik, incelenip geri alınabilmesi için kaydedilir. Canlı transkripsiyonda bu, metin hâlâ gelirken olur: her satır önce değişebilecek bir taslak olarak görünür, sonra kesinleşir (Canlı çeviri gecikmesi açıklandı bunun neden böyle olduğunu anlatır).
Bazı hatalar sese uyar ama cümleye uymaz: cümlenin “there” istediği yerde “their” yazılması gibi. Bunlar bağlamdan yakalanabilir ve bir düzeltme, sessiz bir yeniden yazım olarak değil, okuyuculara görünür bir güncelleme olarak ulaşır (API'de transcript.amended). Bağlam, cümlenin tahmin edebildiği kelimelerde iyidir. Tahmin edemediği kelimelerde ise çaresizdir.
İsimler ve teknik terimler, bağlamın düzeltemediği hatalardır; çünkü bir isim çoğu zaman yalnızca bir kez geçer ve onu tahmin ettirecek hiçbir şey çevresinde yoktur. Referans metin bunu çözer: yayın öncesinde sisteme konuşmayı, slaytları ya da isim ve terim listesini verirsiniz; bu kelimeler, motorun yanlış duyduklarının önüne geçer. Kayıt sırasında metin, bir teleprompter gibi transkripti takip eder ve sunucu motorun ne kadar ilerlediğini görebilir. Bir metin, tahmin edebildiğiniz kelimeleri kapsar; gürültülü ses ve aksanlar ise tahmin edemediğiniz kelimeleri üretir.
Bazı hataları yalnızca odadaki bir kişi görebilir. Manuel düzeltmeler, sunucunun canlı transkripsiyon sürerken herhangi bir kelimeyi ya da satırı yeniden yazmasına izin verir; yayındaki her dinleyici değişikliği görür. Sistem, sunucuya olası adayları gösterir: motorun emin olmadığı kelimeler renklendirilip altı çizilebilir ve sunucu tüm transkripti baştan okumak yerine belirsiz bölümlerde tek tek ilerleyebilir. API üzerinden GET /v1/recordings/{id}/corrections bir kaydın düzeltmelerini listeler, POST /v1/corrections/{id}/revert ise birini geri alır; ayrıntılar için API başvurusuna bakın. Yine de odada bulunan bir kişi, kimsenin duyamadığı bir satırı düzeltemez.
Son katman, bazı seslerin kurtarılamayacağını kabul eder. Bir satır transkripsiyonun güven eşiğinin altında kaldığında (confidence.hideBelow, varsayılan olarak 0,60), dinleyiciler tahmin yerine “Ses belirsiz” ifadesini görür ve bu satır asla sesli okunmaz. Okuyucular bir satırı kaybeder; ama uydurulmuş bir satır kazanmazlar.
Bu katmanları şekillendiren sorular, herhangi bir satıcının doğruluk iddiası için de geçerlidir; kendimizinki için de.
Herhangi bir doğruluk iddiasını okumak için kısa bir kontrol listesi:
VocalStack, yukarıdaki ilk nedenle dahili bir WER rakamı yayımlamaz: bu rakam bizim test setimizi anlatır, sizin sesinizi değil. Doğruluğu sürekli ölçüyoruz. Diğer sistemleri karşılaştırdığımızda, bağımsız yayımlanmış kıyaslamaları ve satıcıların yayımladığı rakamları kullanırız, asla özel testleri değil. Gerisini, sizin kendi sesiniz karar versin.
