WER yanlış adı, yanlış rəqəmi və itmiş inkarı itmiş “the” sözü ilə eyni çəkidə sayır. Transkripsiya sistemini əsas rəqəminə görə yox, hansı səhvləri tutduğuna və düzəlişlərini görə bildiyinizə görə qiymətləndirin.
Söz səhv dərəcəsi (word error rate, WER) nitq tanıma üçün standart ölçü vahididir. Bir insanın yoxladığı istinad transkriptini götürün, maşının çıxışını onunla söz-söz müqayisə edin və üç növ səhvi sayın: əvəzləmələr (yanlış söz), əlavələr (heç deyilməmiş söz) və silmələr (itmiş söz). Onları toplayın və istinad mətnindəki sözlərin sayına bölün.
WER = (əvəzləmələr + əlavələr + silmələr) / istinad mətnindəki sözlərin sayı
Sətirlərin düzülməsi gözlə edilmir. İki mətn minimal redaktə məsafəsi ilə düzülür (Levenshtein məsafəsi, hərflər üçün yox, sözlər üçün tətbiq olunur): çıxışı istinadla cütləşdirməyin bütün yolları arasından skorer ən az redaktəli variantı seçir və onları sayır. Əlavələr sayıldığı və məxrəc istinad mətninin uzunluğu olduğu üçün WER 100 faizi keçə bilər: səssiz bir dəqiqəni mətnlə dolduran model heç nə yazmayan modeldən daha pis nəticə alır.
Fərz edin istinad mətni “Biz Dr Okafor ilə saat doqquzda cümə axşamı görüşəcəyik” cümləsidir, doqquz sözdən ibarətdir, maşın isə “Biz doktor Ocaq ilə saat doqquzda çərşənbə axşamı görüşəcəyik” yazır. Bu, doqquz sözün üzərində üç əvəzləmədir (Dr, Okafor, cümə axşamı): 33 faizlik WER. Sözlərin üçdən ikisi düzdür, amma siz hələ də yanlış görüşdəsiniz və yanlış gündəsiniz. Yalnız “cümə axşamı” səhv olsaydı, göstərici 11 faiz olardı. Bütün sözləri düz olan, lakin heç kimin demədiyi “ee” əlavə edilmiş variant da 11 faiz alardı, çünki əlavə əvəzləmə kimi sayılır.
Saymadan əvvəl hər iki mətn adətən normallaşdırılır və bu seçimlər modelin özü qədər balı dəyişdirir. “Dr” sözü “doktor” ilə eynidirmi? “doqquz” rəqəmi “9” ilə eynidirmi? Böyük-kiçik hərflər və durğu işarələri sayılırmı? Ciddi skorer “Dr”-ı “doktor” ilə müqayisə edərkən əvəzləmə sayardı. Dərc olunmuş balların çoxu müqayisədən əvvəl hər şeyi kiçik hərflərə çevirir, durğu işarələrini silir və bütün rəqəmləri bir üslubda, ya sözlə, ya rəqəmlə yazır. Deməli satıcının göstəricisi sizin görmədiyiniz normallaşdırıcıdan asılıdır. Sözlər arasında boşluq qoyulmayan dillər, məsələn, Çin, Yapon və Tay dilləri, saya biləcəyimiz təmiz söz sərhədinə malik deyil, buna görə onlar simvol səhv dərəcəsi (CER) ilə qiymətləndirilir: eyni düstur, lakin sözlərə yox, simvollara tətbiq olunur.
Bunun iki nəticəsi var. Birincisi, 5 faizlik WER iyirmi sözdən bir sözdür, bu da bir saatlıq çıxışda bir neçə yüz sözə bərabərdir. Müqayisə üçün, insan transkriptçilərin danışıq dilində təxminən 4–5 faiz səhv buraxdığı bildirilir, 2017-ci ildə Switchboard telefon korpusu üzərində dərc olunan, tez-tez sitat gətirilən nəticəyə görə isə maşın təxminən 5.1 faiz göstərib, lakin hər iki rəqəm səsdən və skorinq qaydalarından asılıdır. İkincisi, rəqəm tamamilə test səsindən asılıdır: təmiz oxunmuş nitq bir rəqəm verir, aksentli və səs-küylü müzakirə paneli isə tamam başqa bir rəqəm. Başlıqdakı WER satıcının sistemini qədər də onun test dəstini təsvir edir.
Sayın budur. Onun buraxdığı isə hər bir səhvin oxucuya nə qədər başa gəldiyidir.
WER hər sözü bərabər sayır. Oxucular isə belə etmir:
Bunların hər biri WER sütununda bir-iki səhvdir. Oxucunun sütununda isə onlar heç nədən tutmuş başqa gündə başqa görüşə qədər dəyişir. Beləliklə sual yalnız “səhv dərəcəsi nədir” deyil, həm də “hansı növ səhvlər var və onları nə tutur” sualıdır.
Bir neçə təbəqə nitq tanımanın yanlış etdiyi şeyləri tutur və hər dəyişiklik qeyd olunur ki, yoxlanıla və geri qaytarıla bilsin. Canlı transkripsiyada bu, mətn hələ gəldiyi anda baş verir: hər sətir əvvəlcə dəyişə bilən qaralama kimi görünür, sonra isə yekun olur (Canlı tərcümə gecikməsi izah olunub bunun niyə belə olduğunu izah edir).
Bəzi səhvlər səsə uyğun gəlir, lakin cümləyə yox: cümlənin “there” tələb etdiyi yerdə “their” yazılır. Bunları kontekstdən tutmaq olar və düzəliş oxuculara görünən yenilənmə kimi çatır (API-də transcript.amended), səssiz yenidən yazma kimi yox. Kontekst sözləri proqnozlaşdırmaqda yaxşıdır. Proqnozlaşdırıla bilməyənlər qarşısında isə köməksizdir.
Ad və texniki terminlər kontekstin düzəldə bilmədiyi səhvlərdir, çünki ad çox vaxt yalnız bir dəfə çıxır və onu proqnozlaşdırmaq üçün ətrafda heç nə yoxdur. İstinad ssenarisi bunu həll edir: başlamazdan əvvəl sistemə nitqi, slaydları və ya ad və terminlərin siyahısını verin, onun sözləri mühərrikin eşitdiyi səhvdən üstün tutulur. Yazı zamanı ssenari transkripti teleprompter kimi izləyir, beləliklə aparıcı mühərrikin nə qədər irəlilədiyini görə bilir. Ssenari proqnozlaşdıra biləcəyiniz sözləri əhatə edir; səs-küylü səs və aksentlər isə proqnozlaşdıra bilmədiyiniz sözləri yaradır.
Bəzi səhvləri yalnız otaqdakı insan görə bilər. Əl ilə düzəlişlər aparıcıya transkripsiya hələ canlı olarkən istənilən sözü və ya sətri yenidən yazmağa imkan verir və yayımdakı hər dinləyici dəyişikliyi görür. Sistem aparıcını ehtimal olunan namizədlərə yönəldir: mühərrikin əmin olmadığı sözlər rənglənib altından xətt çəkilə bilər, aparıcı isə bütün transkripti yenidən oxumaq əvəzinə qeyri-müəyyən seqmentləri bir-bir gəzə bilər. API vasitəsilə GET /v1/recordings/{id}/corrections qeydin düzəlişlərini siyahılayır, POST /v1/corrections/{id}/revert isə birini geri qaytarır; bax API istinadı. Lakin otaqdakı insan belə eşidilməyən sətri düzəldə bilməz.
Son təbəqə bəzi səslərin bərpa olunmadığını qəbul edir. Sətir transkripsiyanın etibarlılıq həddindən (confidence.hideBelow, defolt olaraq 0.60) aşağı bal alanda dinləyicilər təxmin əvəzinə onun yerində “Audio unclear” görürlər və həmin sətir heç vaxt səslə oxunmur. Oxucular bir sətir itirir, uydurma sətir qazanmırlar.
Bu təbəqələrə səbəb olan suallar hər hansı satıcının dəqiqlik iddiasına, o cümlədən bizimkinə də tətbiq olunur.
Hər hansı dəqiqlik iddiasını oxumaq üçün qısa yoxlama siyahısı:
VocalStack daxili WER rəqəmi dərc etmir, birinci səbəbə görə: o, bizim test dəstimizi təsvir edər, sizin səsinizi yox. Biz dəqiqliyi davamlı olaraq ölçürük. Digər sistemləri müqayisə etdikdə müstəqil dərc olunmuş benchmark-lardan və satıcıların dərc etdiyi rəqəmlərdən istifadə edirik, heç vaxt şəxsi testlərdən. Qalanına öz səsinizə baxaraq siz özünüz qərar verin.
