WER vienādi vērtē nepareizu vārdu, nepareizu skaitli un pazaudētu „not”, kā arī izlaistu „the”. Transkripcijas sistēmu vērtējiet pēc tā, kuras kļūdas tā noķer un vai redzat tās labojumus, nevis pēc galvenā skaitļa.
Vārdu kļūdu īpatsvars (word error rate, WER) ir standarta mērs runas atpazīšanai. Ņemiet atsauces transkriptu, ko cilvēks ir pārbaudījis, salīdziniet ar to mašīnas izvadi vārdu pa vārdam un saskaitiet trīs veidu kļūdas: aizstāšanas (nepareizs vārds), ievietojumi (vārds, kas nekad nav ticis teikts) un izlaidumi (trūkstošs vārds). Saskaitiet tās un izdaliet ar vārdu skaitu atsauces tekstā.
WER = (aizstāšanas + ievietojumi + izlaidumi) / vārdi atsauces tekstā
Saskaņošana nenotiek ar aci. Abi teksti tiek saskaņoti pēc minimālā rediģēšanas attāluma (Levenšteina attālums, piemērots vārdiem, nevis burtiem): no visiem iespējamajiem vārdu pārošanas variantiem skaitītājs izvēlas to, kurā ir vismazāk rediģēšanu, un tās saskaita. Tā kā ievietojumi tiek skaitīti un saucējs ir atsauces garums, WER var pārsniegt 100 procentus: modelis, kas aizpilda klusu minūti ar tekstu, saņem sliktāku vērtējumu nekā tas, kas neraksta nemaz.
Pieņemsim, ka atsauce ir „we will meet Dr Okafor at nine on Thursday”, deviņi vārdi, bet mašīna raksta „we will meet the doctor at nine on Tuesday”. Tās ir trīs aizstāšanas (Dr, Okafor, Thursday) no deviņiem vārdiem: WER 33 procenti. Divas trešdaļas vārdu ir pareizas, un tomēr jūs esat nepareizajā tikšanās nepareizajā dienā. Ja nepareizs būtu tikai „Thursday”, rezultāts būtu 11 procenti. Versija, kurā katrs vārds ir pareizs, bet pievienots „um”, ko neviens nav teicis, arī iegūst 11 procentus, jo ievietojums skaitās tāpat kā aizstāšana.
Pirms skaitīšanas abi teksti parasti tiek normalizēti, un šeit pieņemtie lēmumi maina rezultātu gandrīz tikpat, cik pats modelis. Vai „Dr” ir tas pats vārds kā „Doctor”? Vai „nine” ir tas pats, kas „9”? Vai reģistrs un pieturzīmes ir svarīgas? Stingrs vērtējums atzīmētu „Dr” pret „Doctor” kā aizstāšanu. Lielākā daļa publicēto rezultātu pirms salīdzināšanas pārvērš visu mazajos burtos, noņem pieturzīmes un visus skaitļus raksta vienādi – vai nu vārdos, vai ciparos. Tāpēc ražotāja rādītājs klusi ir atkarīgs no normalizētāja, ko jūs nevarat redzēt. Valodās, kurās vārdi nav atdalīti ar atstarpēm, piemēram, ķīniešu, japāņu un taju, nav skaidru vārdu robežu, ko saskaitīt, tāpēc tās tiek vērtētas pēc rakstzīmju kļūdu īpatsvara (character error rate, CER): tā pati formula, bet piemērota rakstzīmēm.
No tā izriet divas lietas. Pirmkārt, WER 5 procenti nozīmē vienu vārdu no divdesmit, kas stundas garā runā ir vairāki simti vārdu. Salīdzinājumam: cilvēku transkribētāji sarunvalodā bieži tiek minēti ap 4 līdz 5 procentiem, un plaši citētais 2017. gada rezultāts Switchboard telefona korpusā norāda mašīnu ap 5,1 procentu, lai gan abi skaitļi ir atkarīgi no audio un vērtēšanas noteikumiem. Otrkārt, skaitlis pilnībā ir atkarīgs no testa audio: tīra lasīta runa dod vienu rezultātu, bet troksnains panelis ar akcentiem un runātāju pārklāšanos – ļoti citu. Galvenais WER raksturo ražotāja testa kopu tikpat lielā mērā, cik ražotāja sistēmu.
Tas ir skaitīšanas rezultāts. Ko tas neņem vērā, ir katras kļūdas izmaksas lasītājam.
WER uzskata katru vārdu par vienlīdzīgu. Lasītāji – nē:
Katra no šīm ir viena vai divas kļūdas WER kolonnā. Lasītāja kolonnā tās svārstās no nekā līdz citai tikšanās citā dienā. Tāpēc jautājums ir ne tikai „cik liels ir kļūdu īpatsvars”, bet arī „kādas kļūdas un ko tās noķer”.
Vairāki slāņi noķer to, ko atpazīšana kļūdaini sadzird, un katra izmaiņa tiek ierakstīta, lai to varētu pārbaudīt un atsaukt. Tiešraidē tas notiek, kamēr teksts vēl nāk: katra rindiņa vispirms parādās kā melnraksts, kas vēl var mainīties, un tad kļūst gala (Tiešraides tulkošanas latentums, paskaidrots skaidro, kāpēc).
Dažas kļūdas atbilst skaņai, bet ne teikumam: „their”, kur teikumā vajadzīgs „there”. Tās var noķert pēc konteksta, un labojums nonāk pie lasītājiem kā redzams atjauninājums (transcript.amended API), nevis kā klusa pārrakstīšana. Konteksts labi darbojas ar vārdiem, ko teikums var paredzēt. Ar tiem, ko tas nevar paredzēt, tas nepalīdz.
Vārdi un tehniskie termini ir kļūdas, ko konteksts nevar labot, jo vārds bieži parādās tikai vienreiz un apkārt nav nekā, no kā to paredzēt. Atsauces skripts to risina: pirms sākuma sistēmai dodiet runu, slaidus vai vārdu un terminu sarakstu, un tās vārdi būs svarīgāki par to, ko dzinējs ir sadzirdējis nepareizi. Ierakstīšanas laikā skripts seko transkriptam kā teleprompters, lai vadītājs redz, cik tālu dzinējs ir ticis. Skripts aptver vārdus, ko var paredzēt; trokšņains audio un akcenti rada tos, ko nevar.
Dažas kļūdas redz tikai cilvēks telpā. Manuālie labojumi ļauj vadītājam pārrakstīt jebkuru vārdu vai rindiņu, kamēr transkripcija vēl ir tiešraidē, un katrs klausītājs pārraidē redz izmaiņu. Sistēma norāda vadītājam uz iespējamākajiem kandidātiem: vārdi, par kuriem dzinējs bija nedrošs, var tikt iekrāsoti un pasvītroti, un vadītājs var soli pa solim pārskatīt nedrošos segmentus, nevis pārlasīt visu transkriptu. Caur API GET /v1/recordings/{id}/corrections uzskaita ieraksta labojumus, un POST /v1/corrections/{id}/revert atsauc vienu no tiem; skatiet API atsauci. Tomēr pat cilvēks telpā nevar izlabot rindiņu, ko neviens nav dzirdējis.
Pēdējais slānis pieņem, ka dažu audio nevar atgūt. Kad rindiņa ir zem transkripcijas drošuma sliekšņa (confidence.hideBelow, pēc noklusējuma 0.60), klausītāji redz „Audio neskaidrs” tās vietā, nevis minējumu, un rindiņu nekad neizlasa skaļi. Lasītāji zaudē rindiņu; viņi nesaņem izdomātu.
Tie paši jautājumi, kas noteica šos slāņus, attiecas uz jebkuru pārdevēja precizitātes apgalvojumu, arī uz mūsējo.
Īss kontrolsaraksts jebkura precizitātes apgalvojuma lasīšanai:
VocalStack nepublicē iekšējo WER skaitli, pirmā iemesla dēļ, kas minēts augstāk: tas aprakstītu mūsu testa kopu, nevis jūsu audio. Mēs precizitāti mērām nepārtraukti. Kur salīdzinām citas sistēmas, mēs izmantojam publicētus neatkarīgus etalonus un pārdevēju publicētus skaitļus, nekad privātus testus. Pārējo jūsu pašu audio ir jānolemj.
