WER бұрыс атауды, қате санды және түсіп қалған «not» сөзін түсіп қалған «the» сөзімен бірдей бағалайды. Транскрипциялау жүйесін бас көрсеткішіне емес, қандай қателерді ұстайтынына және оның түзетулерін көре аласыз ба, соған қарап бағалаңыз.
Сөз қатесінің деңгейі (word error rate, WER) сөйлеуді тану саласындағы стандартты өлшем болып табылады. Адам тексерген анықтамалық транскриптті алыңыз, машина шығарған мәтінді оған сөз-сөзімен салыстырыңыз да үш түрлі қатені санаңыз: алмастырулар (қате сөз), қосымшалар (ешкім айтпаған сөз) және түсіп қалулар (жоқ сөз). Олардың қосындысын анықтамалық мәтіндегі сөздер санына бөліңіз.
WER = (алмастырулар + қосымшалар + түсіп қалулар) / анықтамалық мәтіндегі сөздер саны
Сөздерді қатарластыру көзбен емес, есеппен жасалады. Екі мәтін ең аз өңдеу қашықтығымен (Левенштейн қашықтығы, әріптердің орнына сөздерге қолданылады) салыстырылады: шығыс пен анықтаманы жұптастырудың барлық нұсқаларының ішінен скоринг жүйесі ең аз өзгерісі бар нұсқаны таңдап, сол өзгерістерді санайды. Қосымшалар есептелетіндіктен және бөлгіш анықтамалық мәтіннің ұзындығы болғандықтан, WER 100 пайыздан асып кетуі мүмкін: тыныш минутты мәтінмен толтыратын модель ештеңе жазбайтын модельден нашар балл алады.
Анықтамалық мәтін «we will meet Dr Okafor at nine on Thursday» болсын, яғни тоғыз сөз, ал машина «we will meet the doctor at nine on Tuesday» деп жазсын. Бұл үш алмастыру (Dr, Okafor, Thursday) тоғыз сөзге бөлінеді: WER — 33 пайыз. Сөздердің үштен екісі дұрыс, бірақ сіз әлі де басқа кездесуде, басқа күнде жүрсіз. Егер тек «Thursday» сөзі қате болса, көрсеткіш 11 пайыз болар еді. Ешкім айтпаған «um» сөзі қосылып, қалған бәрі дұрыс болған нұсқа да 11 пайыз көрсетеді, себебі қосымша алмастыру сияқты есептеледі.
Санау алдында екі мәтін әдетте нормаланады, ал мұндағы таңдаулар модель сияқты баллға әсер етеді. «Dr» пен «Doctor» бір сөз бе? «nine» пен «9» бір ме? Регистр мен тыныс белгілері ескеріле ме? Қатаң скоринг «Dr» мен «Doctor» сөздерін алмастыру деп белгілейді. Жарияланған көрсеткіштердің көпшілігі салыстыру алдында барлық әріпті кіші әріппен жазып, тыныс белгілерін алып тастайды және барлық сандарды бір түрге, сөз немесе цифр түріне келтіреді. Сондықтан сатушының көрсеткіші сіз көре алмайтын нормалаушыға байланысты болады. Сөздері бос орынсыз жазылатын тілдерде, мысалы қытай, жапон және тай тілдерінде, санауға лайық анық сөз шекарасы жоқ, сондықтан олар таңба қатесінің деңгейімен (character error rate, CER) бағаланады: дәл осындай формула, бірақ сөздердің орнына таңбаларға қолданылады.
Осыдан екі қорытынды шығады. Біріншіден, WER 5 пайыз — жиырма сөздің біреуі, бір сағаттық сөйлеуде бірнеше жүз сөз дегенді білдіреді. Салыстыру үшін айтсақ, адам транскрипторларының қателігі сөйлесу тіліндегі дыбыста шамамен 4–5 пайыз деп жиі айтылады, ал 2017 жылғы жиі келтірілетін Switchboard телефон корпусындағы нәтижеде машина шамамен 5,1 пайыз көрсеткен, бірақ екі шама да аудиоға және скоринг ережелеріне байланысты. Екіншіден, сан толық сынақ аудиосына тәуелді: таза оқылған сөйлеу бір көрсеткішті, ал акценттері және бір мезгілде сөйлеу бар шулы панельдік талқылау мүлдем басқа көрсеткішті береді. Бас WER сатушының жүйесін сипаттағанмен, сатушының сынақ жинағын көбірек сипаттайды.
Бұл — санау. Ал ол қамтымайтыны — оқушыға әр қатенің қандай құны болатыны.
WER әр сөзді бірдей санайды. Ал оқушылар олай ойламайды:
Бұлардың әрқайсысы WER бағанында бір-екі қате болады. Оқушы бағанында олардың құны ешнәрседен бастап, басқа күнгі басқа кездесуге дейін өзгереді. Сондықтан сұрақ «қате деңгейі қандай» ғана емес, «қандай қателер бар және оларды не ұстайды» деген сұрақ болуы керек.
Бірнеше қабат танудың қателерін ұстайды, ал әр өзгеріс жазылып қалады, сондықтан оны тексеруге және кері қайтаруға болады. Тікелей транскрипциялауда бұл мәтін әлі келіп жатқанда орындалады: әр жол алдымен өзгеруі мүмкін алдын ала нұсқа ретінде көрінеді, содан кейін соңғы болады (Тікелей аударманың кідірісі, түсіндірме мұның себебін түсіндіреді).
Кейбір қателер дыбысқа сәйкес келеді, бірақ сөйлемге сәйкес келмейді: «there» керек жерде «their» жазылған. Мұндай қателерді контекстен түзетуге болады, және түзету оқушыларға көрінетін жаңартумен жетеді (API-дағы transcript.amended), үнсіз қайта жазумен емес. Контекст сөйлемнің болжай алатын сөздерінде жақсы жұмыс істейді. Болжай алмайтын сөздерде ол көмектеспейді.
Атаулар мен техникалық терминдер — контекст түзете алмайтын қателер, себебі атау көбіне бір рет кездеседі, оны болжауға көмектесетін ештеңе жоқ. Анықтамалық сценарий бұл мәселені шешеді: сөйлеуді, слайдтарды немесе атаулар мен терминдер тізімін бастамас бұрын жүйеге беріңіз, сонда оның сөздері қате тыңдалғанынан басым болады. Жазу барысында сценарий транскриптті телесуфлер сияқты ілестіріп отырады, сондықтан жүргізуші жүйенің қаншалықты алға жылжығанын көре алады. Сценарий болжауға болатын сөздерді қамтиды, ал шулы дыбыс пен акценттер болжауға болмайтындарды туғызады.
Кейбір қателерді тек залдағы адам көре алады. Қолмен түзетулер жүргізушіге тікелей транскрипция жүріп жатқанда кез келген сөзді немесе жолды қайта жазуға мүмкіндік береді, ал трансляцияға қосылған әр тыңдаушы өзгерісті көреді. Жүйе жүргізушіге ықтимал үміткерлерді көрсетеді: жүйе сенімсіз болған сөздер түспен бөлініп, астын сызылады, ал жүргізуші бүкіл транскриптті қайта оқудың орнына сенімсіз сегменттерді бірлеп өтіп шыға алады. API арқылы GET /v1/recordings/{id}/corrections жазбаның барлық түзетулерін тізеді, ал POST /v1/corrections/{id}/revert бір түзетуді болдырмайды; қараңыз: API анықтамасы. Дегенмен залдағы адам да ешкім естімеген жолды түзете алмайды.
Соңғы қабат кейбір аудионы қалпына келтіру мүмкін еместігін мойындайды. Жол транскрипцияның сенімділік шегінен төмен балл алған кезде (confidence.hideBelow, әдепкі мәні 0,60), тыңдаушылар жорамалдың орнына «Audio unclear» көреді, ал жол ешқашан дауыстап оқылмайды. Оқушы жолды жоғалтады; жасанды жол алмайды.
Осы қабаттарды құрған сұрақтар кез келген жеткізушінің дәлдік мәлімдемесіне, соның ішінде біздікіне де қолданылады.
Кез келген дәлдік мәлімдемесін оқуға арналған қысқа тексеру тізімі:
VocalStack өзінің ішкі WER көрсеткішін жарияламайды, бірінші себеппен: ол біздің сынақ жинағын сипаттайды, сіздің аудиоңызды емес. Біз дәлдікті үздіксіз өлшейміз. Басқа жүйелерді салыстырғанда тәуелсіз жарияланған бенчмарктарды және сатушылар жариялаған көрсеткіштерді қолданамыз, жекелеген сынақтарды ешқашан. Қалғанын шешуді сіздің аудиоңыз жасасын.
