WER отчита грешно име, грешно число и пропуснато „not“ със същата тежест като пропуснато „the“. Оценявайте система за транскрипция по това какви грешки улавя и дали можете да виждате корекциите ѝ, а не по основната ѝ цифра.
Процентът грешни думи (word error rate, WER) е стандартната мярка за разпознаване на реч. Вземете референтен текст, който човек е проверил, подредете резултата на машината дума по дума срещу него и преброете три вида грешки: замени (погрешна дума), вмъквания (дума, която никой не е казал) и пропуски (липсваща дума). Съберете ги и разделете на броя думи в референтния текст.
WER = (замени + вмъквания + пропуски) / брой думи в референтния текст
Подреждането не се прави на око. Двата текста се подравняват по минимално разстояние на редакция (разстоянието на Левенщайн, приложено към думи, а не към букви): от всички начини да се съпоставят резултатът и референтният текст оценителят избира този с най-малко редакции и ги брои. Понеже вмъкванията се броят, а знаменателят е дължината на референтния текст, WER може да надхвърли 100 процента: модел, който запълва тиха минута с текст, получава по-лоша оценка от този, който не пише нищо.
Да допуснем, че референтният текст е „we will meet Dr Okafor at nine on Thursday“ – девет думи, а машината пише „we will meet the doctor at nine on Tuesday“. Това са три замени (Dr, Okafor, Thursday) върху девет думи, т.е. WER от 33 процента. Две трети от думите са верни, а вие все пак сте на грешната среща в грешния ден. Ако грешна беше само „Thursday“, оценката щеше да е 11 процента. Версия, в която всяка дума е вярна, но е добавено „um“, което никой не е казал, също получава 11 процента, защото вмъкването се брои толкова, колкото и замяната.
Преди броенето двата текста обикновено се нормализират, а изборите при нормализацията променят оценката почти толкова, колкото и самият модел. Равно ли е „Dr“ на „Doctor“? Равно ли е „nine“ на „9“? Важни ли са главните букви и пунктуацията? При строго оценяване „Dr“ срещу „Doctor“ би се отчело като замяна. Повечето публикувани оценки превръщат всичко в малки букви, махат пунктуацията и записват числата по един и същи начин – като думи или като цифри – преди сравнението. Затова цифрата на даден доставчик тихомълком зависи от нормализатор, който не можете да видите. Езиците, които се пишат без интервали между думите, като китайски, японски и тайски, нямат ясна граница между думите, която да се брои, затова се оценяват с процент грешни символи (CER): същата формула, приложена към символите.
От това следват две неща. Първо, WER от 5 процента означава една дума от двадесет, което прави няколкостотин думи в един час говор. За сравнение, човешките преписватели често се оценяват на около 4 до 5 процента при разговорна реч, а често цитираният резултат от 2017 г. върху телефонния корпус Switchboard поставя машината на около 5,1 процента, макар че и двете цифри зависят от аудиото и от правилата за оценяване. Второ, числото зависи изцяло от тестовото аудио: чистата прочетена реч дава една стойност, а шумен панел с акценти и припокриващи се реплики – съвсем друга. Една обобщена WER стойност описва тестовия набор на доставчика толкова, колкото и самата система на доставчика.
Това е броенето. Какво то пропуска е цената на всяка грешка за човека, който чете.
WER третира всяка дума като равна на останалите. Читателите – не:
Всяка от тях е една или две грешки в колоната на WER. В колоната на читателя те варират от нищо до друга среща в друг ден. Затова въпросът не е само „колко процента грешки има“, а и „какви грешки са това и какво ги улавя“.
Няколко слоя улавят грешките, които разпознаването допуска, и всяка промяна се записва, за да може да бъде проверена и отменена. При транскрипция на живо това се случва, докато текстът още пристига: всеки ред първо се показва като чернова, която още може да се промени, и едва след това става окончателен (Закъснението на превода на живо, обяснено обяснява защо).
Някои грешки пасват на звука, но не и на изречението: „their“ там, където изречението иска „there“. Такива грешки могат да се уловят от контекста, а корекцията стига до читателите като видима промяна (transcript.amended в API), а не като тихо пренаписване. Контекстът помага за думи, които изречението може да предвиди. За останалите е безсилен.
Имената и техническите термини са грешките, които контекстът не може да поправи, защото името често се появява само веднъж, без нищо около него, от което да бъде предсказано. Референтният сценарий решава това: дайте на системата речта, слайдовете или списък с имена и термини преди началото, и нейните думи имат предимство пред това, което е чула погрешно. По време на записа сценарият следва транскрипта като телесуфлор, така че водещият вижда докъде е стигнала системата. Сценарият покрива думите, които можете да предвидите; шумното аудио и акцентите дават онези, които не можете.
Някои грешки се виждат само от човек в залата. Ръчните корекции позволяват на водещия да пренапише всяка дума или ред, докато транскрипцията още е на живо, а всеки слушател в излъчването вижда промяната. Системата насочва водещия към вероятните кандидати: думите, в които разпознаването не е било сигурно, могат да бъдат оцветени и подчертани, а водещият може да премине през несигурните сегменти един по един, вместо да препрочита целия транскрипт. През API GET /v1/recordings/{id}/corrections изброява корекциите на даден запис, а POST /v1/corrections/{id}/revert отменя една от тях; вижте справочника на API. Дори човек в залата обаче не може да поправи ред, който никой не е чул.
Последният слой приема, че някое аудио не може да бъде възстановено. Когато даден ред получи оценка под прага на увереност на транскрипцията (confidence.hideBelow, по подразбиране 0,60), слушателите виждат „Аудио неясно“ вместо предположение, а редът никога не се чете на глас. Читателите губят един ред; те не получават измислен.
Същите въпроси, които оформиха тези слоеве, важат за всяко твърдение за точност от всеки доставчик, включително от нас.
Кратък списък за четене на всяко твърдение за точност:
VocalStack не публикува вътрешна WER стойност, по първата причина по-горе: тя би описвала нашия тестов набор, а не вашето аудио. Измерваме точността непрекъснато. Когато сравняваме други системи, използваме публикувани независими измервания и цифри, публикувани от самите доставчици, никога лични тестове. Останалото е за вашето собствено аудио да реши.
