WER исто ги оценува погрешното име, погрешниот број и изоставеното „не“ како испуштеното „the“. Систем за транскрипција оценувајте според тоа кои грешки ги фаќа и дали можете да ги видите неговите корекции, а не според главниот број.
Стапката на грешки во зборови (word error rate, WER) е стандардната мерка за препознавање говор. Земете референтен транскрипт што го проверил човек, порамнете го излезот на машината со него збор по збор и броете три видови грешки: замени (погрешен збор), вметнувања (збор што никогаш не бил изговорен) и испуштања (збор што недостасува). Соберете ги и поделете со бројот на зборови во референтниот текст.
WER = (замени + вметнувања + испуштања) / зборови во референтниот текст
Порамнувањето не се прави со око. Двата текста се порамнуваат според минимално растојание на уредување (Левенштајново растојание, применето на зборови, а не на букви): од сите начини да се спари излезот со референтниот текст, оценувачот го избира оној со најмалку уредувања и ги брои тие. Бидејќи вметнувањата се броат, а именителот е должината на референтниот текст, WER може да надмине 100 отсто: model што ја пополнува тивката минута со текст добива полоша оценка од оној што не напишал ништо.
Да речеме дека референтниот текст е „ќе видиме со д-р Okafor во девет во четврток“, девет зборови, а машината пишува „ќе видиме со тој доктор во девет во вторник“. Тоа се три замени (д-р, Okafor, четврток) во девет зборови: WER од 33 отсто. Две третини од зборовите се точни, а сепак сте на погрешна средба на погрешен ден. Ако погрешен бил само „четврток“, резултатот би бил 11 отсто. Верзија во која секој збор е точен, но е додадено „еее“ што никој не го кажал, исто така добива 11 отсто, бидејќи вметнувањето се брои исто како замената.
Пред броењето, двата текста обично се нормализираат, а изборите направени тука ја поместуваат оценката колку и самиот модел. Дали „д-р“ е исто што и „доктор“? Дали „девет“ е исто што и „9“? Се броат ли големите букви и интерпункцијата? Строгото бодирање би ги означило „д-р“ наспроти „доктор“ како замена. Повеќето објавени оценки сè претвораат во мали букви, ја симнуваат интерпункцијата и секој број го запишуваат на ист начин, со букви или со цифри, пред споредбата. Бројката на еден добавувач затоа тивко зависи од нормализатор што не можете да го видите. Јазиците што се пишуваат без празни места меѓу зборовите, како кинескиот, јапонскиот и тајскиот, немаат јасна граница на збор за броење, па затоа се оценуваат со стапка на грешки во знаци (CER): истата формула, применета на знаци.
Од тоа произлегуваат две работи. Прво, WER од 5 отсто е еден збор од дваесет, што во едночасовно излагање прави неколку стотини зборови. За споредба, на човечките транскриптори често им се припишува околу 4 до 5 отсто на разговорен говор, а познатиот резултат од 2017 година на телефонскиот корпус Switchboard го постави машинскиот систем на околу 5,1 отсто, иако и двете бројки зависат од звукот и правилата за оценување. Второ, бројката зависи целосно од тест-звукот: чист читан говор дава една бројка, а бучен панел со акценти и преклопување на говорот дава сосема друга. Главниот WER го опишува тест-сетот на добавувачот колку што го опишува и неговиот систем.
Тоа е бројењето. Она што го изоставува е цената на секоја грешка за читателот.
WER секој збор го смета за еднаков. Читателите не:
Секоја од овие е една или две грешки во колоната на WER. Во колоната на читателот се движат од ништо до друга средба на друг ден. Затоа прашањето не е само „која е стапката на грешки“, туку и „какви грешки се тоа и што ги фаќа“.
Неколку слоеви ја фаќаат грешката на препознавањето, а секоја промена се бележи за да може да се прегледа и поништи. Кај транскрипцијата во живо ова се случува додека текстот уште пристига: секој ред најпрво се појавува како нацрт што може уште да се менува, а потоа станува конечен (Доцнењето на превод во живо, објаснето објаснува зошто).
Некои грешки одговараат на звукот, но не и на реченицата: „their“ таму каде реченицата бара „there“. Тие може да се фатат од контекстот, а корекцијата до читателите стигнува како видлива измена (transcript.amended во API-то), а не како тивко пренапишување. Контекстот добро работи со зборовите што реченицата може да ги предвиди. Со оние што не може, е немоќен.
Имињата и техничките термини се грешките што контекстот не може да ги поправи, бидејќи името често се појавува само еднаш, без ништо околу него од што би можело да се предвиди. Референтна скрипта го решава ова: пред да почнете, му ги дадете на системот говорот, слајдовите или список со имиња и термини, и неговите зборови имаат предност над она што машината погрешно го слушнала. За време на снимањето скриптата ја следи транскрипцијата како телепромптер, па домаќинот може да види колку далеку стигнал системот. Скриптата ги покрива зборовите што можете да ги предвидите; бучниот звук и акцентите ги произведуваат оние што не можете.
Некои грешки може да ги види само некој во просторијата. Рачните корекции му дозволуваат на домаќинот да запише наново кој било збор или ред додека транскрипцијата уште е во живо, а секој слушател на преносот ја гледа промената. Системот го упатува домаќинот кон веројатните кандидати: зборовите за кои машината не била сигурна може да се обојат и подвлечат, а домаќинот може да ги мине несигурните сегменти еден по еден, наместо повторно да ја чита целата транскрипција. Преку API-то, GET /v1/recordings/{id}/corrections ги наведува корекциите на една снимка, а POST /v1/corrections/{id}/revert поништува една; видете ја API референцата. Дури и човек во просторијата, сепак, не може да поправи ред што никој не можел да го слушне.
Последниот слој прифаќа дека некои звуци не може да се повратат. Кога еден ред ќе добие оценка под прагот на доверба на транскрипцијата (confidence.hideBelow, по основно 0,60), слушателите наместо него гледаат „Звукот е нејасен“, а редот никогаш не се чита наглас. Читателите губат еден ред; тие не добиваат измислен.
Истите прашања што ги обликувале овие слоеви важат за секоја тврдња за точност на добавувач, вклучително и нашата.
Краток список за проверка на секоја тврдња за точност:
VocalStack не објавува внатрешна бројка за WER, поради првата причина погоре: таа би го опишувала нашиот тест-сет, а не вашиот звук. Точноста ја мериме континуирано. Кога споредуваме други системи, користиме објавени независни бенчмарк-тестови и бројки објавени од добавувачите, никогаш приватни тестови. Останатото го одлучува вашиот сопствен звук.
