WER enako šteje napačno ime, napačno številko in izpuščeno »not« kot izpuščeni »the«. Sistem presodite po tem, katere napake ulovi in ali lahko vidite njegove popravke, ne po glavni številki.
Stopnja napak v besedah (word error rate, WER) je standardno merilo za razpoznavanje govora. Vzemite referenčni prepis, ki ga je preveril človek, poravnajte izhod stroja z njim besedo za besedo in preštejte tri vrste napak: zamenjave (napačna beseda), vrinjene besede (beseda, ki ni bila izrečena) in izpuščene besede (manjkajoča beseda). Seštejte jih in delite s številom besed v referenci.
WER = (zamenjave + vrinjene besede + izpuščene besede) / število besed v referenci
Poravnava ni narejena na oko. Oba besedila se poravnata z najmanjšo razdaljo urejanja (Levenshteinova razdalja, uporabljena na besedah namesto na črkah): od vseh možnih parov izhoda in reference ocenjevalnik izbere tistega z najmanj urejanji in jih prešteje. Ker se vrinjene besede štejejo in je imenovalec dolžina reference, WER lahko preseže 100 odstotkov: model, ki napolni tiho minuto z besedilom, dobi slabšo oceno kot tisti, ki ne napiše ničesar.
Recimo, da je referenca »we will meet Dr Okafor at nine on Thursday«, devet besed, stroj pa napiše »we will meet the doctor at nine on Tuesday«. To so tri zamenjave (Dr, Okafor, Thursday) na devet besed: WER 33 odstotkov. Dve tretjini besed sta pravilni, vi pa ste še vedno na napačnem sestanku na napačen dan. Če bi bila napačna le beseda »Thursday«, bi bil rezultat 11 odstotkov. Različica, v kateri so vse besede pravilne, a je dodan »um«, ki ga nihče ni izrekel, prav tako dobi 11 odstotkov, ker se vrinjena beseda šteje enako kot zamenjava.
Pred štetjem se obe besedili običajno normalizirata, izbira pri tem pa premakne oceno skoraj toliko kot sam model. Ali je »Dr« enako kot »Doctor«? Ali je »nine« enako kot »9«? Ali se šteje velikost črk in ločila? Stroga ocena bi »Dr« proti »Doctor« označila kot zamenjavo. Večina objavljenih ocen pretvori vse v male črke, odstrani ločila in vse številke zapiše na enak način, kot besede ali kot številke, preden primerja. Ocena dobavitelja je zato tiho odvisna od normalizatorja, ki ga ne vidite. Jeziki, zapisani brez presledkov med besedami, kot so kitajščina, japonščina in tajščina, nimajo jasne meje besed, zato se ocenjujejo z stopnjo napak v znakih (character error rate, CER): ista formula, uporabljena na znakih.
Iz tega sledita dve stvari. Prvič, WER 5 odstotkov pomeni eno besedo na dvajset, kar v enournem govoru pomeni več sto besed. Za primerjavo: človeški prepisovalci so pogosto navedeni z okoli 4 do 5 odstotki pri pogovornem govoru, leta 2017 pa je bil v pogosto navajanem rezultatu na korpusu telefonskih pogovorov Switchboard stroj pri približno 5,1 odstotka, čeprav je obe številki odvisna od zvoka in pravil ocenjevanja. Drugič, številka je popolnoma odvisna od testnega zvoka: čist prebran govor da eno številko, hrupna plošča z naglasi in prekrivajočimi se govorci pa čisto drugo. Glavni WER opisuje testni nabor dobavitelja prav toliko kot sistem dobavitelja.
To je štetje. Kar pusti izven, je cena vsake napake za bralca.
WER vsako besedo šteje enako. Bralci ne:
Vsaka od teh napak je ena ali dve napaki v stolpcu WER. V stolpcu bralca segajo od nič do drugega sestanka na drug dan. Zato vprašanje ni le »kakšna je stopnja napak«, ampak tudi »kakšne vrste napak in kaj jih ulovi«.
Več plasti ujame to, kar prepoznavanje zgreši, vsaka sprememba pa je zabeležena, da jo je mogoče pregledati in razveljaviti. Pri prepisu v živo se to zgodi med prihodom besedila: vsaka vrstica se najprej pojavi kot osnutek, ki se še lahko spremeni, nato pa postane dokončna (Zakasnitev prevoda v živo, pojasnjena pojasni, zakaj).
Nekatere napake ustrezajo zvoku, ne pa stavku: »their« namesto »there«. Takšne napake lahko ujame kontekst, popravek pa doseže bralce kot viden posodobitev (transcript.amended v API-ju), ne kot tiho prepisovanje. Kontekst je dober pri besedah, ki jih stavek lahko predvidi. Pri tistih, ki jih ne more, je nemočen.
Imena in strokovni izrazi so napake, ki jih kontekst ne more popraviti, ker se ime pogosto pojavi le enkrat in ni ničesar okoli, iz česar bi ga bilo mogoče predvideti. Referenčni scenarij to reši: sistemu pred začetkom predate govor, diapozitive ali seznam imen in izrazov, njegove besede pa imajo prednost pred tem, kar je motor slišal narobe. Med snemanjem scenarij sledi prepisu kot teleprompter, tako da gostitelj vidi, kako daleč je motor prišel. Scenarij pokrije besede, ki jih lahko predvidite; hrupen zvok in naglasi ustvarijo tiste, ki jih ne morete.
Nekatere napake lahko vidi le oseba v prostoru. Ročni popravki omogočajo gostitelju, da med živim prepisom prepiše katerokoli besedo ali vrstico, vsi poslušalci prenosa pa vidijo spremembo. Sistem gostitelja usmeri na verjetne kandidate: besede, pri katerih je bil motor negotov, so lahko obarvane in podčrtane, gostitelj pa lahko pregleduje negotove odseke enega za drugim, namesto da bi ponovno prebral celoten prepis. Prek API-ja GET /v1/recordings/{id}/corrections izpiše popravke posnetka, POST /v1/corrections/{id}/revert pa en popravek razveljavi; glejte referenco API-ja. Tudi oseba v prostoru pa ne more popraviti vrstice, ki je nihče ni slišal.
Zadnja plast sprejme, da nekaterega zvoka ni mogoče obnoviti. Kadar vrstica doseže pod pragom zaupanja prepisa (confidence.hideBelow, privzeto 0,60), poslušalci namesto ugibanja vidijo »Zvok nejasen«, vrstica pa nikoli ni prebrana na glas. Bralci izgubijo vrstico, ne pridobijo pa izmišljene.
Ista vprašanja, ki so oblikovala te plasti, veljajo za vsako trditev dobavitelja o natančnosti, tudi za našo.
Kratek seznam za branje vsake trditve o natančnosti:
VocalStack ne objavlja notranje številke WER iz prvega razloga zgoraj: opisovala bi naš testni nabor, ne vašega zvoka. Natančnost merimo nenehno. Kadar primerjamo druge sisteme, uporabljamo objavljena neodvisna merila in številke, ki jih objavijo dobavitelji, nikoli zasebnih testov. Ostalo naj odloči vaš lastni zvok.
