WER tel ’n verkeerde naam, ’n verkeerde getal en ’n weggelate "nie" net so swaar as ’n weggelate "die". Beoordeel ’n transkripsiestelsel volgens watter foute dit vang en of jy sy regstellings kan sien, nie volgens die hoofgetal nie.
Woordfoutkoers (WER) is die standaardmaatstaf vir spraakherkenning. Neem ’n referensietranskripsie wat ’n mens nagesien het, belyn die masjien se uitset woord vir woord daarteen, en tel drie soorte foute: substitusies (’n verkeerde woord), invoegings (’n woord wat nooit gesê is nie) en weglatings (’n woord wat ontbreek). Tel hulle bymekaar en deel deur die aantal woorde in die referensie.
WER = (substitusies + invoegings + weglatings) / woorde in die referensie
Die belyning word nie met die oog gedoen nie. Die twee transkripsies word belyn volgens minimum redigeringsafstand (die Levenshtein-afstand, toegepas op woorde eerder as letters): van al die maniere om die uitset met die referensie te paar, kies die telling die een met die minste redigerings en tel dié. Omdat invoegings tel en die noemer die lengte van die referensie is, kan WER meer as 100 persent wees: ’n model wat ’n stil minuut met teks vul, presteer slegter as een wat niks skryf nie.
Neem die referensie "ons sal Dr Okafor om nege uur op Donderdag ontmoet", nege woorde, en die masjien skryf "ons sal die dokter om nege uur op Dinsdag ontmoet". Dit is drie substitusies (Dr, Okafor, Donderdag) oor nege woorde: ’n WER van 33 persent. Twee derdes van die woorde is reg, en tog is jy by die verkeerde afspraak op die verkeerde dag. As net "Donderdag" verkeerd was, sou die telling 11 persent wees. ’n Weergawe met elke woord reg maar ’n bygevoegde "um" wat niemand gesê het nie, tel ook 11 persent, want ’n invoeging tel net so swaar as ’n substitusie.
Voor die telling word albei tekste gewoonlik genormaliseer, en die keuses wat daar gemaak word, skuif die telling net so veel as die model self. Is "Dr" dieselfde woord as "Doctor"? Is "nege" dieselfde as "9"? Tel hoofletters en leesteke mee? Streng telling sou "Dr" teen "Doctor" as ’n substitusie merk. Die meeste gepubliseerde tellings maak alles kleinletters, haal leesteke weg en skryf elke getal op een manier, as woorde of as syfers, voordat hulle vergelyk. ’n Verskaffer se syfer hang dus stilweg af van ’n normaliseerder wat jy nie kan sien nie. Tale wat sonder spasies tussen woorde geskryf word, soos Chinees, Japannees en Thai, het geen skoon woordgrens om te tel nie, en word daarom met karakterfoutkoers (CER) gemeet: dieselfde formule, toegepas op karakters.
Twee dinge volg hieruit. Eerstens beteken ’n WER van 5 persent een woord uit twintig, wat neerkom op etlike honderde woorde in ’n uur se praatjie. Ter vergelyking: menslike transkribeerders word dikwels op ongeveer 4 tot 5 persent vir gespreksspraak aangehaal, en ’n baie aangehaalde resultaat uit 2017 op die Switchboard-telefoonkorpus het ’n masjien op ongeveer 5.1 persent geplaas, al hang albei syfers van die klank en die telreëls af. Tweedens hang die getal heeltemal van die toetsklank af: skoon voorgelese spraak gee een syfer, en ’n geraasvolle paneel met aksente en oorvleuelende praatwerk gee ’n baie ander een. ’n Hoofsyfer vir WER beskryf die verskaffer se toetsstel net so veel as dit die verskaffer se stelsel beskryf.
Dit is die telling. Wat dit uitlaat, is wat elke fout die leser kos.
WER behandel elke woord as gelyk. Lesers doen nie.
Elk hiervan is een of twee foute in die WER-kolom. In die leser se kolom wissel hulle van niks tot ’n ander vergadering op ’n ander dag. Dus is die vraag nie net "wat is die foutkoers" nie, maar ook "watter soorte foute, en wat vang hulle?"
Verskeie lae vang wat herkenning verkeerd kry, en elke verandering word aangeteken sodat dit nagegaan en omgekeer kan word. By regstreekse transkripsie gebeur dit terwyl die teks nog inkom: elke reël verskyn eers as ’n konsep wat nog kan verander, en word dan finaal (Vertraging in regstreekse vertaling, verduidelik verduidelik waarom).
Sommige foute pas by die klank maar nie by die sin nie: ’n woord wat net so klink as die regte een, maar nie by die res van die sin pas nie. Hierdie regstellings kan uit konteks gedoen word, en ’n regstelling bereik lesers as ’n sigbare opdatering (transcript.amended in die API), nie as ’n stil herskrywing nie. Konteks is goed met woorde wat die sin kan voorspel. Dit is magteloos met die res.
Name en tegniese terme is die foute wat konteks nie kan regstel nie, want ’n naam verskyn dikwels net een keer, met niks rondom dit waaruit dit voorspel kan word nie. ’n verwysingskrip los dit op: gee die stelsel die spraak, die skyfies of ’n lys van name en terme voordat jy begin, en sy woorde kry voorrang bo wat die enjin verkeerd gehoor het. Tydens die opname volg die skrip die transkripsie soos ’n teleprompter, sodat die gasheer kan sien hoe ver die enjin gevorder het. ’n Skrip dek die woorde wat jy kan voorspel; geraasvolle klank en aksente lewer die wat jy nie kan voorspel nie.
Sommige foute kan net ’n persoon in die kamer sien. Handmatige regstellings laat die gasheer enige woord of reël herskryf terwyl die transkripsie nog regstreeks is, en elke luisteraar op die uitsending sien die verandering. Die stelsel wys die gasheer na die waarskynlike kandidate: woorde waaroor die enjin onseker was, kan gekleur en onderstreep word, en die gasheer kan die onsekere segmente een vir een deurloop in plaas daarvan om die hele transkripsie oor te lees. Via die API lys GET /v1/recordings/{id}/corrections ’n opname se regstellings, en POST /v1/corrections/{id}/revert maak een ongedaan; sien die API-verwysing. Selfs ’n persoon in die kamer kan egter nie ’n reël regstel wat niemand kon hoor nie.
Die laaste laag aanvaar dat sommige klank nie herwinbaar is nie. As ’n reël onder die transkripsie se vertrouensdrempel val (confidence.hideBelow, standaard 0.60), sien luisteraars "Klank onduidelik" in plaas daarvan, en die reël word nooit hardop gelees nie. Lesers verloor ’n reël; hulle kry nie ’n versinsel nie.
Dieselfde vrae wat hierdie lae gevorm het, werk op enige verskaffer se akkuraatheidseis, insluitend ons s’n.
’n Kort kontrolelys vir die lees van enige akkuraatheidseis:
VocalStack publiseer nie ’n interne WER-syfer nie, om die eerste rede hierbo: dit sou ons toetsstel beskryf, nie jou klank nie. Ons meet akkuraatheid voortdurend. Waar ons ander stelsels vergelyk, gebruik ons gepubliseerde onafhanklike maatstawwe en verskaffer-gepubliseerde syfers, nooit privaat toetse nie. Die res is vir jou eie klank om te beslis.
