WER telur rangt nafn, ranga tölu og fallna neitun jafnt og orð sem fellur niður. Metðu umritunarkerfi eftir því hvaða villur það grípur og hvort þú getur séð lagfæringar þess, ekki eftir fyrirsagnartölunni.
Villuhlutfall orða (WER) er staðlaður mælikvarði fyrir talgreiningu. Tökum viðmiðunaruppskrift sem einhver hefur yfirfarið, berum úttak vélarinnar saman við hana orð fyrir orð og teljum þrjár tegundir mistaka: staðgengdarvillur (rangt orð), innskot (orð sem var aldrei sagt) og eyðingar (orð sem vantar). Leggðu þær saman og deildu með fjölda orða í viðmiðunaruppskriftinni.
WER = (staðgengdarvillur + innskot + eyðingar) / orð í viðmiðunaruppskrift
Röðunin er ekki gerð með augunum. Uppskriftirnar tvær eru samræmdar með lágmarks breytifjarlægð (Levenshtein-fjarlægð, beitt á orð en ekki stafi): af öllum leiðum til að para úttakið við viðmiðunina velur mælikvarðinn þá sem hefur fæstar breytingar og telur þær. Af því að innskot telja og nefnarinn er lengd viðmiðunarinnar getur WER farið yfir 100 prósent: líkan sem fyllir þögla mínútu með texta fær verri einkunn en líkan sem skrifar ekkert.
Segjum að viðmiðunin sé „við hittumst hjá Dr. Okafor klukkan níu á fimmtudaginn“, níu orð, og vélin skrifi „við hittumst hjá lækninum Ókafó klukkan níu á þriðjudaginn“. Það eru þrjár staðgengdarvillur (Dr., Okafor og fimmtudaginn) af níu orðum: WER upp á 33 prósent. Tveir þriðju orðanna eru réttir, en þú ert samt á röngum fundi á röngum degi. Ef aðeins fimmtudagurinn væri vitlaus væri einkunnin 11 prósent. Útgáfa þar sem hvert orð er rétt en bætt er við „hm“ sem enginn sagði fær líka 11 prósent, því innskot telst jafnt og staðgengdarvilla.
Áður en talningin fer fram eru textarnir yfirleitt normaliseraðir, og valin sem gerð eru þar hreyfa einkunnina jafn mikið og líkanið sjálft. Er „Dr.“ sama orð og „doktor“? Er „níu“ það sama og „9“? Skipta hástafir og greinarmerki máli? Ströng einkunnagjöf myndi telja „Dr.“ á móti „doktor“ sem staðgengdarvillu. Flestar birtar tölur gera allt lágstafa, fjarlægja greinarmerki og skrifa allar tölur á einn veg, sem orð eða tölustafi, áður en þær eru bornar saman. Tala söluaðila byggir því lúmskt á normalísara sem þú getur ekki séð. Tungumál sem eru skrifuð án bila milli orða, eins og kínverska, japanska og taílenska, hafa engin skýr orðamörk til að telja, og því er þeim gefið villuhlutfall stafa (CER) í staðinn: sama formúla, beitt á stafi.
Tvennt leiðir af þessu. Í fyrsta lagi er 5 prósent WER eitt orð af hverjum tuttugu, sem gera nokkur hundruð orð í klukkustundar löngu erindi. Til samanburðar er mannlegum uppskriftarriturum oft gefið upp um 4 til 5 prósent á samræðutali, og þekkt niðurstaða frá 2017 á Switchboard-símasafninu setti vél í um 5.1 prósent, þótt báðar tölur ráðist af hljóðinu og reglunum um einkunnagjöf. Í öðru lagi ræðst talan algjörlega af prófunarhljóðinu: skýr upplestur gefur eina tölu og hávær pallborðsumræða með hreimum og frammíköllum gefur allt aðra. Hausatala WER lýsir prófunarsafni söluaðilans jafn mikið og kerfi hans.
Þetta er talningin. Það sem hún skilur eftir er kostnaðurinn af hverri villu fyrir þann sem les.
WER lítur á hvert orð sem jafngilt. Lesendur gera það ekki:
Hver þessara er ein eða tvær villur í WER-dálkinum. Í dálki lesandans spanna þær allt frá engu upp í allt annan fund á öðrum degi. Spurningin er því ekki aðeins „hvert er villuhlutfallið“ heldur „hvers konar villur, og hvað grípur þær“.
Nokkur lög grípa það sem talgreiningin fer úrskeiðis með, og sérhver breyting er skráð svo hægt sé að skoða hana og snúa henni til baka. Í umritun í beinni gerist þetta á meðan textinn er enn að berast: hver lína birtist fyrst sem drög sem geta enn breyst og verður síðan endanleg (Seinkun á beinni þýðingu, útskýrð skýrir af hverju).
Sum mistök passa við hljóðið en ekki setninguna: „þeir“ þar sem setningin þarf „þær“. Þau er hægt að grípa út frá samhenginu, og leiðrétting nær lesendum sem sýnileg uppfærsla (transcript.amended í API), ekki sem þögul endurskrifun. Samhengið er gott með orð sem setningin getur spáð fyrir um. Það er gagnslaust með þau sem það getur ekki.
Nöfn og tæknileg hugtök eru þær villur sem samhengið getur ekki lagað, því nafn kemur oft aðeins einu sinni fram, með engu í kring til að spá fyrir um það. Viðmiðunarhandrit leysir þetta: gefðu kerfinu hljóðið, glærurnar eða lista yfir nöfn og hugtök áður en þú byrjar, og orðin þar hafa forgang fram yfir það sem vélin heyrði vitlaust. Meðan á upptöku stendur fylgir handritið umritunni eins og framkallari (teleprompter), svo kynnirinn sér hversu langt vélin er komin. Handrit nær yfir þau orð sem þú getur séð fyrir; hávaðasamt hljóð og hreimar framleiða hin.
Sumar villur sér aðeins manneskja í salnum. Handvirkar leiðréttingar leyfa kynnanum að endurskrifa hvaða orð eða línu sem er á meðan umritunin er í beinni, og hver hlustandi á útsendingunni sér breytinguna. Kerfið bendir kynninum á líklegu kandídatana: orð sem vélin var óviss um er hægt að lita og undirstrika, og kynnirinn getur farið yfir óvissu hlutana einn í einu í stað þess að lesa allan textann aftur. Í gegnum API sýnir GET /v1/recordings/{id}/corrections leiðréttingar upptöku og POST /v1/corrections/{id}/revert afturkallar einni þeirra; sjá API-viðmiðunina. Jafnvel manneskja í salnum getur þó ekki leiðrétt línu sem enginn heyrði.
Síðasta lagið viðurkennir að sumt hljóð er ekki hægt að endurheimta. Þegar lína fær lægri einkunn en traustsþröskuldur umritunarinnar (confidence.hideBelow, 0.60 sjálfgefið) sjá hlustendur „Hljóð óskýrt“ í staðinn fyrir ágiskun, og línan er aldrei lesin upp. Lesendur missa línu; þeir fá ekki uppspunnna línu í staðinn.
Sömu spurningar og mótuðu þessi lög virka á hverja nákvæmnisfullyrðingu seljanda, líka okkar.
Stutt gátlisti til að lesa hverja fullyrðingu um nákvæmni:
VocalStack birtir ekki innri WER-tölu, af fyrstu ástæðunni hér að ofan: hún myndi lýsa prófunarsafni okkar, ekki þínu hljóði. Við mælum nákvæmni stöðugt. Þegar við berum saman önnur kerfi notum við birtar óháðar prófanir og tölur seljenda, aldrei einkaprófanir. Afgangurinn er fyrir þitt eigið hljóð að skera úr um.
