Sõnavea määr loeb vale nime, vale numbri ja kadunud „not“ sama raskeks kui kadunud sõna „the“. Hinda transkriptsioonisüsteemi selle järgi, milliseid vigu ta püüab kinni ja kas näed tema parandusi, mitte peanumbri järgi.
Sõnavea määr (word error rate, WER) on kõnetuvastuse tavapärane mõõdupuu. Võta inimese poolt kontrollitud viitetekst, joonda masina väljund sõna-sõnalt selle kõrvale ja loe kokku kolm liiki vigu: asendused (vale sõna), sisestused (sõna, mida pole öeldud) ja kustutused (puuduv sõna). Liida need kokku ja jaga viiteteksti sõnade arvuga.
WER = (asendused + sisestused + kustutused) / sõnad viitetekstis
Joondamine ei toimu silmamõõdu järgi. Kaks teksti joondatakse minimaalse redigeerimiskauguse (Levenshteini kaugus, rakendatuna sõnadele, mitte tähtedele) abil: kõigi võimalike paaristuste hulgast valib skoorija selle, kus on kõige vähem muudatusi, ja loeb need kokku. Kuna sisestused loetakse ja nimetajaks on viiteteksti pikkus, võib WER ületada 100 protsenti: mudel, mis täidab vaikse minuti tekstiga, saab halvema skoori kui see, mis ei kirjuta üldse midagi.
Oletame, et viitetekst on „we will meet Dr Okafor at nine on Thursday“, üheksa sõna, ja masin kirjutab „we will meet the doctor at nine on Tuesday“. See on kolm asendust (Dr, Okafor, Thursday) üheksa sõna kohta, ehk WER 33 protsenti. Kaks kolmandikku sõnadest on õiged, aga sa oled ikka vales kohas vales ajas. Kui valesti oleks ainult „Thursday“, oleks skoor 11 protsenti. Versioon, kus iga sõna on õige, aga on lisatud „um“, mida keegi ei öelnud, saab samuti 11 protsenti, sest sisestus loetakse sama palju kui asendus.
Enne loendamist normaliseeritakse mõlemad tekstid tavaliselt, ja seal tehtud valikud liigutavad skoori sama palju kui mudel. Kas „Dr“ on sama sõna mis „Doctor“? Kas „nine“ on sama mis „9“? Kas suur- ja väiketähed ning kirjavahemärgid loevad? Range skoorimine märgiks „Dr“ ja „Doctor“ asenduseks. Enamik avaldatud skoore teeb kõik väiketäheliseks, eemaldab kirjavahemärgid ja kirjutab kõik arvud ühtemoodi, kas sõnadena või numbritena, enne võrdlemist. Tootja arv sõltub seega normaliseerijast, mida sa ei näe. Keeled, mida ei kirjutata tühikutega sõnade vahel, nagu hiina, jaapani ja tai keel, ei oma selget sõnapiiri, seega hinnatakse neid tähevea määraga (character error rate, CER): sama valem, rakendatuna tähtedele.
Sellest järeldub kaks asja. Esiteks: 5 protsenti WER tähendab ühte sõna kahekümnest, mis teeb ühe tunnise kõne kohta mitusada sõna. Avaldatud andmetel jääb inimtranskriptsioonide tavapärane hinnang kõnelisel kõnel umbes 4–5 protsendi juurde, ja tuntud 2017. aasta tulemus Switchboardi telefonikorpusel andis masinale umbes 5,1 protsenti, kuigi mõlemad arvud sõltuvad helist ja skoorireeglitest. Teiseks: arv sõltub täielikult testhelist. Puhas loetud kõne annab ühe tulemuse ja müraline paneel aktsentide ja segava kõnega hoopis teise. Tootja pealkirjaarv kirjeldab sama palju tema testikomplekti kui tema süsteemi.
Nii palju WER loendab. Mida see välja jätab, on iga vea hind lugejale.
WER kohtleb iga sõna võrdselt. Lugejad ei tee seda:
Igaüks neist on WER-veerus üks või kaks viga. Lugeja veerus ulatuvad need millestki mittemärkamisest kuni teise koosolekuni teisel päeval. Seega küsimus pole ainult „mis on veamäär“, vaid ka „millised vead need on ja mis neid püüab kinni“.
Mitu kihti püüab kinni seda, mida tuvastus valesti teeb, ja iga muudatus salvestatakse, et seda saaks kontrollida ja tagasi võtta. Otseses transkriptsioonis juhtub see sel ajal, kui tekst veel saabub: iga rida ilmub esmalt mustandina, mis võib veel muutuda, ja muutub seejärel lõplikuks (Otsetõlke viivitus selgitatult selgitab, miks).
Mõned vead sobivad hääle järgi, aga mitte lausesse: „their“ seal, kus lauses on vaja „there“. Neid saab parandada konteksti põhjal ja parandus jõuab lugejateni nähtava uuendusena (API-s transcript.amended), mitte vaikiva ümberkirjutusena. Kontekst aitab sõnade puhul, mida lause suudab ette ennustada. Ettearvamatute sõnade puhul on ta abitu.
Nimed ja tehnilised terminid on vead, mida kontekst parandada ei saa, sest nimi esineb sageli vaid üks kord ja selle ümber pole midagi, millest seda ennustada. Lähteskript lahendab selle: anna süsteemile enne alustamist kõne, slaidid või nimede ja terminite loend, ja selle sõnad on tähtsamad kui see, mida mootor valesti kuulis. Salvestuse ajal liigub skript transkriptsiooniga koos nagu teleprompter, nii et esineja näeb, kui kaugele mootor on jõudnud. Skript katab sõnad, mida saab ette ennustada; müra ja aktsendid tekitavad need, mida ei saa.
Mõningaid vigu näeb ainult ruumis olev inimene. Käsitsi parandused võimaldavad saatejuhil ümber kirjutada iga sõna või rea otse-eetri ajal ja iga ülekande kuulaja näeb muudatust. Süsteem osutab saatejuhile tõenäolistele kandidaatidele: sõnad, millest mootor ei olnud kindel, saab värvida ja alla joonida, ning saatejuht saab käia ebakindlad lõigud läbi ükshaaval, mitte lugeda kogu transkriptsiooni uuesti. API kaudu loetleb GET /v1/recordings/{id}/corrections salvestise parandused ja POST /v1/corrections/{id}/revert võtab ühe tagasi; vaata API viidet. Isegi ruumis olev inimene ei saa aga parandada rida, mida keegi ei kuulnud.
Viimane kiht aktsepteerib, et mõni heli on taastamatu. Kui rida jääb alla transkriptsiooni usaldusläve (confidence.hideBelow, vaikimisi 0,60), näevad kuulajad selle asemel tekstit „Audio unclear“ ja rida ei loeta kunagi ette. Lugejad kaotavad rea, aga ei saa väljamõeldud rida.
Samad küsimused, mis kujundasid neid kihte, kehtivad mis tahes tarnija täpsusväite kohta, sealhulgas meie oma kohta.
Lühike kontrollnimekiri mis tahes täpsusväite lugemiseks:
VocalStack ei avalda sisemist WER-arvu esimesel eelpool toodud põhjusel: see kirjeldaks meie testikomplekti, mitte sinu heli. Mõõdame täpsust pidevalt. Kui võrdleme teisi süsteeme, kasutame avaldatud sõltumatuid võrdlusi ja tarnijate avaldatud arve, mitte privaatseid teste. Ülejäänu otsustab sinu oma heli.
