WER pitää väärää nimeä, väärää numeroa ja pudonnutta kieltosanaa yhtä vakavina kuin pudonnutta "the"-sanaa. Arvioi litterointijärjestelmä sen mukaan, mitkä virheet se kiinni ottaa ja näetkö sen korjaukset, älä pääluvun perusteella.
Sanavirhesuhde (word error rate, WER) on puheentunnistuksen tavallinen mittari. Otetaan ihmisen tarkistama vertailutranskriptio, asetetaan koneen tuloste sen viereen sana sanalta ja lasketaan kolmenlaisia virheitä: korvaukset (väärä sana), lisäykset (sana, jota ei koskaan sanottu) ja poistot (puuttuva sana). Lasketaan ne yhteen ja jaetaan vertailutekstin sanamäärällä.
WER = (korvaukset + lisäykset + poistot) / vertailutekstin sanat
Kohdistusta ei tehdä silmämääräisesti. Kaksi tekstiä kohdistetaan minimaalisen editointietäisyyden (Levenshtein-etäisyys, sovellettuna sanoihin eikä kirjaimiin) avulla: mittari valitsee kaikista tavoista parittaa tuloste vertailutekstin kanssa sen, jossa on vähiten muokkauksia, ja laskee ne. Koska lisäykset lasketaan mukaan ja nimittäjä on vertailutekstin pituus, WER voi ylittää 100 prosenttia. Malli, joka täyttää hiljaisen minuutin tekstillä, saa huonomman tuloksen kuin malli, joka ei kirjoita mitään.
Oletetaan, että vertailuteksti on "we will meet Dr Okafor at nine on Thursday", yhdeksän sanaa, ja kone kirjoittaa "we will meet the doctor at nine on Tuesday". Siinä on kolme korvausta (Dr, Okafor, Thursday) yhdeksästä sanasta, eli WER on 33 prosenttia. Kaksi kolmasosaa sanoista on oikein, ja silti ollaan väärässä tapaamisessa vääränä päivänä. Jos vain "Thursday" olisi väärin, pistemäärä olisi 11 prosenttia. Versio, jossa jokainen sana on oikein mutta mukaan on lisätty "um", jota kukaan ei sanonut, saa myös 11 prosenttia, koska lisäys lasketaan samalla tavalla kuin korvaus.
Ennen laskentaa molemmat tekstit yleensä normalisoidaan, ja siinä tehdyt valinnat vaikuttavat pistemäärään yhtä paljon kuin malli. Onko "Dr" sama sana kuin "Doctor"? Onko "nine" sama kuin "9"? Lasketaanko isot ja pienet kirjaimet ja välimerkit? Tiukka pisteytys merkitsisi "Dr" ja "Doctor" erotukseksi eli korvaukseksi. Useimmat julkaistut luvut muuttavat kaiken pieniksi kirjaimiksi, poistavat välimerkit ja kirjoittavat kaikki luvut yhdellä tavalla, joko sanoina tai numeroina, ennen vertailua. Toimittajan luku riippuu siis hiljaa normalisoijasta, jota et näe. Kieliä, joissa sanojen välissä ei ole välilyöntejä, kuten kiinaa, japania ja thaita, ei voi laskea siististi sanoina. Ne arvioidaan sen sijaan merkkivirhesuhteella (character error rate, CER), joka on sama kaava sovellettuna merkkeihin.
Kaksi asiaa seuraa tästä. Ensinnäkin 5 prosentin WER tarkoittaa yhtä sanaa kahdestakymmenestä, mikä on useita satoja sanoja tunnin puheessa. Vertailun vuoksi ihmisten litteroijien virhemarginaaliksi mainitaan usein noin 4–5 prosenttia keskustelupuheessa. Usein siteerattu vuoden 2017 tulos Switchboard-puhelinkorpuksella antoi koneelle noin 5,1 prosenttia, vaikka molemmat luvut riippuvat äänestä ja pisteytyssäännöistä. Toiseksi luku riippuu täysin testiäänestä. Selkeä lukupuhe antaa yhden luvun, ja kohinainen paneeli, jossa on aksentteja ja päällekkäispuhetta, aivan toisen. Julkaistu WER kuvaa yhtä paljon myyjän testijoukkoa kuin myyjän järjestelmää.
Tämä on laskenta. Se, mitä se jättää pois, on jokaisen virheen hinta lukijalle.
WER kohtelee jokaista sanaa tasavertaisesti. Lukijat eivät.
Jokainen näistä on yksi tai kaksi virhettä WER-sarakkeessa. Lukijan sarakkeessa ne vaihtelevat mistä tahansa ei mistään aivan eri kokoukseen eri päivänä. Kysymys ei siis ole vain siitä, mikä virhesuhde on, vaan myös siitä, minkälaisia virheet ovat ja mikä niitä kiinni ottaa.
Useat kerrokset kiinni ottavat sen, mitä tunnistus menee pieleen. Jokainen muutos kirjataan, jotta se voidaan tarkistaa ja peruuttaa. Reaaliaikaisessa litteroinnissa tämä tapahtuu, kun teksti vielä tulee: jokainen rivi näkyy ensin luonnoksena, joka voi vielä muuttua, ja muuttuu sitten lopulliseksi (Live-käännöksen viive selitettynä kertoo, miksi).
Jotkin virheet sopivat äänteeseen mutta eivät lauseeseen: ”their”, kun lauseessa tarvitaan ”there”. Nämä voidaan tunnistaa kontekstista, ja korjaus näkyy lukijoille näkyvänä päivityksenä (transcript.amended API:ssa), ei hiljaisena uudelleenkirjoituksena. Konteksti toimii hyvin sanoihin, jotka lause voi ennustaa. Sanoihin, joita se ei voi ennustaa, se ei auta.
Nimet ja tekniset termit ovat virheitä, joita konteksti ei voi korjata, koska nimi esiintyy usein vain kerran, eikä sen ympärillä ole mitään, mistä sen voisi ennustaa. Referenssikäsikirjoitus ratkaisee tämän: anna järjestelmälle puhe, diat tai lista nimistä ja termeistä ennen aloitusta, niin sen sanat menevät moottorin väärinkuulemien edelle. Tallennuksen aikana käsikirjoitus seuraa tekstiä kuin teleprompteri, jolloin juontaja näkee, kuinka pitkälle moottori on päässyt. Käsikirjoitus kattaa sanat, joita voit ennustaa. Kohinainen ääni ja aksentit tuottavat ne, joita et voi.
Jotkin virheet näkee vain paikalla oleva ihminen. Manuaaliset korjaukset antavat juontajan kirjoittaa minkä tahansa sanan tai rivin uudelleen, kun litterointi on vielä käynnissä, ja jokainen lähetykseen kuunteleva näkee muutoksen. Järjestelmä osoittaa juontajalle todennäköiset kohteet: sanat, joista moottori oli epävarma, voidaan värjätä ja alleviivata, ja juontaja voi käydä epävarmat kohdat läpi yksi kerrallaan sen sijaan, että lukisi koko litteraatin uudelleen. API:n kautta GET /v1/recordings/{id}/corrections listaa tallenteen korjaukset ja POST /v1/corrections/{id}/revert kumoaa yhden. Katso API-viite. Paikalla oleva ihminenkään ei kuitenkaan voi korjata riviä, jota kukaan ei kuullut.
Viimeinen kerros hyväksyy, että osa äänestä ei ole palautettavissa. Kun rivin luottamus jää litteroinnin luottamusrajan (confidence.hideBelow, oletuksena 0,60) alle, kuuntelijat näkevät rivin tilalla tekstin "Ääni epäselvä" eikä arvausta, eikä riviä lueta ääneen. Lukija menettää rivin, mutta ei saa keksittyä riviä.
Samat kysymykset, jotka muokkasivat näitä kerroksia, toimivat minkä tahansa myyjän tarkkuusväitteeseen, myös meidän.
Lyhyt tarkistuslista minkä tahansa tarkkuusväitteen lukemiseen:
VocalStack ei julkaise sisäistä WER-lukua ensimmäisestä syystä: se kuvaisi meidän testijoukkoamme, ei sinun ääntäsi. Mittaamme tarkkuutta jatkuvasti. Kun vertaamme muita järjestelmiä, käytämme julkaistuja riippumattomia vertailuja ja myyjien itse julkaisemia lukuja, emme yksityisiä testejä. Loppu jää sinun oman äänesi ratkaistavaksi.
