El WER puntua igual un nom mal transcrit, un número equivocat i un «not» que falta que un «the» perdut. Jutja un sistema de transcripció pels errors que detecta i per si pots veure les seves correccions, no pel seu número principal.
La taxa d'error de paraula (WER) és la vara de mesurar estàndard del reconeixement de la parla. Agafa una transcripció de referència que una persona ha revisat, alinea la sortida de la màquina amb ella paraula per paraula i compta tres tipus d'errors: substitucions (una paraula equivocada), insercions (una paraula que mai no s'ha dit) i supressions (una paraula que falta). Suma-ho tot i divideix-ho pel nombre de paraules de la referència.
WER = (substitucions + insercions + supressions) / paraules de la referència
L'alineació no es fa a ull. Les dues transcripcions s'alineen per distància d'edició mínima (la distància de Levenshtein, aplicada a paraules i no a lletres): de totes les maneres de parellar la sortida amb la referència, el mesurador tria la que té menys edicions i les compta. Com que les insercions compten i el denominador és la longitud de la referència, el WER pot superar el 100 per cent: un model que omple un minut de silenci amb text puntua pitjor que un que no escriu res.
Suposem que la referència és «we will meet Dr Okafor at nine on Thursday» (l'exemple és en anglès, perquè el WER es mesura sobre la llengua original), nou paraules, i que la màquina escriu «we will meet the doctor at nine on Tuesday». Hi ha tres substitucions (Dr, Okafor, Thursday) sobre nou paraules: un WER del 33 per cent. Dues terceres parts de les paraules són correctes, i tot i així et presentes a la reunió equivocada en el dia equivocat. Si només fallés «Thursday», la puntuació seria de l'11 per cent. Una versió amb totes les paraules bones però amb un «um» afegit que ningú no ha dit també puntua un 11 per cent, perquè una inserció compta igual que una substitució.
Abans del recompte, els dos textos se solen normalitzar, i les decisions que es prenen en aquest pas mouen la puntuació tant com el model. «Dr» és la mateixa paraula que «Doctor»? «Nine» és el mateix que «9»? Compten les majúscules i la puntuació? Una puntuació estricta marcaria «Dr» contra «Doctor» com una substitució. La majoria de puntuacions publicades passen tot a minúscules, treuen la puntuació i escriuen tots els números d'una sola manera, com a paraules o com a xifres, abans de comparar. La xifra d'un proveïdor depèn, per tant, d'un normalitzador que no pots veure. Les llengües que s'escriuen sense espais entre paraules, com el xinès, el japonès i el tai, no tenen un límit de paraula clar que es pugui comptar, així que es puntuen amb la taxa d'error de caràcter (CER): la mateixa fórmula, aplicada a caràcters.
Se'n desprenen dues coses. Primer, un WER del 5 per cent és una paraula de cada vint, que equival a diverses centenes de paraules en una xerrada d'una hora. Com a referència, els transcriptors humans se solen citar al voltant del 4 al 5 per cent en parla conversacional, i un resultat molt citat del 2017 sobre el corpus telefònic Switchboard va situar una màquina al voltant del 5,1 per cent, tot i que totes dues xifres depenen de l'àudio i de les regles de puntuació. Segon, el número depèn completament de l'àudio de prova: la parla llegida i neta dona una xifra, i un panel sorollós amb accents i veus superposades en dona una de molt diferent. Un WER destacat descriu el conjunt de prova del proveïdor tant com descriu el seu sistema.
Això és el recompte. El que deixa fora és el cost de cada error per a la persona que llegeix.
El WER tracta totes les paraules com a iguals. Els lectors no.
Cadascun d'aquests és un o dos errors a la columna del WER. A la columna del lector van des de no res fins a una reunió diferent en un dia diferent. Per tant, la pregunta no és només «quina és la taxa d'error», sinó «quins tipus d'errors són, i què els detecta».
Diverses capes detecten el que el reconeixement fa malament, i cada canvi queda registrat perquè es pugui inspeccionar i desfer. En una transcripció en directe, això passa mentre el text encara arriba: cada línia apareix primer com un esborrany que encara pot canviar, i després es converteix en definitiva (La latència de la traducció en directe, explicada explica per què).
Hi ha errors que encaixen amb el so però no amb la frase: «their» quan la frase necessita «there». Aquests es poden detectar pel context, i una correcció arriba als lectors com una actualització visible (transcript.amended a l'API), no com una reescriptura silenciosa. El context és bo amb les paraules que la frase pot predir. No serveix de res amb les que no pot.
Els noms i els termes tècnics són els errors que el context no pot arreglar, perquè un nom sovint apareix només una vegada, sense res al voltant que el pugui predir. Un guió de referència resol-ho: dona al sistema la parla, les diapositives o una llista de noms i termes abans de començar, i les seves paraules tenen prioritat sobre el que l'engine ha entès malament. Durant la gravació, el guió segueix la transcripció com un teleprompter, perquè l'amfitrió vegi fins on ha arribat l'engine. Un guió cobreix les paraules que es poden predir; l'àudio sorollós i els accents produeixen les que no es poden predir.
Hi ha errors que només una persona present a la sala pot veure. Les correccions manuals deixen que l'amfitrió reescrigui qualsevol paraula o línia mentre la transcripció encara és en directe, i cada oient de l'emissió veu el canvi. El sistema assenyala a l'amfitrió els candidats probables: les paraules de les quals l'engine n'estava insegur es poden marcar en color i subratllar, i l'amfitrió pot recórrer els segments incerts d'un en un, en lloc de rellegir tota la transcripció. Mitjançant l'API, GET /v1/recordings/{id}/corrections mostra les correccions d'una gravació i POST /v1/corrections/{id}/revert desfà una; consulta la referència de l'API. Tanmateix, fins i tot una persona present a la sala no pot corregir una línia que ningú no ha pogut sentir.
La darrera capa accepta que hi ha àudio que no es pot recuperar. Quan una línia puntua per sota del llindar de confiança de la transcripció (confidence.hideBelow, 0,60 per defecte), els oients veuen «Àudio poc clar» en el seu lloc en lloc d'una suposició, i la línia mai no es llegeix en veu alta. Els lectors perden una línia; no en guanyen una de fabricada.
Les mateixes preguntes que han donat forma a aquestes capes serveixen per a qualsevol afirmació de precisió d'un proveïdor, inclosa la nostra.
Una llista curta per llegir qualsevol afirmació de precisió:
VocalStack no publica un WER intern, per la primera raó anterior: descriuria el nostre conjunt de prova, no el teu àudio. Mesurem la precisió de manera contínua. Quan comparem altres sistemes, fem servir referències independents publicades i xifres publicades pels mateixos proveïdors, mai proves privades. La resta, que la decideixi el teu propi àudio.
