A WER puntúa do mesmo xeito un nome mal escrito, un número equivocado e un «non» perdido que un artigo omitido. Avalía un sistema de transcrición polos erros que atrapa e por se podes ver as súas correccións, non pola cifra principal.
A taxa de erro por palabra (WER) é a medida estándar para o recoñecemento da fala. Tómase unha transcrición de referencia que unha persoa revisou, aliñase a saída da máquina con ela palabra por palabra e cóntanse tres tipos de erro: substitucións (unha palabra errada), inserccións (unha palabra que nunca se dixo) e eliminacións (unha palabra que falta). Súmanse e divídese o total polo número de palabras da referencia.
WER = (substitucións + inserccións + eliminacións) / palabras da referencia
O aliñamento non se fai a ollo. As dúas transcricións aliñanse pola mínima distancia de edición (a distancia de Levenshtein, aplicada a palabras e non a letras): de todas as formas de parear a saída coa referencia, o avaliador escolle a que ten menos edicións e conta esas. Como as inserccións contan e o denominador é a lonxitude da referencia, a WER pode superar o 100 por cento: un modelo que enche un minuto en silencio con texto puntúa peor que outro que non escribe nada.
Supoña que a referencia é "we will meet Dr Okafor at nine on Thursday", nove palabras, e a máquina escribe "we will meet the doctor at nine on Tuesday". Hai tres substitucións (Dr, Okafor, Thursday) sobre nove palabras: unha WER do 33 por cento. Dous terzos das palabras son correctas, e aínda así estás na reunión equivocada e no día equivocado. Se só "Thursday" estivese mal, a puntuación sería do 11 por cento. Unha versión con todas as palabras correctas pero cun "um" engadido que ninguén dixo tamén puntúa 11 por cento, porque unha inserción conta igual que unha substitución.
Antes de contar, os dous textos adoitan normalizarse, e as decisións tomadas aí moven a puntuación tanto como o modelo. É "Dr" a mesma palabra que "Doctor"? É "nine" o mesmo que "9"? Contan a maiúscula e a puntuación? Unha puntuación estrita marcaría "Dr" fronte a "Doctor" como unha substitución. A maioría das puntuacións publicadas pasan todo a minúsculas, quitan a puntuación e escriben todos os números dun só xeito, como palabras ou como cifras, antes de comparar. Así, a cifra dun provedor depende en silencio dun normalizador que non se ve. As linguas que se escriben sen espazos entre palabras, como o chinés, o xaponés e o tailandés, non teñen un límite de palabra claro que contar, así que se puntúan pola taxa de erro por carácter (CER): a mesma fórmula, aplicada a caracteres.
Dúas cousas se derivan disto. Primeiro, unha WER do 5 por cento é unha palabra de cada vinte, que son varias centenas de palabras nunha charla dunha hora. Como referencia, as persoas transcritoras adoitan citarse arredor do 4 ao 5 por cento na fala conversacional, e un resultado moi citado de 2017 sobre o corpus telefónico Switchboard situou unha máquina en arredor do 5.1 por cento, aínda que ambas cifras dependen do audio e das regras de puntuación. Segundo, o número depende por completo do audio de proba: a fala lida limpa dá unha cifra, e un panel ruidoso con acentos e superposicións dá outra moi distinta. Unha WER principal describe o conxunto de proba do provedor tanto como describe o sistema do provedor.
Iso é o cómputo. Do que non di é do custo de cada erro para quen lee.
A WER trata cada palabra como igual. Os lectores non:
Cada un destes é un ou dous erros na columna da WER. Na columna do lector van de ningún a unha reunión distinta nun día distinto. Así que a pregunta non é só "cal é a taxa de erro", senón "que tipos de erro hai, e que os atrapa".
Varias capas atrapan o que o recoñecemento fai mal, e cada cambio queda rexistrado para poder inspeccionalo e desfacelo. Nunha transcrición en directo isto ocorre mentres o texto aínda está a chegar: cada liña aparece primeiro como un borrador que aínda pode cambiar e despois queda como definitiva (Latencia da tradución en directo, explicada explica o motivo).
Algúns erros encaixan co son pero non coa frase: "their" onde a frase necesita "there". Estes pódense atrapar polo contexto, e unha corrección chega aos lectores como unha actualización visible (transcript.amended na API), non como unha reescritura silenciosa. O contexto é bo coas palabras que a frase pode prever. Non serve de nada coas que non pode.
Os nomes e os termos técnicos son os erros que o contexto non pode arranxar, porque un nome adoita aparecer só unha vez, sen nada ao redor co que predicilo. Un guión de referencia resolve isto: dálle ao sistema a fala, as diapositivas ou unha lista de nomes e termos antes de empezar, e as súas palabras teñen prioridade sobre o que o motor oíu mal. Durante a gravación o guión segue a transcrición como un teleprompter, así que a persoa anfitriona pode ver até onde chegou o motor. Un guión cobre as palabras que se poden prever; o audio con ruído e os acentos producen as que non se poden.
Algúns erros só os ve unha persoa presente na sala. As correccións manuais permiten á persoa anfitriona reescribir calquera palabra ou liña mentres a transcrición aínda está en directo, e cada oínte da emisión ve o cambio. O sistema sinala as candidatas probables: as palabras das que o motor non estaba seguro poden aparecer coloreadas e subliñadas, e a persoa anfitriona pode percorrer os segmentos inseguros un a un en lugar de reler toda a transcrición. Pola API, GET /v1/recordings/{id}/corrections lista as correccións dunha gravación e POST /v1/corrections/{id}/revert desfai unha; véxase a referencia da API. Aínda así, nin unha persoa presente pode corrixir unha liña que ninguén puido escoitar.
A última capa acepta que hai audio que non se pode recuperar. Cando unha liña puntúa por debaixo do limiar de confianza da transcrición (confidence.hideBelow, 0.60 por defecto), os oíntes ven "Audio pouco claro" no seu lugar, en lugar dunha suposición, e a liña nunca se le en voz alta. Os lectores perden unha liña; non gañan unha inventada.
As mesmas preguntas que deron forma a estas capas serven para calquera afirmación de precisión dun provedor, tamén para as nosas.
Unha lista breve para ler calquera afirmación de precisión:
VocalStack non publica unha cifra interna de WER, pola primeira razón anterior: describiría o noso conxunto de proba, non o teu audio. Medimos a precisión de forma continua. Cando comparamos outros sistemas, usamos referencias independentes publicadas e cifras publicadas polos propios provedores, nunca probas privadas. O resto é para que o teu propio audio decida.
