La WER trata igual un nombre equivocado, un número erróneo y un «no» que falta que un artículo omitido. Juzga un sistema de transcripción por los errores que detecta y por si puedes ver y deshacer sus correcciones, no por su cifra principal.
La tasa de error de palabras (WER, por sus siglas en inglés) es la medida estándar para el reconocimiento del habla. Toma una transcripción de referencia que una persona ha revisado, alinea la salida de la máquina con ella palabra por palabra y cuenta tres tipos de error: sustituciones (una palabra equivocada), inserciones (una palabra que nadie dijo) y eliminaciones (una palabra que falta). Súmalos y divide el resultado entre el número de palabras de la referencia.
WER = (sustituciones + inserciones + eliminaciones) / palabras en la referencia
La alineación no se hace a ojo. Las dos transcripciones se alinean por distancia de edición mínima (la distancia de Levenshtein, aplicada a palabras y no a letras): de todas las formas de emparejar la salida con la referencia, el evaluador elige la que tiene menos ediciones y cuenta esas. Como las inserciones suman y el denominador es la longitud de la referencia, la WER puede superar el 100 por ciento: un modelo que rellena un minuto de silencio con texto puntúa peor que uno que no escribe nada.
Supongamos que la referencia es «veremos al doctor Okafor a las nueve el jueves», nueve palabras, y que la máquina escribe «veremos con el doctor Ocampo a las nueve el martes». Son tres sustituciones (al, Okafor y jueves) sobre nueve palabras: una WER del 33 por ciento. Dos tercios de las palabras son correctas, y aun así te has equivocado de reunión y de día. Si solo «jueves» estuviera mal, la cifra sería del 11 por ciento. Una versión con todas las palabras bien pero con un «eh» añadido que nadie dijo también puntúa 11 por ciento, porque una inserción cuenta igual que una sustitución.
Antes del recuento, ambos textos suelen normalizarse, y las decisiones que se toman en este paso mueven la puntuación tanto como el propio modelo. ¿Es «Dr.» lo mismo que «doctor»? ¿Es «nueve» lo mismo que «9»? ¿Cuentan las mayúsculas y la puntuación? Una puntuación estricta marcaría «Dr.» frente a «doctor» como una sustitución. La mayoría de las cifras publicadas pasan todo a minúsculas, quitan la puntuación y escriben cada número de una sola forma, con palabras o con cifras, antes de comparar. Así, la cifra de un proveedor depende en silencio de un normalizador que no puedes ver. Los idiomas que no separan las palabras con espacios, como el chino, el japonés y el tailandés, no tienen un límite de palabra claro que contar, así que se puntúan con la tasa de error de caracteres (CER, por sus siglas en inglés): la misma fórmula, aplicada a caracteres.
Esto tiene dos consecuencias. Primero, una WER del 5 por ciento equivale a una palabra de cada veinte, lo que suma varios cientos de palabras en una charla de una hora. Como referencia, a los transcriptores humanos se les atribuye a menudo entre el 4 y el 5 por ciento en habla conversacional, y un resultado muy citado de 2017 sobre el corpus telefónico Switchboard situó a una máquina en torno al 5,1 por ciento, aunque ambas cifras dependen del audio y de las reglas de puntuación. Segundo, el número depende por completo del audio de prueba: el habla leída en un entorno limpio da una cifra, y un panel ruidoso con acentos y solapamientos da otra muy distinta. Una WER general describe tanto el conjunto de pruebas del proveedor como su sistema.
Eso es el recuento. Lo que deja fuera es el coste de cada error para quien lee.
La WER trata cada palabra por igual. Los lectores no:
Cada uno de estos casos equivale a uno o dos errores en la columna de la WER. En la columna del lector, van desde no pasar nada hasta una reunión distinta en un día distinto. Así que la pregunta no es solo «cuál es la tasa de error», sino «qué tipos de error son, y qué los detecta».
Varias capas detectan lo que el reconocimiento hace mal, y cada cambio queda registrado para poder inspeccionarlo y revertirlo. En una transcripción en directo esto ocurre mientras el texto todavía está llegando: cada línea aparece primero como un borrador que aún puede cambiar, y luego queda como definitiva (La latencia de la traducción en directo, explicada explica por qué).
Algunos errores encajan con el sonido pero no con la frase: «sino» donde la frase necesita «si no». Estos pueden corregirse a partir del contexto, y la corrección llega a los lectores como una actualización visible (transcript.amended en la API), no como una reescritura silenciosa. El contexto funciona bien con las palabras que la frase puede predecir. No sirve de nada con las que no puede.
Los nombres y los términos técnicos son los errores que el contexto no puede arreglar, porque un nombre suele aparecer una sola vez, sin nada alrededor que lo prediga. Un guion de referencia lo resuelve: entregas al sistema el audio, las diapositivas o una lista de nombres y términos antes de empezar, y sus palabras tienen prioridad sobre lo que el motor oyó mal. Durante la grabación, el guion sigue la transcripción como un teleprompter, así que el anfitrión puede ver hasta dónde ha llegado el motor. Un guion cubre las palabras que puedes prever; el audio con ruido y los acentos producen las que no puedes.
Hay errores que solo alguien presente en la sala puede ver. Las correcciones manuales permiten al anfitrión reescribir cualquier palabra o línea mientras la transcripción sigue en directo, y cada oyente de la emisión ve el cambio. El sistema señala al anfitrión los candidatos probables: las palabras de las que el motor no estaba seguro pueden aparecer en color y subrayadas, y el anfitrión puede recorrer los segmentos inciertos uno a uno en lugar de releer toda la transcripción. A través de la API, GET /v1/recordings/{id}/corrections lista las correcciones de una grabación y POST /v1/corrections/{id}/revert deshace una; consulta la referencia de la API. Aun así, ni siquiera una persona en la sala puede corregir una línea que nadie pudo oír.
La última capa acepta que hay audio que no se puede recuperar. Cuando una línea puntúa por debajo del umbral de confianza de la transcripción (confidence.hideBelow, 0.60 por defecto), los oyentes ven «Audio poco claro» en su lugar en vez de una suposición, y la línea nunca se lee en voz alta. Los lectores pierden una línea; no ganan una inventada.
Las mismas preguntas que dieron forma a estas capas sirven para cualquier afirmación de precisión de cualquier proveedor, incluida la nuestra.
Una lista breve para leer cualquier afirmación de precisión:
VocalStack no publica una cifra interna de WER, por la primera razón de arriba: describiría nuestro conjunto de pruebas, no tu audio. Medimos la precisión de forma continua. Cuando comparamos otros sistemas, usamos benchmarks independientes publicados y cifras que publican los propios proveedores, nunca pruebas privadas. Lo demás lo decide tu propio audio.
