Die WER bewertet einen falschen Namen, eine falsche Zahl und ein fehlendes „not“ genauso wie ein ausgelassenes „the“. Beurteilen Sie ein Transkriptionssystem danach, welche Fehler es abfängt und ob Sie seine Korrekturen sehen können, nicht nach seiner Headline-Zahl.
Die Wortfehlerrate (Word Error Rate, WER) ist der Standardmaßstab für Spracherkennung. Man nimmt ein Referenztranskript, das ein Mensch geprüft hat, legt die Ausgabe der Maschine Wort für Wort daneben und zählt drei Arten von Fehlern: Ersetzungen (ein falsches Wort), Einfügungen (ein Wort, das nie gesagt wurde) und Auslassungen (ein fehlendes Wort). Man addiert sie und teilt durch die Anzahl der Wörter im Referenztext.
WER = (Ersetzungen + Einfügungen + Auslassungen) / Wörter im Referenztext
Das Ausrichten der Texte geschieht nicht nach Augenmaß. Die beiden Transkripte werden nach minimaler Editierdistanz ausgerichtet (der Levenshtein-Distanz, angewendet auf Wörter statt auf Buchstaben): Unter allen Möglichkeiten, die Ausgabe dem Referenztext zuzuordnen, wählt der Auswerter diejenige mit den wenigsten Bearbeitungen und zählt diese. Da Einfügungen mitgezählt werden und der Nenner die Länge des Referenztexts ist, kann die WER über 100 Prozent steigen: Ein Modell, das eine stille Minute mit Text füllt, schneidet schlechter ab als eines, das gar nichts schreibt.
Angenommen, die Referenz lautet „we will meet Dr Okafor at nine on Thursday“, also neun Wörter, und die Maschine schreibt „we will meet the doctor at nine on Tuesday“. Das sind drei Ersetzungen (Dr, Okafor, Thursday) auf neun Wörter: eine WER von 33 Prozent. Zwei Drittel der Wörter stimmen, und Sie sind trotzdem beim falschen Termin am falschen Tag. Wäre nur „Thursday“ falsch, läge der Wert bei 11 Prozent. Eine Fassung, in der jedes Wort stimmt, aber ein „um“ hinzugefügt ist, das niemand gesagt hat, kommt ebenfalls auf 11 Prozent, weil eine Einfügung genauso zählt wie eine Ersetzung.
Bevor gezählt wird, werden beide Texte meist normalisiert, und die dabei getroffenen Entscheidungen verschieben das Ergebnis mindestens so stark wie das Modell selbst. Ist „Dr“ dasselbe Wort wie „Doctor“? Ist „nine“ dasselbe wie „9“? Zählen Groß- und Kleinschreibung und Satzzeichen? Eine strenge Auswertung würde „Dr“ gegenüber „Doctor“ als Ersetzung werten. Die meisten veröffentlichten Werte schreiben alles klein, entfernen Satzzeichen und schreiben jede Zahl auf dieselbe Weise, als Wort oder als Ziffer, bevor verglichen wird. Die Angabe eines Anbieters hängt daher still und leise von einem Normalisierer ab, den Sie nicht sehen können. Sprachen ohne Leerzeichen zwischen den Wörtern, etwa Chinesisch, Japanisch und Thai, haben keine saubere Wortgrenze zum Zählen. Sie werden deshalb mit der Zeichenfehlerrate (Character Error Rate, CER) bewertet: derselben Formel, angewendet auf Zeichen.
Daraus folgen zwei Dinge. Erstens: Eine WER von 5 Prozent bedeutet ein Wort von zwanzig, also mehrere hundert Wörter bei einem einstündigen Vortrag. Zum Vergleich: Menschliche Transkribierende werden bei Alltagsgesprächen oft mit etwa 4 bis 5 Prozent angegeben, und ein häufig zitiertes Ergebnis von 2017 auf dem Telefonkorpus Switchboard bezifferte eine Maschine auf etwa 5,1 Prozent. Beide Werte hängen jedoch von der Tonaufnahme und den Auswertungsregeln ab. Zweitens hängt die Zahl vollständig vom Testmaterial ab: Sauber vorgelesene Sprache ergibt einen Wert, ein lautes Podium mit Akzenten und Durcheinanderreden einen ganz anderen. Eine Headline-WER beschreibt das Testset des Anbieters ebenso sehr wie dessen System.
Das ist die Zählung. Was sie auslässt, sind die Kosten jedes einzelnen Fehlers für die lesende Person.
WER behandelt jedes Wort gleich. Leser tun das nicht:
Jeder dieser Fehler entspricht ein oder zwei Fehlern in der WER-Spalte. In der Spalte der Leser reicht ihre Wirkung von gar nichts bis zu einem anderen Termin an einem anderen Tag. Die Frage lautet deshalb nicht nur „wie hoch ist die Fehlerrate“, sondern auch „welche Arten von Fehlern, und was fängt sie ab“.
Mehrere Ebenen fangen ab, was die Erkennung falsch macht, und jede Änderung wird protokolliert, damit sie geprüft und rückgängig gemacht werden kann. Bei einer Live-Transkription geschieht das, während der Text noch hereinkommt: Jede Zeile erscheint zunächst als Entwurf, der sich noch ändern kann, und wird dann endgültig (Live-Übersetzungslatenz erklärt erläutert, warum).
Manche Fehler passen zum Laut, aber nicht zum Satz: „their“, wo der Satz „there“ verlangt. Solche Fehler lassen sich aus dem Kontext erkennen, und eine Korrektur erreicht die Leser als sichtbare Aktualisierung (transcript.amended in der API), nicht als stille Umschreibung. Der Kontext hilft bei Wörtern, die der Satz vorhersagen kann. Bei den übrigen ist er machtlos.
Namen und Fachbegriffe sind die Fehler, die der Kontext nicht beheben kann, denn ein Name taucht oft nur einmal auf, ohne etwas drumherum, aus dem er sich vorhersagen ließe. Ein Referenzskript löst das: Geben Sie dem System vor Beginn die Rede, die Folien oder eine Liste mit Namen und Fachbegriffen, und seine Wörter haben Vorrang vor dem, was die Engine falsch verstanden hat. Während der Aufnahme folgt das Skript dem Transkript wie ein Teleprompter, sodass die Moderation sieht, wie weit die Engine gekommen ist. Ein Skript deckt die Wörter ab, die Sie vorhersehen können; verrauschtes Audio und Akzente erzeugen die übrigen.
Manche Fehler sieht nur eine Person im Raum. Manuelle Korrekturen erlauben es der Moderation, jedes Wort oder jede Zeile umzuschreiben, solange die Transkription noch läuft, und jede Zuhörerin und jeder Zuhörer der Übertragung sieht die Änderung. Das System weist die Moderation auf die wahrscheinlichen Kandidaten hin: Wörter, bei denen die Engine unsicher war, können eingefärbt und unterstrichen werden, und die Moderation kann die unsicheren Abschnitte einzeln durchgehen, statt das ganze Transkript erneut zu lesen. Über die API listet GET /v1/recordings/{id}/corrections die Korrekturen einer Aufnahme auf, und POST /v1/corrections/{id}/revert macht eine davon rückgängig; siehe die API-Referenz. Selbst eine Person im Raum kann allerdings keine Zeile korrigieren, die niemand hören konnte.
Die letzte Ebene akzeptiert, dass manches Audio nicht wiederherstellbar ist. Liegt eine Zeile unter dem Konfidenzschwellenwert der Transkription (confidence.hideBelow, standardmäßig 0.60), sehen Zuhörende an ihrer Stelle „Audio unklar“ statt einer Vermutung, und die Zeile wird nie vorgelesen. Leser verlieren eine Zeile, aber sie bekommen keine erfundene dazu.
Dieselben Fragen, die diese Ebenen geprägt haben, gelten für jede Genauigkeitsangabe eines Anbieters, auch für unsere.
Eine kurze Checkliste für das Lesen jeder Genauigkeitsangabe:
VocalStack veröffentlicht aus dem ersten genannten Grund keine interne WER-Zahl: Sie würde unser Testset beschreiben, nicht Ihr Audio. Wir messen die Genauigkeit fortlaufend. Wo wir andere Systeme vergleichen, verwenden wir veröffentlichte unabhängige Benchmarks und Angaben der Anbieter, niemals private Tests. Den Rest soll Ihr eigenes Audio entscheiden.
