Ein beschriftetes Transkript braucht beide Antworten richtig, und weil die Labels über den Wörtern liegen, lässt sich eine falsche ohne Eingriff in den Text korrigieren.
Ein Transkript einer Besprechung beantwortet zwei Fragen zugleich: was gesagt wurde und wer es gesagt hat. Der Leser sieht eine Aufgabe, einen Namen neben einer Zeile. Darunter liegen zwei Probleme, die jeweils eigene Eingaben und eigene Arten des Scheiterns haben.
Die Spracherkennung hört auf Wörter. Sie wandelt Audio in Text um und liefert bei guter Qualität für jedes Wort eine Start- und eine Endzeit. Es ist ihr gleichgültig, ob sich die Stimme mitten im Satz ändert; ihre Aufgabe ist, den Satz richtig zu erfassen.
Die Speaker-Diarisierung hört auf Stimmen. Sie kennt keine Wörter. Ihre Aufgabe ist, die Zeitachse in Redebeiträge zu unterteilen und festzustellen, welche Beiträge zur selben Person gehören: Sprecher 1, Sprecher 2. Der Begriff stammt vom englischen „diary“ (Tagebuch), und das ist ein treffendes Bild für das Ergebnis: ein Protokoll darüber, wer das Wort hatte und wann.
Drei verwandte Begriffe werden damit häufig verwechselt. Die Diarisierung sagt, wer wann gesprochen hat, ohne jemanden zu kennen. Die Sprecheridentifikation ordnet einen Sprachabschnitt einer bekannten Person zu, indem sie aus einer Reihe registrierter Stimmen auswählt. Die Sprecherverifikation beantwortet eine Ja-oder-Nein-Frage: Gehört diese Stimme wirklich Person X? Herstellerangaben lassen sich leichter einordnen, wenn man die drei auseinanderhält, denn „Sprecher-Labels“ können alles bedeuten, von einer groben Schätzung der Redegrenzen bis zu Namen, die eine Person von einer Aufnahme zur nächsten begleiten. Um zu verstehen, was diese Labels versprechen können und was nicht, muss man in den Diarisierer hineinsehen.
Die meisten Diarisierungssysteme arbeiten in drei Schritten, bei denen Sprache keine Rolle spielt.
Jeder dieser Schritte kann für sich allein scheitern. Ein leiser Sprecher wird übersehen. Zwei ähnliche Stimmen werden verschmolzen. Eine Person, die von ruhig zu lebhaft wechselt, wird in zwei gespalten.
Das Fachgebiet bewertet all das mit der Diarization Error Rate (DER): dem Anteil der Sprechzeit, der übersehen, fälschlich als Sprache erkannt oder dem falschen Sprecher zugeordnet wurde, meist mit einer Toleranz („Collar“) von etwa einer Viertelsekunde um jede Grenze. Diese Toleranz gibt es, weil niemand, weder Mensch noch Maschine, einen Sprecherwechsel auf die Millisekunde genau setzen kann. Für die Bewertung eines Diarisierers allein ist diese Toleranz in Ordnung. Für ein Transkript ist sie es nicht, denn eine um eine Viertelsekunde verschobene Grenze landet mitten auf einem Wort.
Hier treffen die beiden Probleme aufeinander, und hier entscheidet sich die Qualität eines beschrifteten Transkripts. Ein Diarisierer setzt seine Grenzen mit einer gewissen Ungenauigkeit, oft um einen Bruchteil einer Sekunde in die eine oder andere Richtung. Ein Erkenner setzt Wörter auf dieselbe Zeitachse. Legt man beide naiv übereinander, landet eine Grenze innerhalb eines Wortes, sodass die eine Silbe von „morgen“ zu Sprecher 1 gehört und die andere zu Sprecher 2.
Labels können auch eine Weile falsch sein, bevor sie richtig werden. Ein Diarisierer wird sicherer in seinen Gruppen, je mehr Audio er gehört hat, sodass ein früher Label an den Maßstäben dessen gemessen, was später kommt, falsch aussehen kann. Bei einem Live-Transkript kann ein Label korrigiert werden, nachdem eine Zeile bereits angezeigt wurde: Die Echtzeit-API von VocalStack sendet einen transcript.amended-Frame, der Text oder Sprecher einer bestätigten Zeile direkt korrigiert, sodass der Leser die Revision sieht und keinen Widerspruch.
Selbst ein perfekt platziertes, vollkommen stabiles Label ist nur eine Zahl. Eine Zahl genügt, um einem Gespräch zu folgen; einen Namen aber wollen Menschen lesen.
Ein Label wird auf zwei Wegen zu einem Namen, und die beiden bauen aufeinander auf.
Der erste ist die Benennung innerhalb einer Aufnahme. Jeder Sprecher, den eine Transkription findet, erhält einen Index, beginnend bei 0. Wer Zugriff hat, kann jeden Sprecher während oder nach der Aufnahme benennen. Der Name ist eine Schicht über den Wörtern und lässt sich daher setzen, ändern oder entfernen, ohne den Text anzutasten. Über die API geschieht das mit PUT /v1/recordings/{id}/speakers/{idx} und einem name; ein leerer Name entfernt ihn. Eine Zeile, deren speaker den Wert -1 hat, trägt kein Label, entweder weil Labels ausgeschaltet waren oder, in einem Live-Entwurf, weil die Zeile noch keinem Sprecher zugeordnet wurde.
Der zweite ist die Wiedererkennung über Aufnahmen hinweg, das Identifikationsproblem aus dem ersten Abschnitt. Ein Diarisierer kann nur sagen, dass sich zwei Stimmen unterscheiden, nie, wer sie sind. Um von „verschieden“ zu „das ist Ana“ zu kommen, braucht das System eine Referenz: eine gespeicherte Stimme, aufgenommen aus einer Aufnahme genau dieser Person. Dreißig Sekunden sauberer Sprache sind das Minimum, einige Minuten sind besser. Die Probe sollte außerdem so klingen wie die Aufnahmen, mit denen sie abgeglichen wird: Dieselbe Person über ein Laptop-Mikrofon und über ein Bühnenmikrofon kann für eine Maschine weniger ähnlich klingen als zwei Fremde, die auf dieselbe Weise aufgenommen wurden. Ist eine Stimme gespeichert, wird jeder Sprecher, den eine Transkription hört, mit ihr verglichen, und ein Treffer überträgt den Namen ins Transkript. In VocalStack finden Sie das unter Stimmen; Dateitranskriptionen und Live-Sitzungen im Dashboard gleichen Ihre gespeicherten Stimmen automatisch ab, und eine Sitzung der Echtzeit-API erkennt nur die Stimmen, die Sie in identifyVoices auflisten.
Eine gespeicherte Stimme sind biometrische Daten: Sie kann eine Person in jeder Aufnahme erkennen, und in VocalStack dient sie zugleich als Klon, der Zeilen dieser Person vorlesen kann. Das Dashboard fragt Sie, ob Sie die Erlaubnis der Person bestätigen, bevor Sie eine Stimme speichern, und eine Stimme lässt sich jederzeit löschen.
All das setzt voraus, dass Sie überhaupt Labels wünschen. Oft ist das nicht der Fall.
Eine einzelne Person, die einen Vortrag hält, braucht vor jeder Zeile kein „Sprecher 1“. Das Publikum weiß bereits, wer das Mikrofon hat. Deshalb hat die Einstellung für Sprecher-Labels drei Stellungen, und sie sind bei einer Echtzeitsitzung, einer Übertragung, einer Transkription und einer Aufnahme dieselben.
auto in der API). Zeilen werden mit ihrem Sprecher beschriftet, sobald mehr als eine Stimme zu hören ist; eine Aufnahme mit nur einem Sprecher bleibt reiner Text, und eine zweite Stimme, die später hinzukommt, wird trotzdem erkannt. Das neue Formular für Live-Transkription im Dashboard startet in dieser Stellung.Ein Datei-Upload nimmt dieselbe Option speakerLabels entgegen, und die Echtzeit-API erlaubt es, sie während des Streams zu ändern; die Einzelheiten stehen in der API-Referenz. Sprechertrennung und Benennung erhöhen die Rechnung nie (die Preisseite enthält die Preisliste), die Wahl betrifft also, was der Leser sehen soll, und nicht, was es kostet.
Eingeschaltet ist die Diarisierung gut, aber nicht magisch. Zwei Situationen bleiben trotzdem eine Herausforderung.
Die erste ist die Überlappung. Wenn zwei Personen gleichzeitig sprechen, trägt ein Audioabschnitt zwei Stimmen. Überlappungsbewusste Diarisierer gibt es in der Forschung und zunehmend auch in Produkten: Die End-to-End-Diarisierung mit neuronalen Netzen (EEND) behandelt zum Beispiel „wer spricht gerade“ als eine Menge gleichzeitiger Ja-oder-Nein-Fragen statt als eine einzige Antwort. Die meisten Produktivsysteme ordnen jedoch noch einen Sprecher pro Abschnitt zu, und der Erkenner darauf transkribiert jeweils eine Stimme. Übersprechen in einer hitzigen Diskussionsrunde ist das schwierigste Audio in diesem Feld, und dort werden die Labels jedes Anbieters schlechter. Es ist außerdem, verlässlich, genau der Teil, den danach alle zitieren wollen.
Die zweite sind sehr ähnliche Stimmen. Geschwister können Embeddings erzeugen, die zu nah beieinanderliegen, um sie zuverlässig zu trennen, erst recht, wenn sie sich eine Stunde lang kurze Redebeiträge zuwerfen. Telefonaudio macht das für alle schlimmer: Eine Schmalbandleitung wird mit 8 kHz abgetastet und überträgt nichts oberhalb von etwa 3,4 kHz, doch ein großer Teil dessen, was eine Stimme von einer anderen unterscheidet, liegt oberhalb dieser Grenze. Zwei Personen in derselben Telefonleitung klingen für einen Diarisierer ähnlicher, als sie für Sie klingen.
Das wirksamste Mittel gegen beides liegt vor jedem Modell: Geben Sie jeder Person ein eigenes Mikrofon. Mit einem Kanal pro Sprecher reduziert sich die Diarisierung auf die Frage, welcher Kanal gerade laut ist, Überlappung wird zu zwei sauberen Spuren statt einer verwaschenen, und die Embeddings müssen den schweren Teil nie leisten. Ein einziges Tischmikrofon ist günstiger und fast immer das, was Sie haben, weshalb der Rest dieses Artikels existiert.
Keine der beiden Grenzen muss den Leser unverändert erreichen. Da Labels eine Schicht über den Wörtern sind, kostet ein falsches Label nie den Text: Sprechernamen lassen sich jederzeit in einer Aufnahme setzen oder entfernen, und bei einer Live-Transkription kann der Gastgeber jedes Wort oder jede Zeile noch während der laufenden Sitzung überschreiben; jede Korrektur ist markiert und lässt sich rückgängig machen.
Für die Wortseite lesen Sie Was die Wortfehlerrate misst und was sie übersieht; die WER verhält sich zum Erkenner wie die DER zum Diarisierer, und ein Transkript braucht beide niedrig.