Die Genauigkeit einer Live-Übersetzung wird vor jedem Modelllauf entschieden, und zwar durch die Position des Mikrofons. Nehmen Sie das Audio vom Mischpult statt von einem Platz in Reihe zwölf, transkribieren Sie es einmal, und aus einem Fehler wird eine Zeile, die jeder für alle korrigieren kann.
Die in Telefone eingebauten Übersetzungs-Apps sind eine echte Leistung. Sie laufen oft mit einem Spracherkennungsmodell, das klein genug ist, um auf das Gerät und in dessen Akku zu passen (manche geben das Audio bei bestehender Verbindung an einen Server weiter). Bei kurzen, klaren Alltagssätzen erfüllen sie ihren Zweck: nach dem Weg fragen, eine Speisekarte lesen, ein Gespräch am Schalter.
Ein Raum voller Menschen, die einem Redner zuhören, ist ein anderes Problem. Die Dinge, die in echter Sprache schiefgehen, sind genau die, an denen ein kleines Modell am schlechtesten ist: ungewöhnliche Wörter und Namen, Wörter, die gleich klingen („their“ und „there“, „sail“ und „sale“), Fachbegriffe, Akzente, Menschen, die durcheinanderreden, und Hintergrundgeräusche. Im Segelclub hat ein Modell, das „sale“ hört, eine vernünftige Vermutung angestellt und dabei einen selbstbewussten Fehler gemacht.
Zwei Dinge sorgen dafür, dass das kleine Modell mehr rät als ein großes. Es wurde komprimiert, damit es auf das Telefon passt, und kennt deshalb weniger Wörter und weniger Arten, sie auszusprechen; einen Nachnamen, den es noch nie gehört hat, nähert es allein aus den Lauten an. Außerdem muss die Live-Erkennung ein Wort festlegen, bevor der Rest des Satzes eintrifft. Das Modell kann also nicht nutzen, was „sail“ gegenüber „sale“ entschieden hätte: die folgenden Wörter oder ein Skript, das verrät, worum es im Vortrag geht. In der Spracherkennung bedeutet Kontext genau diese beiden Dinge: die umgebenden Wörter und das, was im Voraus bekannt ist.
Wenn sich das Modell nicht sicher ist, rät es. Die Übersetzung baut dann auf der Vermutung auf, und die Person, die sie liest, kann das nicht erkennen. Niemand im Raum sieht, dass eine Zeile falsch war, geschweige denn, dass er sie richtigstellen könnte. Und ein Raum besteht nicht aus einem Zuhörer, sondern aus fünfzig.
Ein Telefon hört den Raum, nicht den Redner. Der Grund ist die Entfernung: Ein Ansteckmikrofon oder ein Tischmikrofon sitzt wenige Zentimeter vom Mund entfernt, ein Telefon in Reihe zwölf dagegen zehn Meter oder mehr. Das meiste, was es erreicht, ist zuvor von Wänden, Decke und Stuhllehnen zurückgeworfen worden. Reflektierter Schall kommt verspätet und verschmiert an. Dazu nimmt das Telefon den Hustenanfall zwei Reihen weiter hinten auf, das Gemurmel des Nachbarn und alles, was die Lautsprecher mit der Stimme auf dem Weg durch die Halle anstellen. Jeder Platz erhält also eine leicht andere Aufnahme und damit ein leicht anderes Transkript.
Ein Telefon übersetzt zudem nur für eine Person. Fünfzig Teilnehmer, die fünfzig Telefone hochhalten, erzeugen fünfzig unabhängige Transkripte desselben Vortrags, jedes mit einer anderen Auswahl an Fehlern. Zwei Personen, die sich danach austauschen, werden sich nicht einig sein, was gesagt wurde. Der Redner wiederum spricht zu einer Wand aus erhobenen Telefonen, was ein schwer zu lesendes Publikum ist.
Für manche Menschen im Raum ist das mehr als ein Ärgernis; es entscheidet darüber, ob sie dem Vortrag überhaupt folgen können. Ein hörbeeinträchtigter Teilnehmer oder jemand, der in einer dritten Sprache mitverfolgt, braucht einen einzigen korrekten gemeinsamen Text und nicht fünfzig Versuche nach bestem Wissen. Also muss der Redner einmal transkribiert werden, und alle erhalten dasselbe Ergebnis. Das Einmal-Transkribieren lohnt sich aber nur, wenn es gut gemacht wird, und das beginnt damit, woher das Audio stammt.
Das Transkript ist nur so gut wie das Audio, aus dem es entsteht. Die erste Entscheidung ist daher nicht, welches Modell man verwendet, sondern welches Signal man ihm zuführt. Die zweite ist, was man dem Modell sagt, bevor es beginnt.
Eine Live-Transkription nimmt ihr Audio dort auf, wo das saubere Signal bereits anliegt:
VocalStack holt einen URL-Stream selbst ab, auf Ihrer Seite läuft dafür nichts. Ein RTMP-Feed funktioniert umgekehrt: Ihr Encoder schiebt ihn heraus. Die Sprache des Redners wird automatisch erkannt, und er darf jederzeit die Sprache wechseln. Wenn Sie die Sprache kennen und die Aufnahme verrauscht ist oder ein starker Akzent vorliegt, verbessert die Angabe der Sprache die Genauigkeit.
Sauberes Audio beseitigt die Fehler, die durch den Raum entstehen. Gegen Fehler durch den Wortschatz hilft es nichts; dafür braucht es eine andere Art der Unterstützung.
Ein Telefon weiß nicht, wer spricht oder worum es im Vortrag geht. Ein Produktname oder ein Nachname ist für es nur ein weiterer Laut, den es annähert. Einer Übertragung kann man dagegen im Voraus sagen, was zu erwarten ist.
Wenn Sie vor dem Start ein Skript oder Folien hinzufügen, setzen sich die darin enthaltenen Namen und Begriffe gegen das durch, was die Engine falsch verstanden hat. Während der Aufnahme folgt der Script-Tab dem Redner wie ein Teleprompter. Das ist der größte einzelne Genauigkeitsgewinn für die Art von Sprache, die Konferenzen und Vorlesungen füllt: dicht mit Eigennamen und Fachvokabular, das kein allgemeines Modell oft genug gehört hat.
Gutes Audio und ein Glossar beseitigen die meisten Fehler. Die Frage ist, was mit den verbleibenden Fehlern geschieht.
Auch mit gutem Audio und einem Skript werden manche Zeilen falsch ausgegeben. Der Unterschied liegt darin, was danach passiert.
Am Telefon: nichts. Die falsche Zeile scrollt vorbei, und die Übersetzung, die darauf aufbaut, verschwindet mit ihr.
Bei einer Übertragung wird eine Zeile, die zu unklar ist, um sie zu zeigen, den Zuhörern als „Audio unclear“ ausgeblendet, statt sie als Tatsache auszugeben.
Außerdem gibt es den Moderator mit dem Fix-Tab: Die Wörter, bei denen sich die Engine unsicher war, können farbig markiert und unterstrichen werden, ein Klick öffnet eine Zeile zur Prüfung, und jedes Wort und jede Zeile lässt sich umschreiben, während die Transkription noch läuft. Jeder Zuhörer sieht die Korrektur in seiner eigenen Sprache. Jede Korrektur ist markiert und kann rückgängig gemacht werden.
Der Punkt ist nicht, dass ein Server nie Fehler macht. Sondern dass ein Fehler sichtbar ist, von jemandem im Raum verantwortet und einmal für alle behoben wird.
Korrekturen betreffen, was die Zuhörer lesen. Zuhörer, die lieber den Vortrag hören, erhalten denselben korrigierten Text, gesprochen.
Wer lieber zuhört als liest, kann sich jede übersetzte Zeile vorlesen lassen. Standardmäßig bekommt jeder Sprecher eine eigene Standardstimme passenden Geschlechts, damit ein Podium immer noch wie ein Podium klingt. Sie können jedem Sprecher eine Stimme zuweisen oder einen stummschalten.
Mit Erlaubnis des Sprechers können Sie noch weiter gehen und seine Stimme aus dreißig Sekunden Sprache klonen, entweder als hochgeladenen Clip oder direkt von einem Sprecher in einer Aufnahme; einige Minuten ergeben ein besseres Ergebnis. Die Übersetzung wird dann in jeder Sprache mit der eigenen Stimme des Sprechers gelesen. Ein Sprecher mit gespeicherter Stimme kann auch in späteren Aufnahmen wiedererkannt werden, wobei das System lieber einen Sprecher unbenannt lässt, als den falschen Namen zu nennen.
Zwei Regeln gelten, und sie sind bewusst so gesetzt. Eine geklonte Stimme sind biometrische Daten: Sie wird nur mit der ausdrücklichen Zustimmung des Sprechers erstellt und kann jederzeit gelöscht werden. Und eine Stimme spricht immer nur ein Transkript oder dessen Übersetzung; sie kann nicht dazu gebracht werden, etwas zu sagen, das ihr Besitzer nie gesagt hat.
Bis hierhin geschieht alles, während der Redner spricht. Der letzte Unterschied zeigt sich, nachdem er aufgehört hat.
Die fünfzig Telefon-Transkripte verschwinden, sobald die Apps geschlossen werden. Eine Übertragung behält die Aufnahme in Ihrer Bibliothek: das Audio sowie das Transkript mit allen Korrekturen und Übersetzungen. Dort lässt sie sich Zeile für Zeile wieder abspielen, in jeder Sprache durchsuchen und exportieren. Der Rundgang unter Eine Adresse, alle Sprachen beschreibt, was die Bibliothek leistet. Zuhörer kosten nichts, egal wie viele es sind. Bezahlt wird das transkribierte Audio, bei Live-Transkription $0.60 pro Stunde, mit einer Mindestdauer von 5 Minuten pro Transkription; die Preisseite enthält die vollständige Preistabelle.
Ein Telefon in jeder Hand bleibt eine gute Notlösung für ein Gespräch auf dem Flur. Wenn ein Raum gemeinsam einen Redner verstehen muss, sollte der Redner einmal von der Quelle aus transkribiert werden, und zwar mit jemandem, der Fehler beheben kann. Wie das aussieht, sehen Sie in der interaktiven Demo auf der Startseite.
