Hoe nauwkeurig livevertaling is, wordt vooral bepaald voordat er een model draait: door waar de microfoon staat. Neem het geluid van het mengpaneel, niet van een stoel op rij twaalf, transcribeer het één keer, en een fout wordt één regel die iemand voor iedereen kan corrigeren.
De vertaalapps die in telefoons zijn ingebouwd, zijn een echte prestatie. Ze draaien vaak een spraakmodel dat klein genoeg is om op het toestel en de batterij te passen (sommige sturen de audio naar een server als er verbinding is), en voor korte, duidelijke, alledaagse zinnen doen ze hun werk: de weg vragen, een menu lezen, een gesprek over een balie.
Een zaal vol mensen die naar één spreker luistert, is een ander probleem. De dingen die in echte spraak misgaan, zijn precies de dingen waar een klein model het slechtst in is: ongebruikelijke woorden en namen, woorden die hetzelfde klinken ("their" en "there", "sail" en "sale"), vaktermen, accenten, mensen die door elkaar praten, en achtergrondgeluid. Bij een zeilclub heeft een model dat "sale" hoort een redelijke gok gedaan en een zelfverzekerde fout gemaakt.
Twee dingen zorgen ervoor dat een klein model meer gokt dan een groot model. Het is gecomprimeerd om in de telefoon te passen, dus het kent minder woorden en minder manieren om ze uit te spreken; een achternaam die het nog nooit is tegengekomen, benadert het alleen op basis van de klanken. En live herkenning moet een woord vastleggen voordat de rest van de zin binnenkomt, dus het model kan niet gebruiken wat "sail" van "sale" zou onderscheiden: de woorden die daarna komen, of een script dat zegt waar de lezing over gaat. In spraakherkenning betekent context precies die twee dingen: de omringende woorden, en wat vooraf bekend is.
Als het model er niet zeker van is, gokt het. De vertaling is dan gebaseerd op die gok, en de persoon die haar leest, heeft geen manier om dat te weten. Niemand in de zaal kan zien dat een regel fout was, laat staan dat hij die kan herstellen. En een zaal is niet één luisteraar, maar vijftig.
Een telefoon hoort de zaal, niet de spreker. De afstand is de reden: een das- of tafelmicrofoon zit op een paar centimeter van de mond, terwijl een telefoon op rij twaalf tien meter of meer weg is, en het meeste wat hem bereikt, is eerst tegen de muren, het plafond en de rugleuningen van stoelen gekaatst. Gereflecteerd geluid komt laat en uitgesmeerd aan. Daarbovenop vangt de telefoon de persoon die twee rijen achter hoest, het gemurmel van een buurman en wat de luidsprekers met de stem doen op weg door de zaal. Elke stoel krijgt dus een iets andere opname, en dus een iets ander transcript.
Een telefoon vertaalt ook maar voor één persoon. Vijftig deelnemers die vijftig telefoons omhooghouden, leveren vijftig onafhankelijke transcripten van dezelfde lezing op, met vijftig verschillende sets fouten. Twee mensen die achteraf hun aantekeningen vergelijken, zullen het niet eens zijn over wat er gezegd werd. De spreker kijkt ondertussen naar een muur van opgestoken telefoons, en dat is een lastig publiek om af te lezen.
Voor sommige mensen in de zaal is dit meer dan een ongemak; het bepaalt of ze de lezing überhaupt kunnen volgen. Een deelnemer met een gehoorbeperking, of iemand die in een derde taal meeluistert, heeft één correcte gedeelde tekst nodig, en geen vijftig beste pogingen. Dat betekent de spreker één keer transcriberen en iedereen hetzelfde resultaat geven. Eén keer transcriberen loont alleen als het goed gebeurt, en dat begint bij waar het geluid vandaan komt.
Het transcript is zo goed als het geluid waarvan het gemaakt is. De eerste beslissing is dus niet welk model je gebruikt, maar welk signaal je het model voedt. De tweede is wat je het model vertelt voordat het begint.
Een livetranscriptie haalt zijn audio van waar het schone signaal al is:
VocalStack haalt een URL-stream zelf op, dus er draait niets aan jouw kant. Een RTMP-feed werkt andersom: jouw encoder stuurt hem door. De taal van de spreker wordt automatisch herkend, en de spreker mag op elk moment van taal wisselen. Als je de taal kent en de opname ruisig is of een sterk accent heeft, verbetert het benoemen ervan de nauwkeurigheid.
Schoon geluid haalt de fouten weg die door de zaal worden veroorzaakt. Voor de fouten die door de woordenschat komen, doet het niets; daarvoor is een ander soort hulp nodig.
Een telefoon heeft geen idee wie er spreekt of waar de lezing over gaat, dus een productnaam of een achternaam is alleen maar een klank die benaderd moet worden. Een uitzending kan van tevoren worden verteld wat er te verwachten is.
Als je voordat je begint een script of slides toevoegt, winnen de namen en termen daarin het van wat de engine verkeerd heeft gehoord. Tijdens de opname volgt het Script-tabblad de spreker als een teleprompter. Dit is de grootste nauwkeurigheidswinst voor het soort spraak dat conferenties en colleges vult: vol eigennamen en vakwoorden die geen algemeen model vaak genoeg heeft gehoord.
Goed geluid en een woordenlijst verwijderen de meeste fouten. De vraag is wat er gebeurt met de fouten die overblijven.
Ook met goed geluid en een script komen sommige regels fout uit. Het verschil zit in wat er daarna gebeurt.
Op een telefoon: niets. De foute regel schuift voorbij, en de vertaling die erop is gebaseerd, gaat mee.
Bij een uitzending wordt een regel die te onduidelijk is om te tonen, voor luisteraars verborgen met "Audio onduidelijk", in plaats van als feit gepresenteerd.
Dan is er de host, die een Fix-tabblad heeft: de woorden waar de engine onzeker over was, kunnen worden gekleurd en onderstreept, een klik opent een regel om te beoordelen, en elk woord of elke regel kan worden herschreven terwijl de transcriptie nog live is. Elke luisteraar ziet de correctie in de eigen taal. Elke fix is gemarkeerd en kan worden teruggedraaid.
Het punt is niet dat een server nooit fouten maakt. Het is dat een fout zichtbaar is, in handen van iemand in de zaal ligt, en één keer voor iedereen wordt hersteld.
Correcties verbeteren wat luisteraars lezen. Luisteraars die liever naar de lezing luisteren, krijgen dezelfde gecorrigeerde tekst, uitgesproken.
Een luisteraar die liever luistert dan leest, kan elke vertaalde regel hardop laten voorlezen. Standaard krijgt elke spreker een eigen standaardstem van de passende sekse, zodat een paneel nog steeds als een paneel klinkt. Je kunt elke spreker een stem toewijzen, of er één dempen.
Met toestemming van de spreker kun je nog verder gaan en zijn of haar stem klonen op basis van dertig seconden spraak, geüpload als clip of direct genomen van een spreker in een opname; een paar minuten geeft een beter resultaat. De vertaling wordt dan in elke taal uitgesproken met de eigen stem van de spreker. Een spreker met een opgeslagen stem kan ook in latere opnames worden herkend, al kiest het systeem liever voor een spreker zonder naam dan voor de verkeerde persoon.
Twee regels gelden, en ze zijn bewust zo gekozen. Een gekloonde stem is biometrische gegevens: ze wordt alleen gemaakt met de uitdrukkelijke instemming van de spreker en kan op elk moment worden verwijderd. En een stem spreekt alleen ooit een transcript of de vertaling ervan uit; ze kan niet worden gedwongen iets te zeggen wat de eigenaar nooit heeft gezegd.
Alles tot nu toe gebeurt terwijl de spreker praat. Het laatste verschil komt pas daarna.
De vijftig telefoontranscripten verdwijnen zodra de apps sluiten. Een uitzending bewaart de opname in je bibliotheek: het geluid, en het transcript met elke correctie en vertaling. Daar kan het regel voor regel worden teruggespeeld, in elke taal worden doorzocht en worden geëxporteerd; de walkthrough in Eén link, elke taal beschrijft wat de bibliotheek doet. Luisteraars kosten niets, hoeveel er ook zijn. Je betaalt voor het getranscribeerde geluid, $0.60 per uur voor live, met een minimum van 5 minuten per transcriptie, en de prijspagina bevat de tariefkaart.
Een telefoon in elke hand is nog steeds een prima noodoplossing voor een gesprek in de gang. Voor een zaal die samen één spreker moet begrijpen, moet de spreker één keer worden getranscribeerd, vanaf de bron, met iemand die kan corrigeren wat misgaat. Je kunt zien hoe dat eruitziet in de interactieve demo op de homepage.
