Noggrannheten i liveöversättning avgörs mest innan någon modell körs, av var mikrofonen står. Ta ljudet från mixerbordet, inte från en plats på rad tolv, transkribera det en gång, så blir ett misstag en rad som någon kan rätta för alla.
Översättningsapparna som är inbyggda i telefoner är en verklig bedrift. De kör ofta en talmodell som är tillräckligt liten för att få plats i enheten och batteriet (vissa skickar ljudet till en server när det finns en uppkoppling), och för korta, tydliga vardagsmeningar fungerar de: att fråga efter vägen, läsa en meny, ett samtal över disken.
Ett rum fullt av folk som lyssnar på en talare är ett annat problem. Det som går fel i riktigt tal är just det en liten modell är sämst på: ovanliga ord och namn, ord som låter lika (”their” och ”there”, ”sail” och ”sale”), facktermer, accenter, personer som pratar i mun på varandra och bakgrundsljud. På en seglarklubb har en modell som hör ”sale” gjort en rimlig gissning och ett självsäkert misstag.
Två saker gör att den lilla modellen gissar mer än en stor. Den har komprimerats för att få plats i telefonen, så den känner till färre ord och färre sätt att säga dem; den approximerar ett efternamn den inte har stött på utifrån bara ljudet. Och direktigenkänning måste välja ett ord innan resten av meningen har kommit, så modellen kan inte använda det som skulle ha avgjort ”sail” mot ”sale”: orden som kommer efteråt, eller ett manus som säger vad talet handlar om. I taligenkänning betyder kontext exakt de två sakerna: orden runt omkring, och det som är känt i förväg.
När modellen är osäker gissar den. Översättningen bygger då på gissningen, och personen som läser den har inget sätt att veta det. Ingen i rummet kan se att en rad var fel, än mindre rätta till den. Och ett rum är inte en lyssnare utan femtio.
En telefon hör rummet, inte talaren. Avståndet är orsaken: en mikrofon på revers eller på bordet sitter några centimeter från munnen, medan en telefon på rad tolv står tio meter bort eller längre, och större delen av det som når den har först studsat mot väggarna, taket och ryggstöden på stolarna. Reflekterat ljud kommer sent och utsmetat. Dessutom plockar telefonen upp personen som hostar två rader bakom, grannens sorl och vad högtalarna gör med rösten på vägen över salen. Varje plats får en något annorlunda inspelning, så varje plats får ett något annorlunda transkript.
En telefon översätter också bara för en person. Femtio deltagare som håller upp femtio telefoner ger femtio oberoende transkript av samma föredrag, med femtio olika uppsättningar fel. Två personer som jämför anteckningar efteråt kommer inte att vara överens om vad som sades. Talaren å sin sida talar till en vägg av uppräckta telefoner, vilket är en svår publik att läsa av.
För vissa i rummet är detta mer än en olägenhet; det avgör om de överhuvudtaget kan följa talet. En deltagare med nedsatt hörsel, eller någon som följer med på ett tredje språk, behöver en enda korrekt gemensam text, inte femtio bästa försök. Det innebär att man transkriberar talaren en gång och ger alla samma resultat. Att transkribera en gång lönar sig bara om det görs väl, och det börjar med varifrån ljudet kommer.
Transkriptet är bara så bra som ljudet det görs av. Därför är det första beslutet inte vilken modell man ska använda utan vilken signal man ska mata den med. Det andra är vad man ska säga till modellen innan den börjar.
En livetranskribering tar sitt ljud från där den rena signalen redan finns:
VocalStack hämtar en URL-ström själv, så inget körs på din sida. Ett RTMP-flöde fungerar tvärtom: din enkoder skickar det. Talarens språk identifieras automatiskt, och de kan byta språk när som helst. Om du känner till språket och inspelningen är bullrig eller har tung accent förbättrar det noggrannheten att ange det.
Rent ljud tar bort felen som orsakas av rummet. Det gör ingenting för felen som orsakas av ordförrådet, och för dem behövs en annan sorts hjälp.
En telefon har ingen aning om vem som talar eller vad föredraget handlar om, så ett produktnamn eller ett efternamn är bara ett ljud som den approximerar. En sändning kan på förhand få veta vad den ska vänta sig.
Om du lägger till ett manus eller bilder innan du startar vinner namnen och termerna i dem över det motorn hörde fel. Under inspelningen följer fliken Script talaren som en teleprompter. Det här är den enskilt största noggrannhetsvinsten för den sorts tal som fyller konferenser och föreläsningar: fullt av egennamn och ordförråd som ingen allmän modell har hört tillräckligt ofta.
Bra ljud och en ordlista tar bort de flesta felen. Frågan är vad som händer med de fel som återstår.
Även med bra ljud och ett manus kommer vissa rader att bli fel. Skillnaden är vad som händer sedan.
På en telefon: ingenting. Den felaktiga raden rullar förbi och översättningen som byggdes på den följer med.
I en sändning döljs en rad som är för otydlig för att vara värd att visa för lyssnarna, som ”Ljudet är otydligt”, i stället för att framställas som fakta.
Sedan finns värden, som har fliken Fix: orden som motorn var osäker på kan färgas och understrykas, ett klick öppnar en rad för granskning, och vilket ord eller vilken rad som helst kan skrivas om medan transkriberingen fortfarande pågår. Varje lyssnare ser rättelsen på sitt eget språk. Varje rättelse är markerad och kan ångras.
Poängen är inte att en server aldrig gör misstag. Det är att ett misstag syns, ägs av någon i rummet och rättas en gång för alla.
Rättelser ändrar det lyssnarna läser. Lyssnare som hellre hör föredraget får samma rättade text, uppläst.
En lyssnare som hellre lyssnar än läser kan få varje översatt rad uppläst. Som standard får varje talare en egen standardröst av matchande kön, så att en panel fortfarande låter som en panel. Du kan tilldela varje talare en röst, eller tysta en.
Med talarens tillstånd kan du gå längre och klona talarens röst från trettio sekunder av talarens tal, antingen uppladdat som ett klipp eller tagit direkt från en talare i en inspelning; några minuter ger ett bättre resultat. Översättningen läses då upp i talarens egen röst på varje språk. En talare med sparad röst kan också kännas igen i senare inspelningar, även om systemet hellre lämnar en talare onämnd än nämner fel person.
Två regler gäller, och de är medvetna. En klonad röst är biometrisk data: den görs bara med talarens uttryckliga samtycke och kan raderas när som helst. Och en röst talar bara ett transkript eller dess översättning; den kan inte få säga något ägaren aldrig sa.
Allt hittills sker medan talaren pratar. Den sista skillnaden syns efter att talaren har slutat.
De femtio telefontranskripten försvinner när apparna stängs. En sändning sparar inspelningen i ditt bibliotek: ljudet och transkriptet med varje rättelse och översättning. Där kan den spelas upp rad för rad, sökas i valfritt språk och exporteras; genomgången i En länk, alla språk täcker vad biblioteket gör. Lyssnare kostar ingenting, hur många de än är. Du betalar för det transkriberade ljudet, med $0.60 per timme för live och ett minimum på 5 minuter per transkribering, och prissidan har prislistan.
En telefon i varje hand är fortfarande en bra reserv för ett samtal i korridoren. För ett rum som ska förstå en talare tillsammans bör talaren transkriberas en gång, från källan, med någon som kan rätta det som går fel. Du kan se hur det ser ut i den interaktiva demon på startsidan.
