Nøyaktigheten i direkteoversettelse avgjøres stort sett før noen modell kjører, av hvor mikrofonen står. Ta lyden fra miksepulten, ikke fra et sete på rad tolv, transkriber den én gang, så blir en feil én linje som noen kan rette for alle.
Oversettelsesappene som er innebygd i telefoner, er en reell prestasjon. De kjører ofte en talemodell som er liten nok til å få plass på enheten og i batteriet (noen sender lyden til en server når det finnes forbindelse), og for korte, tydelige hverdagssetninger gjør de jobben: spørre om veien, lese en meny, en samtale over disken.
Et rom fullt av folk som lytter til én taler, er et annet problem. Det som går galt i ekte tale, er nettopp det en liten modell er dårligst på: uvanlige ord og navn, ord som høres likt ut («their» og «there», «sail» og «sale»), fagord, aksenter, folk som snakker i munnen på hverandre, og bakgrunnsstøy. I en seilklubb har en modell som hører «sale», gjort en rimelig gjetning og en selvsikker feil.
To ting gjør at den lille modellen gjetter mer enn en stor. Den er komprimert for å passe i telefonen, så den kjenner færre ord og færre måter å si dem på; et etternavn den ikke har møtt før, tilnærmer den bare ut fra lydene. Og direkte gjenkjenning må velge et ord før resten av setningen kommer, så modellen kan ikke bruke det som ville avgjort om det var «sail» eller «sale»: ordene som kommer etterpå, eller et manus som sier hva foredraget handler om. I talegjenkjenning betyr kontekst nettopp disse to tingene: de omliggende ordene, og det som er kjent på forhånd.
Når modellen er usikker, gjetter den. Oversettelsen bygges da på gjetningen, og personen som leser den, har ingen måte å vite det på. Ingen i rommet kan se at en linje var feil, enda mindre rette den. Og et rom har ikke én lytter, men femti.
En telefon hører rommet, ikke taleren. Avstanden er årsaken: en knappemikrofon eller en bordmikrofon står noen centimeter fra munnen, mens en telefon på rad tolv står ti meter unna eller mer, og det meste av lyden som når den, har først sprettet mot veggene, taket og ryggene på stolene. Refleksjonene kommer for sent og er utsmurt. Dessuten fanger telefonen opp personen som hoster to rader bak, nabomumlingen og det høyttalerne gjør med stemmen på vei over salen. Hvert sete får altså et litt forskjellig opptak, og hvert sete får en litt forskjellig transkripsjon.
En telefon oversetter også bare for én person. Femti deltakere som holder opp femti telefoner, gir femti uavhengige transkripsjoner av samme foredrag, med femti ulike sett med feil. To personer som sammenligner notatene etterpå, blir ikke enige om hva som ble sagt. Taleren på sin side snakker til en vegg av oppløftede telefoner, og det er et vanskelig publikum å lese.
For noen i rommet er dette mer enn en ulempe; det avgjør om de i det hele tatt kan følge med. En deltaker med nedsatt hørsel, eller noen som følger med på et tredje språk, trenger én riktig felles tekst, ikke femti beste forsøk. Det betyr å transkribere taleren én gang og gi alle samme resultat. Å transkribere én gang lønner seg bare hvis det gjøres godt, og det begynner med hvor lyden kommer fra.
Transkripsjonen er bare så god som lyden den lages av. Så den første avgjørelsen er ikke hvilken modell man skal bruke, men hvilket signal man skal mate den med. Den andre er hva man skal fortelle modellen før den begynner.
En direkteoversettelse henter lyden der det rene signalet allerede finnes:
VocalStack henter selv en URL-strøm, så ingenting må kjøre på din side. En RTMP-strøm går den andre veien: det er enkoderen din som sender den. Taleren sitt språk oppdages automatisk, og de kan bytte språk når som helst. Hvis du kjenner språket og opptaket er støyete eller har tung aksent, gir det bedre nøyaktighet å oppgi det.
Ren lyd fjerner feilene som skyldes rommet. Den gjør ingenting for feilene som skyldes ordforråd, og de trenger en annen type hjelp.
En telefon aner ikke hvem som taler eller hva foredraget handler om, så et produktnavn eller et etternavn er bare en lyd til som må tilnærmes. En sending kan få vite hva som kommer, på forhånd.
Hvis du legger til et manus eller lysbilder før du starter, vinner navnene og begrepene der over det motoren hørte feil. Under opptaket følger fanen Script taleren som en teleprompter. Dette er den enkeltstørste nøyaktighetsgevinsten for den typen tale som fyller konferanser og forelesninger: tett med egennavn og fagord som ingen generell modell har hørt ofte nok.
God lyd og en ordliste fjerner de fleste feilene. Spørsmålet er hva som skjer med feilene som gjenstår.
Selv med god lyd og et manus blir noen linjer feil. Forskjellen ligger i hva som skjer videre.
På en telefon: ingenting. Den gale linjen ruller forbi, og oversettelsen bygget på den forsvinner med.
I en sending skjules en linje som er for uklar til å vises, for lytterne som «Audio unclear», i stedet for å bli presentert som et faktum.
Så er det verten, som har fanen Fix: ordene motoren var usikker på, kan farges og understrekes, et klikk åpner en linje for gjennomgang, og et hvilket som helst ord eller en hel linje kan skrives om mens transkripsjonen fortsatt er direkte. Hver lytter ser rettelsen på sitt eget språk. Hver rettelse er merket og kan angres.
Poenget er ikke at en server aldri gjør feil. Det er at en feil er synlig, eies av noen i rommet, og rettes én gang for alle.
Rettelser retter det lytterne leser. Lyttere som heller vil høre foredraget, får den samme rettede teksten, opplest.
En lytter som heller vil lytte enn å lese, kan få hver oversatte linje lest høyt. Som standard får hver taler en egen standardstemme av samme kjønn, slik at et panel fortsatt høres ut som et panel. Du kan tilordne en stemme til hver taler, eller dempe én.
Med taleren sitt samtykke kan du gå lenger og klone stemmen hans eller hennes fra tretti sekunder tale, enten som et opplastet klipp eller hentet rett fra en taler i et opptak; noen minutter gir et bedre resultat. Oversettelsen leses så med taleren sin egen stemme på alle språk. En taler med en lagret stemme kan også gjenkjennes i senere opptak, selv om systemet heller lar en taler være uten navn enn å navngi feil person.
To regler gjelder, og de er bevisste. En klonet stemme er biometriske data: den lages bare med talerens uttrykkelige samtykke, og den kan slettes når som helst. Og en stemme snakker bare en transkripsjon eller oversettelsen av den; den kan ikke få til å si noe eieren aldri sa.
Alt dette skjer mens taleren snakker. Den siste forskjellen viser seg etter at de har sluttet.
De femti telefontranskripsjonene forsvinner når appene lukkes. En sending beholder opptaket i biblioteket ditt: lyden, og transkripsjonen med alle rettelser og oversettelser. Der kan det spilles av linje for linje, søkes i på alle språk og eksporteres; gjennomgangen i Én lenke, alle språk forklarer hva biblioteket gjør. Lyttere koster ingenting, uansett hvor mange de er. Du betaler for lyden som transkriberes, med $0.60 per time for direkte og et minimum på 5 minutter per transkripsjon, og prissiden har prislisten.
En telefon i hver hånd er fortsatt en grei reserveløsning for en samtale i gangen. For et rom som skal forstå én taler sammen, bør taleren transkriberes én gang, fra kilden, med noen som kan rette det som går galt. Du kan se hvordan det ser ut i den interaktive demoen på forsiden.
