A precisión da tradución en directo decídese sobre todo antes de que funcione ningún modelo: por onde vén o micrófono. Toma o audio da mesa de mezclas, non dun asento na fila doce, transcríbeo unha vez e un erro convértese nunha soa liña que alguén pode corrixir para todos.
As aplicacións de tradución integradas nos teléfonos son un logro real. Adoitan executar un modelo de voz o bastante pequeno para caber no dispositivo e na súa batería (algunhas envían o audio a un servidor cando hai conexión), e para frases curtas, claras e cotiás cumpren a súa función: preguntar polo camiño, ler un menú, unha conversa a través dun mostrador.
Unha sala chea de xente que escoita a un só falante é un problema distinto. As cousas que saen mal na fala real son exactamente as que peor se lle dan a un modelo pequeno: palabras pouco frecuentes e nomes propios, palabras que soan igual («their» e «there», «sail» e «sale»), termos técnicos, acentos, persoas que falan ao mesmo tempo e ruído de fondo. Nun club de vela, un modelo que escoita «sale» fixo unha suposición razoable e un erro seguro de si mesmo.
Hai dúas cousas que fan que o modelo pequeno adiviñe máis que un grande. Foi comprimido para caber no teléfono, así que coñece menos palabras e menos maneiras de dicilas; aproxima un apelido que nunca viu a partir só dos sons. E o recoñecemento en directo ten que comprometerse cunha palabra antes de que chegue o resto da frase, así que o modelo non pode usar o que resolvería «sail» fronte a «sale»: as palabras que veñen despois, ou un guión que diga de que vai a charla. No recoñecemento da fala, contexto significa exactamente esas dúas cousas: as palabras que rodean o son e o que se sabe de antemán.
Cando o modelo non está seguro, adiviña. A tradución constrúese entón sobre a suposición, e a persoa que a le non ten maneira de saber iso. Ninguén da sala pode ver que unha liña estaba mal, e menos aínda corrixila. E unha sala non é un oínte, son cincuenta.
Un teléfono escoita a sala, non ao falante. A distancia é a razón: unha lapela ou un micrófono de mesa está a uns poucos centímetros da boca, mentres que un teléfono na fila doce está a dez metros ou máis, e a maior parte do que lle chega rebotou antes polas paredes, o teito e os respaldos das cadeiras. O son reflectido chega tarde e borroso. Ademais, o teléfono recolle a persoa que tose dúas filas atrás, o murmurio do veciño e o que fan os altofalantes coa voz de camiño polo salón. Cada asento recibe unha gravación lixeiramente distinta, e por iso cada asento recibe unha transcrición lixeiramente distinta.
Ademais, un teléfono traduce só para unha persoa. Cincuenta asistentes con cincuenta teléfonos en alto producen cincuenta transcricións independentes da mesma charla, cada unha con erros distintos. Dúas persoas que comparen notas despois non estarán de acordo sobre o que se dixo. O falante, mentres tanto, dirixe a palabra a un muro de teléfonos levantados, un público difícil de ler.
Para algunhas persoas da sala isto é máis que un incordio: decide se poden seguir a charla ou non. Un asistente con discapacidade auditiva, ou alguén que segue a charla nun terceiro idioma, necesita un único texto correcto e compartido, non cincuenta intentos. Iso significa transcribir ao falante unha vez e dar a todos o mesmo resultado. Transcribir unha soa vez só compensa se se fai ben, e iso comeza por saber de onde vén o audio.
A transcrición é só tan boa como o audio do que parte. Así que a primeira decisión non é que modelo usar, senón que sinal lle dar. A segunda é o que lle dicir ao modelo antes de comezar.
Unha transcrición en directo toma o audio de onde o sinal limpo xa está:
VocalStack extrae o fluxo dun URL por si mesmo, así que do teu lado non se executa nada. Unha fonte RTMP funciona ao revés: é o teu codificador o que a envía. O idioma do falante detéctase automaticamente, e pode cambiar de idioma en calquera momento. Se coñeces o idioma e a gravación é ruidosa ou o acento é moi marcado, indicalo mellora a precisión.
O audio limpo elimina os erros causados pola sala. Non fai nada polos erros causados polo vocabulario, e esos necesitan outro tipo de axuda.
Un teléfono non sabe quen fala nin de que vai a charla, así que un nome de produto ou un apelido é só outro son que hai que aproximar. Unha emisión pode recibir de antemán o que debe esperar.
Se engades un guión ou as diapositivas antes de comezar, os nomes e os termos que aparezan neles terán prioridade sobre o que o motor oíu mal. Durante a gravación, a pestana Script segue ao falante como un teleprompter. Esta é a mellora de precisión máis importante para o tipo de fala que enche congresos e clases: cargada de nomes propios e de vocabulario que ningún modelo de propósito xeral escoitou con frecuencia abonda.
Audio limpo e un glosario eliminan a maior parte dos erros. A pregunta é que pasa cos erros que quedan.
Mesmo con audio limpo e guión, algunhas liñas saldrán mal. A diferenza está no que pasa despois.
Nun teléfono, nada. A liña errada pásase de largo e a tradución construída sobre ela vai con ela.
Nunha emisión, unha liña demasiado pouco clara para mostrarse ocúltase aos oíntes con «Audio unclear» en vez de presentarse como un feito.
Despois está o anfitrión, que ten a pestana Fix: as palabras nas que o motor non estaba seguro pódense colorear e subliñar, un clic abre unha liña para revisar, e calquera palabra ou liña pode reescribirse mentres a transcrición aínda está en directo. Cada oínte ve a corrección no seu propio idioma. Cada corrección queda marcada e pódese desfacer.
O punto non é que un servidor nunca cometa erros. É que o erro é visible, corresponde a alguén da sala e se corrixe unha vez para todos.
As correccións afectan ao que len os oíntes. Os que prefiren escoitar a charla reciben o mesmo texto corrixido, pero falado.
Un oínte que prefire escoitar a ler pode ter cada liña traducida lida en voz alta. Por defecto, cada falante recibe unha voz predefinida distinta do xénero que lle corresponde, para que un panel siga soando a panel. Pódese asignar unha voz a cada falante, ou silenciar a un.
Co permiso do falante, pode darse un paso máis e clonar a súa voz a partir de trinta segundos da súa fala, subidos como clip ou tomados directamente dun falante nunha gravación; uns minutos dan un mellor resultado. A tradución lese entón coa propia voz do falante en todos os idiomas. Un falante con voz gardada tamén pode ser recoñecido en gravacións posteriores, aínda que o sistema prefire deixar a un falante sen nome antes que poñerlle o nome da persoa equivocada.
Hai dúas regras, e son deliberadas. Unha voz clonada é un dato biométrico: só se crea co consentimento explícito do falante e pode borrarse en calquera momento. E unha voz só pronuncia unha transcrición ou a súa tradución; non se pode facer que diga algo que o seu dono nunca dixo.
Todo o anterior ocorre mentres o falante está a falar. A última diferenza aparece despois de que deixe de falar.
As cincuenta transcricións do teléfono desaparecen cando se pechan as aplicacións. Unha emisión conserva a gravación na túa biblioteca: o audio e a transcrición con cada corrección e tradución. Alí pódese reproducir liña a liña, buscar en calquera idioma e exportar; o percorrido por Unha ligazón, todos os idiomas explica o que fai a biblioteca. Os oíntes non cuestan nada, por moitos que sexan. Pagas polo audio transcrito, a $0.60 por hora en directo, cunha duración mínima de 5 minutos por transcrición, e a páxina de prezos ten a táboa completa.
Un teléfono en cada man segue sendo un bo plan de reserva para unha conversa no corredor. Para unha sala que ten que entender a un falante en conxunto, o falante debe transcribirse unha vez, desde a fonte, cunha persoa capaz de corrixir o que sae mal. Pode ver como se ve isto na demo interactiva da páxina de inicio.
