L'accuratezza della traduzione dal vivo dipende soprattutto da ciò che accade prima di qualsiasi modello, cioè da dove si trova il microfono. Prendi l'audio dal banco di regia, non da un posto in dodicesima fila, trascrivilo una volta, e un errore diventa una sola riga che qualcuno può correggere per tutti.
Le app di traduzione integrate nei telefoni sono un risultato notevole. Spesso eseguono un modello di riconoscimento vocale abbastanza piccolo da stare nel dispositivo e nella sua batteria (alcune inviano l'audio a un server quando c'è una connessione), e per frasi brevi, chiare e di tutti i giorni fanno il loro lavoro: chiedere indicazioni, leggere un menu, una conversazione al banco.
Una sala piena di persone che ascoltano un solo relatore è un problema diverso. Le cose che vanno storte nel parlato reale sono esattamente quelle in cui un modello piccolo è più debole: parole poco comuni e nomi propri, parole che suonano simili ("their" e "there", "sail" e "sale"), termini tecnici, accenti, persone che parlano una sopra l'altra e rumore di fondo. In un circolo velico, un modello che sente "sale" ha fatto un'ipotesi ragionevole e un errore sicuro di sé.
Due cose spingono il modello piccolo a indovinare più di uno grande. È stato compresso per entrare nel telefono, quindi conosce meno parole e meno modi di pronunciarle; e se incontra un cognome che non ha mai visto, lo approssima solo dai suoni. Inoltre il riconoscimento in tempo reale deve fissare una parola prima che arrivi il resto della frase, quindi il modello non può usare ciò che avrebbe chiarito se si trattava di "sail" o di "sale": le parole che seguono, oppure un copione che dica di cosa parla l'intervento. Nel riconoscimento vocale, il contesto significa esattamente queste due cose: le parole circostanti e ciò che si conosce in anticipo.
Quando il modello non è sicuro, indovina. La traduzione si costruisce allora sull'ipotesi, e chi legge non ha modo di saperlo. Nessuno in sala può vedere che una riga era sbagliata, figuriamoci correggerla. E una sala non ha un solo ascoltatore, ne ha cinquanta.
Un telefono ascolta la sala, non il relatore. La distanza è il motivo: un microfono da bavero o da tavolo sta a pochi centimetri dalla bocca, mentre un telefono in dodicesima fila è a dieci metri o più, e gran parte di ciò che lo raggiunge è già rimbalzato sulle pareti, sul soffitto e sugli schienali delle sedie. Il suono riflesso arriva in ritardo e sfocato. A ciò si aggiungono il colpo di tosse di una persona due file più indietro, il brusio di un vicino e tutto ciò che gli altoparlanti fanno alla voce mentre attraversa la sala. Ogni posto riceve una registrazione leggermente diversa, quindi ogni posto riceve una trascrizione leggermente diversa.
Inoltre un telefono traduce per una sola persona. Cinquanta partecipanti che alzano cinquanta telefoni producono cinquanta trascrizioni indipendenti dello stesso intervento, con cinquanta serie diverse di errori. Due persone che confrontano gli appunti dopo non concorderanno su ciò che è stato detto. Il relatore, dal canto suo, si rivolge a un muro di telefoni alzati, un pubblico difficile da leggere.
Per alcune persone in sala questo è più di un fastidio: decide se riescono a seguire l'intervento. Un partecipante con problemi di udito, o uno che segue in una terza lingua, ha bisogno di un unico testo corretto e condiviso, non di cinquanta tentativi approssimativi. Significa trascrivere il relatore una volta sola e dare a tutti lo stesso risultato. Trascrivere una volta conviene solo se lo si fa bene, e questo inizia da dove viene l'audio.
La trascrizione vale quanto l'audio da cui nasce. Quindi la prima decisione non è quale modello usare, ma quale segnale dargli. La seconda è cosa dirgli prima che inizi.
Una trascrizione dal vivo prende l'audio da dove il segnale pulito esiste già:
VocalStack recupera da sé uno stream da URL, quindi sul tuo lato non gira nulla. Un feed RTMP funziona al contrario: è il tuo encoder a inviarlo. La lingua del relatore viene rilevata automaticamente, e il relatore può cambiare lingua in qualsiasi momento. Se conosci la lingua e la registrazione è rumorosa o con un accento marcato, indicarla migliora l'accuratezza.
Un audio pulito elimina gli errori causati dalla sala. Non fa nulla per quelli dovuti al lessico, e per quelli serve un altro tipo di aiuto.
Un telefono non sa chi parla né di cosa parla l'intervento, quindi un nome di prodotto o un cognome è solo un altro suono da approssimare. Una trasmissione può essere informata in anticipo su ciò che la aspetta.
Se aggiungi uno script o delle slide prima di iniziare, i nomi e i termini che vi compaiono prevalgono su ciò che il motore ha capito male. Durante la registrazione la scheda Script segue il relatore come un gobbo elettronico. È il guadagno di accuratezza più grande per il tipo di parlato che riempie conferenze e lezioni: denso di nomi propri e di vocabolario che nessun modello generico ha sentito abbastanza spesso.
Audio buono e un glossario eliminano la maggior parte degli errori. La domanda è cosa succede agli errori che restano.
Anche con un buon audio e uno script, alcune righe usciranno sbagliate. La differenza sta in ciò che accade dopo.
Su un telefono, nulla. La riga sbagliata scorre via e con lei la traduzione costruita su di essa.
In una trasmissione, una riga troppo poco chiara per essere mostrata viene nascosta agli ascoltatori come "Audio unclear", invece di essere presentata come un fatto.
Poi c'è l'host, che ha una scheda Fix: le parole su cui il motore era incerto possono essere colorate e sottolineate, un clic apre una riga per la revisione, e qualsiasi parola o riga può essere riscritta mentre la trascrizione è ancora in diretta. Ogni ascoltatore vede la correzione nella propria lingua. Ogni correzione è segnalata e può essere annullata.
Il punto non è che un server non sbagli mai. È che un errore è visibile, appartiene a qualcuno in sala e viene corretto una volta sola per tutti.
Le correzioni riguardano ciò che gli ascoltatori leggono. Chi preferisce ascoltare l'intervento riceve lo stesso testo corretto, pronunciato.
Un ascoltatore che preferisce ascoltare piuttosto che leggere può far leggere ad alta voce ogni riga tradotta. Per impostazione predefinita ogni relatore ha una voce predefinita diversa dello stesso genere, così un panel suona ancora come un panel. Puoi assegnare una voce a ciascun relatore, oppure silenziarne uno.
Con il permesso del relatore, puoi spingerti oltre e clonarne la voce a partire da trenta secondi di parlato, caricati come clip oppure presi direttamente da un relatore in una registrazione; qualche minuto dà un risultato migliore. La traduzione viene quindi letta con la voce del relatore in ogni lingua. Un relatore con una voce salvata può anche essere riconosciuto nelle registrazioni successive, anche se il sistema preferisce lasciare un relatore senza nome piuttosto che attribuirlo alla persona sbagliata.
Due regole valgono, e sono intenzionali. Una voce clonata è un dato biometrico: viene creata solo con l'accordo esplicito del relatore e può essere eliminata in qualsiasi momento. E una voce pronuncia soltanto una trascrizione o la sua traduzione; non può essere fatta dire qualcosa che il suo titolare non ha mai detto.
Tutto ciò che abbiamo visto finora accade mentre il relatore parla. L'ultima differenza emerge dopo che ha smesso.
Le cinquanta trascrizioni sul telefono svaniscono quando le app si chiudono. Una trasmissione conserva la registrazione nella tua libreria: l'audio e la trascrizione con ogni correzione e traduzione. Lì può essere riascoltata riga per riga, cercata in qualsiasi lingua ed esportata; la guida Un link, tutte le lingue descrive cosa fa la libreria. Gli ascoltatori non costano nulla, per quanti siano. Paghi l'audio trascritto, a $0.60 all'ora per la diretta, con un minimo di 5 minuti per trascrizione, e la pagina dei prezzi riporta la tariffa.
Un telefono in ogni mano resta un buon ripiego per una conversazione in corridoio. Per una sala che deve capire insieme un solo relatore, il relatore va trascritto una volta, dalla fonte, con qualcuno in grado di correggere ciò che va storto. Puoi vedere com'è in pratica nella demo interattiva nella home page.
