Přesnost živého překladu se rozhoduje z velké části dřív, než model vůbec něco zpracuje, a to podle toho, kde je mikrofon. Vezměte zvuk z mixážního pultu, ne z místa v dvanácté řadě, přepište ho jednou a chyba se stane jedním řádkem, který může kdokoli opravit pro všechny.
Překladové aplikace vestavěné do telefonů jsou skutečný technický úspěch. Často běží na modelu řeči dostatečně malém, aby se vešel do zařízení a jeho baterie (některé posílají zvuk na server, když je připojení), a u krátkých, jasných, každodenních vět plní svůj účel: zeptat se na cestu, přečíst jídelní lístek, rozhovor přes pult.
Místnost plná lidí, kteří poslouchají jednoho mluvčího, je jiný problém. Věci, které se ve skutečné řeči pokazí, jsou přesně to, s čím si malý model poradí nejhůř: neobvyklá slova a jména, slova, která znějí podobně („dal“ a „dál“, „být“ a „bít“), odborné termíny, přízvuky, lidé, kteří mluví přes sebe, a okolní hluk. U plachetního klubu model, který slyší „dal“ místo „dál“, udělal rozumný odhad a sebejistou chybu.
Dvě věci nutí malý model hádat víc než velký. Byl zkomprimován, aby se vešel do telefonu, takže zná méně slov a méně způsobů, jak je vyslovit; příjmení, které ještě nepotkal, aproximuje jen podle zvuku. A živé rozpoznávání se musí zavázat ke slovu dřív, než dorazí zbytek věty, takže model nemůže použít to, co by rozhodlo mezi „dal“ a „dál“: slova, která přijdou potom, nebo scénář, který říká, o čem přednáška je. V rozpoznávání řeči znamená kontext přesně tyto dvě věci: okolní slova a to, co je předem známo.
Když si model není jistý, hádá. Překlad pak stojí na tom odhadu a člověk, který ho čte, nemá žádný způsob, jak to poznat. Nikdo v místnosti nevidí, že řádek byl špatně, natož aby ho mohl opravit. A místnost není jeden posluchač, ale padesát.
Telefon slyší místnost, ne mluvčího. Rozhodující je vzdálenost: klopový nebo stolní mikrofon je několik centimetrů od úst, kdežto telefon v dvanácté řadě je deset metrů a více daleko a většina toho, co k němu dorazí, se nejdřív odrazila od stěn, stropu a opěradel židlí. Odražený zvuk přijde pozdě a rozmazaný. Navíc telefon zachytí kašel dva řady vzadu, šumění souseda a to, co s hlasem udělají reproduktory na cestě přes sál. Každé místo tak dostane mírně jinou nahrávku, a tedy mírně jiný přepis.
Telefon navíc překládá pro jednoho člověka. Padesát účastníků s padesáti telefony vytvoří padesát nezávislých přepisů téže přednášky, každý s jinou sadou chyb. Dva lidé, kteří si potom porovnají poznámky, se neshodnou na tom, co zaznělo. Mluvčí mezitím osloví zeď zvednutých telefonů, což je těžké publikum na čtení.
Pro některé lidi v místnosti je to víc než nepříjemnost; rozhoduje o tom, zda vůbec mohou přednášce rozumět. Sluchově postižený účastník nebo někdo, kdo sleduje ve třetím jazyce, potřebuje jeden správný sdílený text, ne padesát nejlepších pokusů. To znamená přepsat mluvčího jednou a dát všem stejný výsledek. Jednorázový přepis se vyplatí jen tehdy, je-li udělán dobře, a to začíná tím, odkud zvuk pochází.
Přepis je jen tak dobrý jako zvuk, ze kterého vznikl. Proto první rozhodnutí není, který model použít, ale jaký signál mu dát. Druhé je, co modelu říct, než začne.
Živý přepis bere zvuk odkudkoli, kde už je čistý signál:
VocalStack si URL stream stahuje sám, takže na vaší straně nic neběží. RTMP vstup funguje naopak: enkodér stream posílá sám. Jazyk mluvčího se zjišťuje automaticky a mluvčí může kdykoli přepnout jazyk. Pokud jazyk znáte a nahrávka je hlučná nebo silně přízvučná, jeho zadání přesnost zlepší.
Čistý zvuk odstraní chyby způsobené místností. Na chyby způsobené slovní zásobou nepomůže, ty potřebují jinou pomoc.
Telefon nemá tušení, kdo mluví nebo o čem přednáška je, takže název produktu nebo příjmení je pro něj jen další zvuk, který se odhaduje. Vysílání lze předem říct, co čekat.
Pokud před startem přidáte skript nebo prezentaci, jména a termíny z nich mají přednost před tím, co motor špatně zaslechl. Během nahrávání záložka Script sleduje mluvčího jako teleprompter. Je to největší jednotlivý zisk přesnosti u řeči, která plní konference a přednášky: plná vlastních jmen a slovní zásoby, kterou žádný univerzální model neslyšel dost často.
Dobrý zvuk a slovník odstraní většinu chyb. Otázka zní, co se stane s chybami, které zůstanou.
I s dobrým zvukem a skriptem se některé řádky vypíšou špatně. Rozdíl je v tom, co se stane dál.
U telefonu nic. Špatný řádek odroluje pryč a překlad postavený na něm odjede s ním.
Ve vysílání je řádek, který je příliš nejasný na to, aby stál za zobrazení, posluchačům skryt jako „Audio unclear“ a nevydává se za fakt.
Pak je tu hostitel, který má záložku Fix: slova, o kterých si motor nebyl jistý, lze obarvit a podtrhnout, kliknutím se řádek otevře ke kontrole a jakékoli slovo nebo řádek lze přepsat, i když přepis ještě běží. Každý posluchač vidí opravu ve svém jazyce. Každá oprava je označena a lze ji vrátit zpět.
Nejde o to, že server nikdy neudělá chybu. Jde o to, že chyba je viditelná, patří někomu v místnosti a je opravena jednou pro všechny.
Opravy mění to, co posluchači čtou. Posluchači, kteří by raději poslouchali přednášku, dostanou tentýž opravený text, namluvený.
Posluchač, který raději poslouchá, než čte, si může nechat každý přeložený řádek přečíst nahlas. Ve výchozím nastavení dostane každý mluvčí vlastní standardní hlas odpovídajícího pohlaví, takže panel stále zní jako panel. Hlas můžete přiřadit každému mluvčímu nebo některého ztlumit.
S povolením mluvčího můžete jít dál a klonovat jeho hlas z třiceti sekund jeho řeči, buď nahraného jako klip, nebo vzatého přímo z mluvčího v nahrávce; několik minut dá lepší výsledek. Překlad se pak čte v hlasu mluvčího ve všech jazycích. Mluvčího s uloženým hlasem lze poznat i v pozdějších nahrávkách, ačkoli systém raději nechá mluvčího bez jména, než aby pojmenoval špatnou osobu.
Platí dvě pravidla a jsou záměrná. Klonovaný hlas jsou biometrická data: vytvoří se jen s výslovným souhlasem mluvčího a kdykoli ho lze smazat. A hlas mluví jen přepis nebo jeho překlad; nelze ho donutit říct něco, co jeho majitel neřekl.
Všechno dosud popsané se děje, zatímco mluvčí mluví. Poslední rozdíl se projeví, až přestane.
Padesát telefonních přepisů zmizí, jakmile se aplikace zavřou. Vysílání si ponechá nahrávku ve vaší knihovně: zvuk a přepis se všemi opravami a překlady. Tam ji lze přehrát řádek po řádku, prohledat v libovolném jazyce a exportovat; postup, jak knihovna funguje, popisuje Jeden odkaz, všechny jazyky. Posluchači nic nestojí, ať jich je kolik chce. Platíte za přepsaný zvuk, za živý přepis $0.60 za hodinu s minimem 5 minut na přepis, a ceník obsahuje sazebník.
Telefon v každé ruce je pořád dobrá záložka pro rozhovor na chodbě. Pro místnost, která má společně porozumět jednomu mluvčímu, by se mluvčí měl přepsat jednou, ze zdroje, a někdo by měl být schopen opravit, co se pokazí. Jak to vypadá, uvidíte v interaktivním demu na domovské stránce.
