Az élő fordítás pontossága nagyrészt azelőtt eldől, hogy bármelyik modell lefut: azon, hol van a mikrofon. Vedd a hangot a keverőpultról, ne a tizenkettedik sorból, írd át egyszer, és egy hiba egyetlen sor lesz, amelyet mindenki számára ki lehet javítani.
A telefonokba épített fordítóalkalmazások valódi teljesítmények. Gyakran olyan beszédmodellt futtatnak, amely elég kicsi ahhoz, hogy elférjen a készüléken és ne merítse le az akkumulátort (egyesek a hangot szerverre küldik, ha van kapcsolat), és rövid, tiszta, mindennapi mondatoknál elvégzik a munkát: útbaigazítás kérése, étlap olvasása, beszélgetés a pultnál.
Egy teremnyi embernek, akik egy előadót hallgatnak, más a probléma. A valódi beszédben elromló dolgok pontosan azok, amelyekben egy kis modell a leggyengébb: ritka szavak és nevek, hangzásra hasonló szavak („their” és „there”, „sail” és „sale”), szakkifejezések, akcentusok, egymásba beszélő emberek és háttérzaj. Egy vitorlásklubban az a modell, amely a „sale” szót hallja, ésszerű találgatást tett, de magabiztosan téved.
Két dolog miatt találgat többet a kis modell, mint egy nagy. A telefonra szűkítéshez tömörítették, ezért kevesebb szót ismer és kevesebb módot arra, ahogyan ezeket ki lehet mondani; egy ismeretlen vezetéknevet csak a hangzásából tud megközelíteni. Az élő felismerés pedig még azelőtt döntésre kényszerül egy szó miatt, hogy a mondat többi része megérkezett volna, így a modell nem használhatja azt, ami eldöntené a „sail” és a „sale” közötti kérdést: a következő szavakat, vagy azt a szkriptet, amely megmondja, miről szól az előadás. A beszédfelismerésben a kontextus pontosan ez a két dolog: a környező szavak és az, ami előre ismert.
Ha a modell nincs biztos a dolgában, kitalál valamit. A fordítás ezen a tippen áll, a szöveget olvasó embernek pedig nincs módja tudni róla. A teremben senki nem látja, hogy egy sor téves volt, nemhogy ki tudná javítani. A teremben pedig nem egy hallgató ül, hanem ötven.
A telefon a termet hallja, nem az előadót. A távolság a magyarázat: egy kitűzhető vagy asztali mikrofon néhány centiméterre van a szájtól, egy telefon a tizenkettedik sorban tíz méterre vagy még távolabb, és ami eljut hozzá, annak nagy része már visszaverődött a falakról, a mennyezetről és a székek támláiról. A visszavert hang későn és elmosódva érkezik. Ehhez jön, hogy a telefon felveszi a két sorral hátrébb köhögő embert, a szomszéd motyogását és azt, amit a hangszórók tesznek a hanggal, miközben átmegy a termen. Minden ülésnek kicsit más felvétele van, tehát minden ülésnek kicsit más átirata.
A telefon ráadásul egy embernek fordít. Ötven résztvevő, aki ötven telefont tart fel, ötven egymástól független átiratot kap ugyanarról az előadásról, ötven különböző hibahalmazzal. Két ember, aki utólag összeveti a jegyzeteit, nem fog egyetérteni abban, mi hangzott el. Az előadó közben egy felemelt telefonokból álló falnak beszél, ami nehéz közönség, mert nem látja, ki mit érez.
Néhány embernek a teremben ez több kellemetlenségnél: eldönti, hogy egyáltalán tudja-e követni az előadást. Egy nagyothalló résztvevőnek vagy valakinek, aki harmadik nyelven követi az előadást, egy közös, helyes szöveg kell, nem ötven legjobb igyekezet. Ehhez egyszer kell átírni az előadót, és mindenkinek ugyanazt az eredményt adni. Az egyszeri átírás csak akkor éri meg, ha jól sikerül, és ez azzal kezdődik, honnan jön a hang.
Az átirat csak annyira jó, mint a hang, amelyből készül. Ezért az első döntés nem az, melyik modellt használjuk, hanem az, melyik jelet adjuk neki. A második az, mit mondunk a modellnek, mielőtt elindul.
Az élő átírás ott veszi a hangot, ahol a tiszta jel már megvan:
A VocalStack maga húzza be az URL-streamet, így a te oldaladon nem fut semmi. Az RTMP-feed fordítva működik: a te kódolód tolja felénk. Az előadó nyelvét automatikusan felismerjük, és bármikor válthat nyelvet. Ha ismered a nyelvet, és a felvétel zajos vagy erős az akcentus, a megnevezése javítja a pontosságot.
A tiszta hang megszünteti a teremből eredő hibákat. A szókincsből fakadókon nem segít; azokhoz más fajta segítség kell.
A telefonnak fogalma sincs, ki beszél vagy miről szól az előadás, ezért a terméknév vagy a vezetéknév is csak egy hang, amit közelíteni kell. Egy közvetítésnek viszont előre megmondható, mi várható.
Ha az indulás előtt szkriptet vagy diákat adsz hozzá, az ebben szereplő nevek és kifejezések felülírják, amit a motor rosszul hallott. Felvétel közben a Script fül a teleprompterhez hasonlóan követi az előadót. Ez a legnagyobb egyedi pontosságnövelő tényező az olyan beszédeknél, amelyek konferenciákat és előadásokat töltenek meg: sűrűn tele tulajdonnevekkel és olyan szókinccsel, amelyet egyetlen általános modell sem hallott elég gyakran.
A jó hang és a szószedet a legtöbb hibát kiszűri. A kérdés az, mi történik a maradékkal.
Jó hanggal és szkripttel is lesznek rossz sorok. A különbség azon múlik, mi történik ezután.
Telefonon: semmi. A rossz sor továbbgördül, és az arra épülő fordítás vele együtt tűnik el.
Egy közvetítésben a túl homályos sort, amelynek megmutatása nem éri meg, a hallgatók elől „Audio unclear” felirattal rejtjük el, ahelyett hogy tényként adnánk tovább.
Ott van a házigazda, akinek van egy Fix füle: a motor által bizonytalannak jelölt szavak színezhetők és aláhúzhatók, egy kattintás megnyit egy sort átnézésre, és bármely szó vagy sor átírható, miközben az átírás még élő. Minden hallgató a saját nyelvén látja a javítást. Minden javítás jelölt, és visszavonható.
A lényeg nem az, hogy a szerver sosem téved. Hanem az, hogy a hiba látható, valaki a teremből felelős érte, és egyszer, mindenki számára javítják ki.
A javítások azt érintik, amit a hallgatók olvasnak. Akik inkább hallanák az előadást, ugyanazt a javított szöveget kapják, felolvasva.
Aki inkább hallgatja, mint olvassa, minden lefordított sort felolvastathat. Alapértelmezés szerint minden beszélő a nemének megfelelő, egyedi beépített hangot kap, így egy panel továbbra is panelnek hangzik. Hangot rendelhetsz minden beszélőhöz, vagy némíthatsz egyet.
A beszélő engedélyével tovább is mehetsz: klónozhatod a hangját a beszédének harminc másodpercéből, feltöltött klipként vagy közvetlenül egy felvétel beszélőjétől; néhány perc jobb eredményt ad. A fordítást ekkor a beszélő saját hangján olvassuk fel minden nyelven. A mentett hanggal rendelkező beszélő későbbi felvételeken is felismerhető, bár a rendszer inkább hagyja névtelenül a beszélőt, minthogy rossz embert nevezzen meg.
Két szabály érvényes, és szándékosan. A klónozott hang biometrikus adat: csak a beszélő kifejezett beleegyezésével készül, és bármikor törölhető. A hang pedig csak az átírást vagy annak fordítását mondhatja; nem lehet rávenni, hogy olyat mondjon, amit gazdája sosem mondott.
Mindez addig történik, amíg a beszélő beszél. Az utolsó különbség azután mutatkozik meg, hogy abbahagyta.
Az ötven telefonos átirat az alkalmazások bezárásakor eltűnik. Egy közvetítés megtartja a felvételt a könyvtáradban: a hangot és az átiratot minden javítással és fordítással. Ott sorról sorra visszajátszható, bármely nyelven kereshető és exportálható; a könyvtár működését az Egy link, minden nyelv című útmutató mutatja be. A hallgatók nem kerülnek pénzbe, bármennyien is vannak. Az átírt hangért fizetsz: élőben óránként $0.60, legalább 5 perc minimummal átíratonként. A díjtáblázat az árak oldalon található.
A telefon mindenkinek a kezében jó tartalék egy folyosói beszélgetéshez. Ahhoz, hogy egy egész terem közösen értsen meg egy előadót, az előadót egyszer, a forrásnál kell átírni, és valakinek kéznél kell lennie, aki kijavítja, ami hibázik. Hogy ez a gyakorlatban hogyan néz ki, azt a kezdőlap interaktív bemutatóján láthatod.
