Reaaliaikaisen käännöksen tarkkuus ratkeaa pitkälti ennen kuin mikään malli käynnistyy, ja ratkaisevaa on, missä mikrofoni on. Ota ääni miksauspöydältä, älä rivin kaksitoista istuimelta, litteroi se kerran, ja virheestä tulee yksi rivi, jonka joku voi korjata kaikille.
Puhelimiin rakennetut käännössovellukset ovat todellinen saavutus. Ne käyttävät usein puhemallia, joka on tarpeeksi pieni mahtuakseen laitteelle ja sen akulle (osa lähettää äänen palvelimelle, kun yhteys on). Lyhyissä, selkeissä, arjen lauseissa ne tekevät työnsä: kysytään reittiohjeita, luetaan ruokalistaa, käydään keskustelu kioskin tiskin yli.
Huone täynnä ihmisiä, jotka kuuntelevat yhtä puhujaa, on eri ongelma. Oikean puheen virheet ovat juuri niitä, joissa pieni malli on heikoin: harvinaiset sanat ja nimet, äänneasultaan samankaltaiset sanat (englannin ”their” ja ”there”, ”sail” ja ”sale”), erikoistermit, aksentit, ihmiset, jotka puhuvat päällekkäin, ja taustakohina. Purjehdusseurassa malli, joka kuulee ”sale”, on tehnyt järkevän arvauksen ja varman virheen.
Kaksi asiaa saa pienen mallin arvaamaan enemmän kuin ison. Se on pakattu mahtuakseen puhelimeen, joten se tuntee vähemmän sanoja ja vähemmän tapoja sanoa niitä; sukunimen, jota se ei ole ennen kohdannut, se arvaa pelkästä äänteestä. Lisäksi reaaliaikaisen tunnistuksen on sitouduttava sanaan ennen kuin lause on kokonaan kuultu, joten malli ei voi käyttää sitä, mikä olisi ratkaissut eron ”sail” ja ”sale” välillä: seuraavia sanoja tai käsikirjoitusta, joka kertoo, mistä puhe on. Puheentunnistuksessa kontekstilla tarkoitetaan juuri näitä kahta: ympäröiviä sanoja ja sitä, mikä tiedetään etukäteen.
Kun malli ei ole varma, se arvaa. Käännös rakentuu silloin arvauksen varaan, eikä sitä lukeva ihminen voi tietää sitä. Kukaan huoneessa ei näe, että rivi oli väärin, saati korjaa sen. Ja huone ei ole yksi kuuntelija vaan viisikymmentä.
Puhelin kuulee huoneen, ei puhujaa. Syy on etäisyys: rintamikrofoni tai pöytämikrofoni on muutaman senttimetrin päässä suusta, kun puhelin rivissä kaksitoista on kymmenen metrin tai kauempana, ja suurin osa sen vastaanottamasta äänestä on ensin kimmonnut seinistä, katosta ja tuolien selkänojista. Heijastunut ääni saapuu myöhässä ja sotkeutuneena. Lisäksi puhelin poimii kaksi riviä taakse yskivän ihmisen, naapurin hyminän ja sen, mitä kaiuttimet tekevät äänelle matkalla halki salin. Jokainen paikka saa siis hieman erilaisen nauhoituksen, ja jokainen paikka saa hieman erilaisen litteraatin.
Puhelin kääntää myös vain yhdelle ihmiselle. Viisikymmentä osallistujaa, joilla on viisikymmentä puhelinta, tuottavat viisikymmentä toisistaan riippumatonta litteraattia samasta esityksestä, ja jokaisessa on omat virheensä. Kaksi ihmistä, jotka vertaavat muistiinpanojaan jälkeenpäin, eivät ole samaa mieltä siitä, mitä sanottiin. Puhuja puolestaan puhuu kohotettujen puhelinten muurille, mikä on vaikea yleisö lukea.
Joillekin huoneen ihmisille tämä on enemmän kuin haitta; se ratkaisee, pystyvätkö he seuraamaan esitystä ollenkaan. Kuulovammainen osallistuja tai joku, joka seuraa kolmannella kielellä, tarvitsee yhden oikean, yhteisen tekstin, ei viittäkymmentä parasta yritystä. Se tarkoittaa, että puhuja litteroidaan kerran ja kaikille annetaan sama tulos. Litteroinnista kerran on hyötyä vain, jos se tehdään hyvin, ja hyvä litterointi alkaa siitä, mistä ääni tulee.
Litteraatti on vain niin hyvä kuin ääni, josta se tehdään. Ensimmäinen päätös ei siis ole, mitä mallia käytetään, vaan mikä signaali sille syötetään. Toinen on, mitä mallille kerrotaan ennen kuin se alkaa.
Reaaliaikainen litterointi ottaa äänensä sieltä, missä puhdas signaali jo on:
VocalStack hakee URL-virran itse, joten omalla puolellasi ei tarvitse ajaa mitään. RTMP-syöte toimii toisin päin: kooderisi työntää sen. Puhujan kieli tunnistetaan automaattisesti, ja hän voi vaihtaa kieltä milloin tahansa. Jos tiedät kielen ja nauhoitus on kohinainen tai vahvasti aksentoitu, kielen nimeäminen parantaa tarkkuutta.
Puhdas ääni poistaa huoneen aiheuttamat virheet. Se ei tee mitään sanaston aiheuttamille virheille, ja niihin tarvitaan erilaista apua.
Puhelimella ei ole aavistustakaan, kuka puhuu tai mistä esityksessä on kyse, joten tuotenimi tai sukunimi on vain yksi ääni muiden joukossa, joka arvataan. Lähetykselle taas voi kertoa etukäteen, mitä odottaa.
Jos lisäät käsikirjoituksen tai diat ennen aloitusta, niiden nimet ja termit voittavat sen, minkä moottori kuuli väärin. Tallennuksen aikana Script-välilehti seuraa puhujaa kuin teleprompteri. Tämä on yksittäin suurin tarkkuushyöty sellaiselle puheelle, joka täyttää konferenssit ja luennot: täynnä erisnimiä ja sanastoa, jota mikään yleiskäyttöinen malli ei ole kuullut riittävän usein.
Hyvä ääni ja sanasto poistavat useimmat virheet. Kysymys on siitä, mitä tapahtuu jäljelle jääville virheille.
Vaikka ääni ja käsikirjoitus olisivat hyviä, jotkut rivit tulevat silti väärin. Ero on siinä, mitä sen jälkeen tapahtuu.
Puhelimessa ei tapahdu mitään. Väärä rivi vierii ohi, ja sen varaan rakennettu käännös lähtee mukaan.
Lähetyksessä rivi, joka on liian epäselvä näytettäväksi, piilotetaan kuuntelijoilta tekstillä ”Ääni epäselvä” eikä sitä esitetä faktana.
Lisäksi isännällä on Fix-välilehti: sanat, joista moottori oli epävarma, voidaan värjätä ja alleviivata, klikkaus avaa rivin tarkistettavaksi, ja mikä tahansa sana tai rivi voidaan kirjoittaa uudelleen, kun litterointi on yhä käynnissä. Jokainen kuuntelija näkee korjauksen omalla kielellään. Jokainen korjaus on merkitty, ja sen voi perua.
Pointti ei ole, ettei palvelin koskaan tee virheitä. Pointti on, että virhe näkyy, että joku huoneessa vastaa siitä ja että se korjataan kerran kaikkien puolesta.
Korjaukset koskevat sitä, mitä kuuntelijat lukevat. Kuuntelijat, jotka mieluummin kuuntelevat esityksen, saavat saman korjatun tekstin puhuttuna.
Kuuntelija, joka mieluummin kuuntelee kuin lukee, voi saada jokaisen käännetyn rivin luettuna ääneen. Oletuksena jokaiselle puhujalle annetaan oma valmisääni, jonka sukupuoli vastaa puhujaa, joten paneeli kuulostaa yhä paneelilta. Voit määrittää äänen jokaiselle puhujalle tai mykistää yhden.
Puhujan luvalla voit mennä pidemmälle ja kloonata hänen äänensä 30 sekunnin puheesta, joko ladattuna klippinä tai suoraan nauhoituksen puhujasta. Muutama minuutti antaa paremman tuloksen. Käännös luetaan sitten puhujan omalla äänellä jokaisella kielellä. Tallennetulla äänellä varustettu puhuja voidaan myös tunnistaa myöhemmissä tallenteissa, vaikka järjestelmä mieluummin jättää puhujan nimettömäksi kuin nimeää väärän henkilön.
Kaksi sääntöä on voimassa, ja ne ovat tarkoituksellisia. Kloonattu ääni on biometristä dataa: sitä tehdään vain puhujan nimenomaisella suostumuksella, ja sen voi poistaa milloin tahansa. Ääni puhuu vain litteraattia tai sen käännöstä; sitä ei voi saada sanomaan mitään, mitä sen omistaja ei ole sanonut.
Kaikki tähän asti kerrottu tapahtuu puhujan puhuessa. Viimeinen ero näkyy vasta, kun hän lopettaa.
Viisikymmentä puhelinlitteraattia katoaa, kun sovellukset sulkeutuvat. Lähetys säilyttää tallenteen kirjastossasi: äänen sekä litteraatin kaikkine korjauksineen ja käännöksineen. Sen voi toistaa rivi riviltä, hakea millä tahansa kielellä ja viedä ulos. Kirjaston toiminnot käy läpi Yksi linkki, kaikki kielet. Kuuntelijat eivät maksa mitään, olivatpa heitä kuinka monta tahansa. Maksat litteroidusta äänestä: live-tilassa $0.60 tunnilta, ja vähimmäisveloitus on 5 minuuttia jokaista litterointia kohden. Hinnoittelusivulla on hintataulukko.
Puhelin jokaisessa kädessä on silti hyvä varasuunnitelma käytävän keskusteluun. Huoneelle, jonka on ymmärrettävä yksi puhuja yhdessä, puhuja pitäisi litteroida kerran, lähteestä, ja jonkun pitää pystyä korjaamaan, mikä menee pieleen. Sen, miltä tämä näyttää käytännössä, näet etusivun interaktiivisessa demossa.
