Reaaliaikainen litterointi ja käännös: miten puhe tekstiksi livenä toimii, kuinka paljon se on jäljessä, mikä vaikuttaa tarkkuuteen ja mitä se maksaa.
Reaaliaikainen litterointi muuttaa puheen tekstiksi samalla kun ihminen vielä puhuu. Sanat ilmestyvät ruudulle hetkiä sen jälkeen, kun ne on sanottu, asettuvat lopullisiksi riveiksi, ja ne voi lukea kuka tahansa mukana seuraava. Lisää reaaliaikainen käännös, niin jokainen lukija voi seurata samaa puhetta omalla kielellään, tekstinä tai ääneen luettuna.
Tämä opas käsittelee reaaliaikaista litterointia ja käännöstä molemmilta puolilta: mitä kuuntelija näkee, mistä ääni voi tulla, mikä ratkaisee tarkkuuden, mitä kehittäjät saavat API:sta ja mitä se maksaa.
Reaaliaikainen litterointi, jota kutsutaan myös suoraksi litteroinniksi tai puheesta tekstiksi livenä, on puheentunnistusta, joka toimii samalla kun ääni vielä saapuu. Tallennettu tiedosto voidaan litteroida koko tallenne kädessä. Reaaliaikaisen litteroinnin täytyy sitoutua sanoihin pelkästään viimeisten sekuntien perusteella ja pysyä puhujan perässä niin kauan kuin tämä puhuu.
Suorat tekstitykset ovat sama asia näytettynä lyhyinä rivinä videon päällä tai ruudulla.
VocalStackissa reaaliaikainen litterointi voi kuunnella 100 kieltä. Se tunnistaa puhutun kielen itse ja seuraa puhujaa, jos tämä vaihtaa, mikä selitetään artikkelissa miten automaattinen kielentunnistus toimii, samoin kuin se, milloin kieli kannattaa nimetä etukäteen.
Teksti saapuu kahdessa vaiheessa. Uusimmat sanat ilmestyvät ensin luonnoksena, joka voi vielä muuttua, kun lisää ääntä tulee. Hetken kuluttua luonnos asettuu lopulliseksi riviksi, joka ei enää muutu.
Luonnos on olemassa, koska tunnistin päättää sanan osittain sen perusteella, mikä seuraa. "Kuusi" voi olla luku tai puu, kunnes seuraava sana kertoo, kumpi. Arvauksen näyttäminen aikaisin on se, mikä saa litteraatin tuntumaan eläväksi.
Kuinka paljon puhujan perässä teksti on, riippuu vaiheesta:
Kaksi viivettä on tämän ketjun ulkopuolella. Kun lähde on julkinen striimi eikä mikrofoni, striimi on jo itse jäljessä reunastaan: sekunnista kolmeen sekuntiin tavallisessa internetradiostriimissä ja useista sekunneista puoleen minuuttiin HLS:ssä. Ja Pay as you go -paketilla reaaliaikaisen litteroinnin alkaminen voi kestää jopa 15 sekuntia. Täydellinen erittely, mukaan lukien viivetilat Auto, Fast ja Accuracy, on artikkelissa reaaliaikaisen käännöksen viive selitettynä.
Käännös ajetaan litteraatin päällä. Reaaliaikainen litterointi voidaan kääntää enintään 10 kielelle kerralla, valittuna 100:sta. Jokainen kuuntelija valitsee niistä yhden omalla laitteellaan ja voi vaihtaa milloin tahansa; litteraatti tähän asti näytetään uudelleen uudella kielellä.
Jokainen kieli käännetään samasta litteraatista, joten jokainen kuuntelija saa samat sanat, ja korjaus tavoittaa kaikki.
Kuuntelija, joka mieluummin kuuntelee kuin lukee, voi antaa lukea jokaisen käännetyn rivin ääneen. Oletuksena jokainen puhuja saa oman valmisäänen, joka vastaa hänen sukupuoltaan, joten paneeli kuulostaa yhä usealta ihmiseltä. Puhujan suostumuksella isäntä voi kloonata puhujan äänen noin 30 sekunnista, jolloin tämä puhuu yksin, ja käännös luetaan sitten hänen omalla äänellään.
Äänten sääntö on tarkoituksella suppea. Ääni lukee vain sen, mitä sama ihminen on sanonut, käännettynä kielelle, jonka kuuntelija on valinnut. Se ei koskaan lue tekstiä, jonka joku kirjoittaa, eikä se koskaan lue yhden puhujan sanoja toisen puhujan äänellä.
Miten tämä toimii koko salille, isännän käyttöönotosta myöhästyneeseen tulijaan, on artikkelissa yksi linkki, jokainen kieli.
Reaaliaikainen litterointi tarvitsee äänilähteen. VocalStack ottaa vastaan nämä tällä hetkellä:
Tekstitykset YouTuben omassa soittimessa, sen CC-painikkeella, ovat tulossa pian. Siihen asti YouTube-lähetyksen katsojat seuraavat tekstityksiä lähetyslinkissä.
Jos tarvitset reaaliaikaista litterointia Windowsissa jo nyt, Chrome- tai Edge-laajennus, OBS-liitännäinen ja hallintapaneeli selaimessa toimivat siellä kaikki.
Lähetys on tapa, jolla muut seuraavat reaaliaikaista litterointia. Se on yksi linkki ja QR-koodi. Kuuntelijat avaavat sen selaimessa, valitsevat kielen ja lukevat mukana. He eivät tarvitse tiliä eivätkä asenna mitään, eivätkä he maksa mitään: lasku ei muutu kuuntelijoiden tai kielten määrän mukaan.
Lähetys on oletuksena julkinen, ja sen voi suojata salasanalla. Jos nimeät sen linkin uudelleen, vanha jatkaa toimimista, joten ohjelmalehteen tulostettu QR-koodi ei vanhene. Yksi lähetys voi kantaa useita reaaliaikaisia litterointeja, joten kaksi lavaa voi jakaa yhden linkin.
Myöhään saapuva kuuntelija näkee kaiken, mitä on sanottu ennen hänen tuloaan, ja seuraa sitten livenä. Jälkeenpäin Audience-näkymä näyttää, kuka kuunteli, millä kielellä ja milloin liittyi.
Tapahtumia varten monikielisen konferenssin tarkistuslista kattaa äänen, lavat ja budjetin, ja reaaliaikainen litterointi kirkoille, luentosaleille ja valtuustosaleille kattaa saman käyttöönoton viikoittaisen version.
Kaiken yllä olevan voi tehdä koodista. Reaaliaikaiselle äänelle omassa sovelluksessasi API:ssa on reaaliaikaiset istunnot: palvelimesi tekee yhden kutsun POST /v1/realtime/sessions API-avaimella ja saa takaisin lyhytikäisen streamUrl:n. Asiakasohjelmasi avaa siihen WebSocketin, lähettää raakaa ääntä sitä mukaa kuin se tallennetaan ja lukee litteraatin takaisin JSON-kehyksinä.
Kehykset seuraavat samoja kahta vaihetta, jotka lukija näkee. transcript.draft korvaa elävän hännän, transcript.committed lisää lopullisen rivin, ja kun käännös on päällä, kokonaiset lauseet saapuvat käännöksineen. Kohdekieliä, puhujatunnisteita ja viivetilaa voi vaihtaa kesken istunnon kutsulla session.update.
Reaaliaikainen istunto ei tallenna mitään. Kun haluat sanat säilytettäviksi, korjattaviksi ja jaettaviksi yleisölle, julkaiset sen sijaan äänen reaaliaikaiseen litterointiin ja lähetykseen. Viralliset SDK:t TypeScriptille, Pythonille ja PHP:lle kietovat molemmat, ja MCP-palvelin antaa tekoälyavustajan käyttää samaa tiliä.
WebSocket-opas rakentaa toimivan tekstitysnäkymän vaihe vaiheelta, ja API-viite sisältää jokaisen kentän. API-käyttö laskutetaan samalla hinnalla kuin hallintapaneeli.
Tarkkuuden ratkaisee enimmäkseen ennen kuin yksikään tunnistin on ajettu, sille annettu ääni. Neljä asiaa vaikuttaa eniten.
Mikrofoni. Mikrofoni lähellä puhujaa tai syöte tilan mikseristä kantaa äänen, jossa on vain vähän huonetta mukana. Pöydällä oleva puhelin kuulee puhujan sekä kaiun, tuolit ja yskähdykset. Tämä on yksittäisistä tekijöistä suurin, ja miksi puhelin ei riitä huoneeseen selittää syyn.
Melu ja päällekkäisyys. Taustamelu aiheuttaa pudonneita sanoja ja keksittyjä, ja kaksi yhtä aikaa puhuvaa sekoittaa sekä sanat että sen, kuka ne sanoi. Äänilitteroinnin virheet listaa seitsemän yleistä syytä, miltä kukin näyttää ja miten se korjataan.
Viitekäsikirjoitus. Tunnetut nimet ja termit tunnistetaan sellaisenaan. Yrityksen tuotenimiä, sisäistä lyhennettä tai vieraan epätavallista sukunimeä ei voi tietää etukäteen, joten lisää käsikirjoitus tai kalvot ennen aloitusta, niin niissä olevat nimet ja termit kirjoitetaan täsmälleen niin kuin ne kirjoitit.
Puhujatunnisteet. Tunnisteet voivat olla Off, On tai When Needed, joka kytkee ne päälle, kun toinen puhuja kuuluu. Puhujien erottelu vs. puheentunnistus selittää, miten nämä kaksi vastausta, mitä sanottiin ja kuka sanoi, ovat erillisiä ja korjataan erikseen.
Viivetila vaikuttaa myös: Fast saa tekstin ulos aikaisemmin mutta tarkistaa enemmän siitä, Accuracy odottaa hieman kauemmin.
Yksittäinen tarkkuusluku kertoo vähemmän kuin näyttää. Sanavirhesuhde laskee väärän nimen samoin kuin pudonneen "ja":n, minkä vuoksi mitä sanavirhesuhde mittaa ja mitä se ohittaa kannattaa arvioimaan järjestelmää sen mukaan, mitkä virheet se antaa sinun havaita ja korjata.
Mikään reaaliaikainen litteraatti ei ole täydellinen, joten isännän näytöllä on Fix-välilehti. Se voi merkitä sanat, joista tunnistin oli epävarma, ja minkä tahansa rivin voi avata ja korjata. Toinen henkilö pöydän ääressä voi käydä ne läpi puhujan jatkaessa.
Kun isäntä kirjoittaa sanan tai rivin uudelleen, vaikka sellaisen, jota vielä sanotaan, jokainen kuuntelija näkee korjauksen jokaisella kielellä. Rivi, joka on kuultu liian pienellä varmuudella, piilotetaan kuuntelijoilta nimellä "Audio unclear" sen sijaan, että se näytettäisiin väärin; isäntä näkee sen silti.
Tallenne säilytetään litteraattineen, korjauksineen ja käännöksineen. Jälkeenpäin voit:
Se, kuinka kauan ääntä ja litteraatteja säilytetään, riippuu paketista, ja hinnoittelusivu listaa sen.
Useimmat reaaliaikaiset litterointityökalut näyttävät esittelyssä samanlaisilta; erot näkyvät alla olevissa kysymyksissä. Oikeanpuoleinen sarake kuvaa VocalStackia sellaisena kuin se on tänään.
| Kysymys | Miksi sillä on väliä | VocalStack |
|---|---|---|
| Mitä kieliä se voi kuulla? | Työkalu, joka ei voi litteroida puhujan kieltä, ei auta, olipa käännös kuinka hyvä tahansa. | 100 kieltä, tunnistetaan automaattisesti, vaihto kesken puheen |
| Kuinka paljon puhujaa jäljessä teksti on? | Lukijat huomaavat kasvavan kuilun enemmän kuin satunnaisen väärän sanan. | Alkuperäisteksti sekunnin murto-osan jäljessä, käännös sekunnin tai kaksi myöhemmin; kolme viivetilaa |
| Kääntääkö se, ja kuka valitsee kielen? | Yksi tekstityskieli yhdellä ruudulla jättää kaikki muut ulkopuolelle. | Enintään 10 kieltä litterointia kohden, jokainen kuuntelija valitsee omansa |
| Voiko se puhua käännöksen? | Jotkin kuuntelijat eivät voi lukea mukana tai eivät mieluummin lue. | Valmisäänet oletuksena; puhujan oma kloonattu ääni suostumuksella |
| Miten yleisö saa sen? | Sovellukset ja tilit hukkaavat ihmisiä ovella. | Yksi linkki ja QR-koodi, ei tiliä, valinnainen salasana |
| Voiko virheitä korjata livenä? | Väärin kuultu nimi, joka toistuu tunnin ajan, tekee oikeaa vahinkoa. | Reaaliaikaiset korjaukset jokaiselle kuuntelijalle |
| Mistä ääni voi tulla? | Käyttöönottosi ei pitäisi joutua muuttumaan työkalun mukaan. | Mikrofoni, selainlaajennukset, työpöytäsovellus, OBS, RTMP, striimilinkit |
| Onko API:a? | Saatat haluta tekstitykset omaan tuotteeseesi. | REST- ja WebSocket-API, SDK:t, MCP-palvelin, sama hinta kuin hallintapaneelissa |
| Miten se hinnoitellaan? | Kuuntelijakohtainen tai paikkakohtainen hinnoittelu kasvaa yleisösi mukana. | Äänisekuntia kohden; kuuntelijat ja kielet ilmaisia |
VocalStackissa maksat litteroidusta äänestä sekunnin tarkkuudella. Kirjoitushetkellä reaaliaikainen litterointi maksaa $0.60 tunnilta ja tiedostot $0.20 tunnilta, kaikissa paketeissa, hallintapaneelissa ja API:n kautta yhtä lailla. Käännös, äänet, yhteenvedot, lähetys ja kuuntelijat eivät koskaan lisää laskua, joten tunnin puhe, jota 200 ihmistä lukee viidellä kielellä, maksaa saman $0.60 kuin sellainen, jota ei lue kukaan.
Paketit eroavat muutamalla tavalla:
Jos kenenkään ei tarvitse lukea mukana sen tapahtuessa, lataa tallenne jälkeenpäin tiedostohintaan. Kunkin paketin ajantasaiset hinnat, säilytysajat ja rajat ovat hinnoittelusivulla.
Uusi VocalStack-tili tulee $5 rekisteröitymiskrediitin kanssa eikä tarvitse korttia. Hinnalla $0.60 tunnilta se on noin kahdeksan tuntia reaaliaikaista litterointia, käännös ja lähetys mukaan lukien. Sen jälkeen maksat sekunneittain. Kuuntelijat ovat aina ilmaisia.
Kyllä. Reaaliaikainen litterointi voidaan kääntää enintään 10 kielelle kerralla samalla kun ihminen puhuu. Käännös ilmestyy sekunnin tai kaksi alkuperäisen tekstin jälkeen, ja jokainen kuuntelija valitsee oman kielensä.
Se riippuu enimmäkseen äänestä. Lähellä oleva mikrofoni tai syöte mikseristä, vähän taustamelua, yksi puhuja kerrallaan ja viitekäsikirjoitus, jossa nimet ovat, antavat parhaat tulokset. Reaaliaikaisten korjausten avulla isäntä voi korjata sen, mikä on yhä väärin, puheen jatkuessa.
Alkuperäiskielinen teksti on puhujaa jäljessä sekunnin murto-osan, ja käännökset seuraavat sekunnin tai kaksi myöhemmin. Julkinen striimi lisää oman viiveensä ennen kuin ääni tavoittaa VocalStackin.
Kyllä, Chrome- tai Edge-laajennuksen, OBS Studio -liitännäisen tai selaimessa toimivan hallintapaneelin kautta. Työpöytäsovellus on tänään macOS:lle, ja Windows on tulossa pian.
Eivät. Kuuntelijat avaavat lähetyslinkin tai skannaavat sen QR-koodin selaimessa, valitsevat kielen ja lukevat. Mitään ei tarvitse asentaa.
Avaa hallintapaneeli, aloita reaaliaikainen litterointi mikrofonistasi ja avaa sen lähetyslinkki puhelimellasi. Rekisteröitymiskrediitti kattaa ensimmäiset tuntisi, ja voit itse nähdä, miten luonnokset asettuvat ja käännös seuraa perässä.