Reaalajas transkribeerimine ja tõlge: kuidas otsene kõnetuvastus töötab, kui palju see maha jääb, mis mõjutab täpsust ja mis see maksab.
Reaalajas transkribeerimine muudab kõne tekstiks, kui inimene alles räägib. Sõnad ilmuvad ekraanile hetk pärast ütlemist, settivad lõplikeks ridadeks ja neid saab lugeda igaüks, kes kaasa jälgib. Lisa reaalajas tõlge ja iga lugeja saab sama kõnet jälgida oma keeles, tekstina või ette loetuna.
See juhend käsitleb reaalajas transkribeerimist ja tõlget mõlemalt poolt: mida kuulaja näeb, kust heli võib tulla, mis määrab täpsuse, mida arendajad API-st saavad ja mis see maksab.
Reaalajas transkribeerimine, mida nimetatakse ka otsetranskribeerimiseks või otseseks kõnest tekstiks muutmiseks, on kõnetuvastus, mis töötab, kui heli alles saabub. Salvestatud faili saab transkribeerida, kui kogu salvestis on käes. Otsetranskriptsioon peab sõnu otsustama, tuginedes vaid viimasele paarile sekundile, ja kõnelejaga sammu pidama nii kaua, kuni ta räägib.
Otsetiitrid on sama asi, mida näidatakse lühikeste ridadena video peal või ekraanil.
VocalStackis võib otsetranskriptsioon kuulata 100 keeles. See tuvastab räägitud keele ise ja järgneb kõnelejale, kui ta keelt vahetab, mida selgitab kuidas automaatne keeletuvastus töötab, koos sellega, millal keel ette nimetada.
Tekst saabub kahes etapis. Uusimad sõnad ilmuvad esmalt mustandina, mis võib veel muutuda, kui heli juurde tuleb. Hetk hiljem settib mustand lõplikuks reaks, mis enam ei muutu.
Mustand on olemas, sest tuvastaja otsustab sõna osaliselt selle järgi, mis sellele järgneb. „Ice cream” ja „I scream” kõlavad sarnaselt, kuni tuleb järgmine sõna. Oletuse varane näitamine ongi see, mis teeb transkripti elavaks.
Kui kaugele kõnelejast tekst maha jääb, oleneb etapist:
Kaks viivitust jäävad sellest ahelast välja. Kui allikas on avalik voog, mitte mikrofon, jääb voog ise oma otsejoonest maha: sekund või kolm tavalise internetiraadio voo puhul ja mõnest sekundist poole minutini HLS-i puhul. Ning paketis Pay as you go võib otsetranskriptsiooni käivitumine võtta kuni 15 sekundit. Täielik jaotus, sealhulgas viivitusrežiimid Auto, Fast ja Accuracy, on artiklis Otsetõlke viivitus lahti seletatud.
Tõlge töötab transkripti peal. Otsetranskriptsiooni saab korraga tõlkida kuni 10 keelde, valituna 100 hulgast. Iga kuulaja valib neist ühe oma seadmes ja saab seda igal ajal muuta; seni transkribeeritu näidatakse uuesti uues keeles.
Iga keel tõlgitakse samast transkriptist, nii et iga kuulaja saab samad sõnad ning parandus jõuab kõigini.
Kuulaja, kes eelistab kuulata lugemise asemel, saab lasta iga tõlgitud rea ette lugeda. Vaikimisi saab iga kõneleja eraldi tavahääle, mis sobib tema soost, nii et paneel kõlab ikka mitme inimesena. Kõneleja nõusolekul võib korraldaja kloonida tema hääle umbes 30 sekundist, kui ta räägib üksi, ning tõlget loetakse siis tema enda häälega.
Häälte reegel on meelega kitsas. Hääl loeb ainult seda, mida sama inimene ütles, tõlgituna keelde, mille kuulaja valis. See ei loe kunagi teksti, mille keegi sisse tippis, ega loe kunagi ühe kõneleja sõnu teise kõneleja häälega.
Kuidas see terve ruumi jaoks töötab, korraldaja seadistusest hilinenud liitujani, on artiklis Üks link, kõik keeled.
Otsetranskriptsioon vajab heliallikat. Need on need, mida VocalStack praegu vastu võtab:
Tiitrid YouTube'i enda mängijas selle CC-nupu kaudu tulevad peagi. Seni jälgivad YouTube'i voo vaatajad tiitreid ülekande lingil.
Kui vajad otsetranskribeerimist Windowsis juba täna, töötavad seal Chrome'i või Edge'i laiendus, OBS-i plugin ja Dashboard brauseris.
Ülekanne on viis, kuidas teised inimesed otsetranskriptsiooni jälgivad. See on üks link ja QR-kood. Kuulajad avavad selle brauseris, valivad keele ja loevad kaasa. Nad ei vaja kontot, ei paigalda midagi ja ei maksa midagi: arve ei muutu kuulajate ega keelte arvuga.
Ülekanne on vaikimisi avalik ning seda saab kaitsta parooliga. Kui nimetad selle lingi ümber, töötab vana jätkuvalt, nii et kavale trükitud QR-kood ei aegu. Üks ülekanne võib kanda mitut otsetranskriptsiooni, nii et kaks lava saavad jagada ühte linki.
Hilinenud kuulaja näeb kõike, mis enne tema tulekut öeldi, ja jälgib seejärel otse. Hiljem näitab Audience-vaade, kes kuulas, millises keeles ja millal liitus.
Sündmuste jaoks katab mitmekeelse konverentsi kontrollnimekiri heli, lavad ja eelarve ning otsetranskribeerimine kirikutes, loengusaalides ja volikogu saalides sama seadistuse iganädalase versiooni.
Kõike ülaltoodut saab teha koodist. Otseheli jaoks sinu enda rakenduses on API-l reaalajasessioonid: sinu server teeb ühe kutse POST /v1/realtime/sessions API võtmega ja saab tagasi lühiealise streamUrl. Sinu klient avab sellele WebSocketi, saadab töötlemata heli selle salvestamise ajal ja loeb transkripti tagasi JSON-kaadritena.
Kaadrid järgivad samu kahte etappi, mida lugeja näeb. transcript.draft asendab otsese saba, transcript.committed lisab lõpliku rea ning tõlke sisselülitatuna saabuvad terved laused koos tõlgetega. Tõlkekeeli, kõnelejasilte ja viivitusrežiimi saab sessiooni ajal muuta käsuga session.update.
Reaalajasessioon ei salvesta midagi. Kui tahad sõnu alles hoida, parandada ja publikuga jagada, avaldad selle asemel heli otsetranskriptsiooni ja ülekande jaoks. Ametlikud SDK-d TypeScripti, Pythoni ja PHP jaoks pakivad mõlemad ning MCP server laseb tehisintellekti assistendil kasutada sama kontot.
WebSocketi õpetus ehitab samm-sammult töötava tiitrivaate ning API viide sisaldab iga välja. API kasutust arveldatakse sama hinnaga kui Dashboardi.
Täpsuse määrab enamasti enne tuvastaja käivitumist heli, mida talle antakse. Neli asja mõjutavad kõige rohkem.
Mikrofon. Kõnelejale lähedal olev mikrofon või saali mikserlaua signaal kannab häält, milles on vähe ruumi. Telefon laual kuuleb kõnelejat pluss kaja, toole ja köhimist. See on suurim üksik tegur ja miks telefonist ruumi jaoks ei piisa selgitab, miks.
Müra ja kattuvus. Taustamüra põhjustab väljajäänud ja väljamõeldud sõnu ning kaks üheaegselt rääkivat inimest ajavad segi nii sõnad kui ka selle, kes mida ütles. Helitranskriptsiooni vead loetleb seitse levinud põhjust, kuidas igaüks välja näeb ja kuidas seda parandada.
Reference Script. Tuntud nimed ja terminid tuntakse ära sellisena. Ettevõtte tootenimesid, sisemist akronüümi või külalise ebatavalist perekonnanime ei saa ette teada, nii et lisa enne alustamist stsenaarium või slaidid ning neis olevad nimed ja terminid kirjutatakse täpselt nii, nagu sa need kirjutasid.
Kõnelejasildid. Sildid võivad olla Off, On või When Needed, mis lülitab need sisse, kui kuuldakse teist kõnelejat. Kõnelejate diariseerimine ja kõnetuvastus selgitab, kuidas kaks vastust, mida öeldi ja kes ütles, on eraldi ning neid parandatakse eraldi.
Viivitusrežiim loeb samuti: Fast annab teksti varem, aga muudab seda rohkem, Accuracy ootab veidi kauem.
Üksik täpsusnumber ütleb vähem, kui tundub. Sõnavigade määr loeb valet nime sama palju kui väljajäänud „the”, mistõttu mida sõnavigade määr mõõdab ja mida see kahe silma vahele jätab soovitab süsteemi hinnata selle järgi, milliseid vigu see lubab tabada ja parandada.
Ükski otsetranskript pole täiuslik, seega on korraldaja ekraanil vahekaart Fix. See võib märkida sõnu, milles tuvastaja polnud kindel, ning iga rea saab avada ja parandada. Teine inimene laua taga saab need läbi töötada, kui kõneleja jätkab.
Kui korraldaja kirjutab sõna või rea ümber, isegi sellise, mida alles räägitakse, näeb iga kuulaja parandust igas keeles. Rida, mida kuuldi liiga väikese kindlusega, peidetakse kuulajate eest kui „Audio unclear”, mitte ei näidata valesti; korraldaja näeb seda ikka.
Salvestis hoitakse koos transkripti, paranduste ja tõlgetega. Pärast saad:
Kui kaua heli ja transkripte hoitakse, oleneb paketist ja hinnaleht loetleb selle.
Enamik otsetranskribeerimise tööriistu näeb demos sarnane välja; erinevused ilmnevad allolevates küsimustes. Parempoolne veerg kirjeldab VocalStacki sellisena, nagu see praegu on.
| Küsimus | Miks see loeb | VocalStack |
|---|---|---|
| Milliseid keeli see kuuleb? | Tööriist, mis ei transkribeeri kõneleja keelt, ei aita, olgu tõlge kui hea tahes. | 100 keelt, tuvastatakse automaatselt, kõne keskel vahetamisega |
| Kui kaugele kõnelejast tekst maha jääb? | Lugejad märkavad kasvavat vahet rohkem kui üksikut valet sõna. | Algtekst sekundi murdosa maha, tõlge sekundi-paar hiljem; kolm viivitusrežiimi |
| Kas see tõlgib ja kes keele valib? | Üks subtiitrite keel ühel ekraanil jätab kõik teised välja. | Kuni 10 keelt transkriptsiooni kohta, iga kuulaja valib oma |
| Kas see oskab tõlget kõnena lugeda? | Mõned kuulajad ei saa kaasa lugeda või ei taha. | Vaikimisi tavahääled; kõneleja enda kloonitud hääl tema nõusolekul |
| Kuidas publik selle kätte saab? | Rakendused ja kontod kaotavad inimesi ukse peal. | Üks link ja QR-kood, konto pole vaja, valikuline parool |
| Kas vigu saab otse parandada? | Valesti kuuldud nimi, mida tund aega korratakse, teeb tõelist kahju. | Otseparandused, mis lükatakse igale kuulajale |
| Kust heli võib tulla? | Sinu seadistus ei pea tööriistaga sobima muutuma. | Mikrofon, brauserilaiendused, töölauarakendus, OBS, RTMP, voolingid |
| Kas on API? | Sa võid tahta tiitreid oma tootes. | REST- ja WebSocket-API, SDK-d, MCP server, sama hind mis Dashboardil |
| Kuidas see hinnastatud on? | Kuulaja või koha kaupa hind kasvab publikuga. | Heli sekundi kohta; kuulajad ja keeled tasuta |
VocalStackis maksad transkribeeritud heli sekundi eest. Kirjutamise ajal maksab otsetranskribeerimine $0.60 tunnis ja failid $0.20 tunnis, igas paketis, nii Dashboardis kui ka API kaudu. Tõlge, hääled, kokkuvõtted, ülekanne ja kuulajad ei lisa kunagi arvele, nii et tunniajane kõne, mida loeb 200 inimest viies keeles, maksab sama $0.60 kui kõne, mida ei loe keegi.
Paketid erinevad mõne asja poolest:
Kui keegi ei pea kaasa lugema selle toimumise ajal, lae salvestis hiljem üles failitariifiga. Praegused hinnad, säilitamine ja piirangud iga paketi kohta on hinnalehel.
Uus VocalStacki konto tuleb $5 tutvustuskrediidiga ega vaja kaarti. Hinnaga $0.60 tunnis on see umbes kaheksa tundi otsetranskribeerimist koos tõlke ja ülekandega. Seejärel maksad sekundi kaupa. Kuulajad on alati tasuta.
Jah. Otsetranskriptsiooni saab korraga tõlkida kuni 10 keelde, kui inimene räägib. Tõlge ilmub sekundi-paar pärast algteksti ja iga kuulaja valib oma keele.
See oleneb enamasti helist. Lähedal olev mikrofon või saali signaal, vähe taustamüra, korraga räägib üks inimene ja Reference Script koos nimedega annavad parimad tulemused. Otseparandused lasevad korraldajal parandada seda, mis on endiselt vale, kuni kõne kestab.
Algkeelne tekst jääb kõnelejast maha sekundi murdosa ja tõlked järgnevad sekundi-paar hiljem. Avalik voog lisab enda viivituse, enne kui heli VocalStacki jõuab.
Jah, Chrome'i või Edge'i laienduse, OBS Studio plugina või Dashboardi kaudu brauseris. Töölauarakendus on praegu macOS-is ja Windows tuleb peagi.
Ei. Kuulajad avavad ülekande lingi või skannivad selle QR-koodi brauseris, valivad keele ja loevad. Midagi pole vaja paigaldada.
Ava Dashboard, alusta otsetranskribeerimist oma mikrofonist ja ava selle ülekande link telefonis. Tutvustuskrediit katab su esimesed tunnid ja sa näed ise, kuidas mustandid settivad ning tõlge järgneb.