Prepis in prevod v realnem času: kako deluje govor v besedilo v živo, kako zaostaja, kaj vpliva na natančnost in koliko stane.
Prepis v realnem času pretvori govor v besedilo, medtem ko oseba še govori. Besede se na zaslonu pojavijo trenutek po izreku, se usedejo v končne vrstice in jih lahko bere vsak, ki spremlja. Dodajte prevod v realnem času in vsak bralec lahko isti govor spremlja v svojem jeziku, kot besedilo ali na glas.
Ta vodnik obravnava prepis in prevod v realnem času z obeh strani: kaj vidi poslušalec, od kod lahko prihaja zvok, kaj določa natančnost, kaj dobijo razvijalci prek API-ja in koliko stane.
Prepis v realnem času, imenovan tudi prepis v živo ali govor v besedilo v živo, je razpoznavanje govora, ki teče, medtem ko zvok še prihaja. Posneto datoteko je mogoče prepisati z vsem posnetkom v rokah. Prepis v živo se mora za besede odločiti le na podlagi zadnjih nekaj sekund in slediti govorcu, dokler govori.
Podnapisi v živo so isto, prikazano kot kratke vrstice čez video ali na zaslonu.
Pri VocalStacku lahko prepis v živo posluša v 100 jezikih. Govorjeni jezik zazna sam in sledi govorcu, če zamenja jezik, kar pojasni kako deluje samodejno zaznavanje jezika, skupaj s tem, kdaj je jezik bolje poimenovati vnaprej.
Besedilo prihaja v dveh fazah. Najnovejše besede se najprej pojavijo kot osnutek, ki se lahko še spremeni, ko prihaja več zvoka. Trenutek pozneje se osnutek usede v končno vrstico, ki se ne spremeni več.
Osnutek obstaja, ker razpoznavalnik besedo deloma določi po tem, kar ji sledi. »Ice cream« in »I scream« zvenita enako, dokler ne pride naslednja beseda. Zgodnje prikazovanje ugibanja je tisto, zaradi česar se prepis zdi živ.
Koliko besedilo zaostaja za govorcem, je odvisno od faze:
Dva zamika sta zunaj te verige. Ko je vir javni pretok in ne mikrofon, pretok sam že zaostaja za svojim živim robom: sekundo ali tri pri navadnem internetnem radijskem pretoku in od nekaj sekund do pol minute pri HLS. In pri Pay as you go se lahko prepis v živo začne do 15 sekund. Celotna razčlenitev, vključno z načini zamika Auto, Fast in Accuracy, je v zamiku prevajanja v živo, pojasnjenem.
Prevod teče nad prepisom. Prepis v živo je mogoče hkrati prevesti v do 10 jezikov, izbranih med 100. Vsak poslušalec izbere enega od njih na svoji napravi in ga lahko kadar koli zamenja; prepis do tedaj se spet prikaže v novem jeziku.
Vsak jezik se prevaja iz istega prepisa, zato vsak poslušalec dobi iste besede in popravek doseže vse.
Poslušalec, ki raje posluša kot bere, lahko dobi vsako prevedeno vrstico prebrano na glas. Privzeto vsak govorec dobi poseben običajni glas, ki ustreza njegovemu spolu, zato razprava še vedno zveni kot več ljudi. Z govorčevim soglasjem lahko gostitelj klonira njegov glas iz približno 30 sekund, ko govori sam, prevod pa se nato bere z njegovim lastnim glasom.
Pravilo za glasove je namenoma ozko. Glas bere samo to, kar je rekla ista oseba, prevedeno v jezik, ki ga je izbral poslušalec. Nikoli ne bere besedila, ki ga je nekdo vtipkal, in nikoli ne bere besed enega govorca z glasom drugega.
Kako to deluje za celo dvorano, od gostiteljeve nastavitve do poslušalca, ki pride pozno, je v Ena povezava, vsi jeziki.
Prepis v živo potrebuje vir zvoka. To so tisti, ki jih VocalStack sprejema danes:
Podnapisi v YouTubovem predvajalniku prek njegovega gumba CC prihajajo kmalu. Do takrat gledalci pretoka YouTube podnapise spremljajo na povezavi prenosa.
Če potrebujete prepis v živo na Windows že danes, tam delujejo razširitev za Chrome ali Edge, vtičnik OBS in Dashboard v brskalniku.
Prenos je način, kako drugi ljudje spremljajo prepis v živo. To je ena povezava in koda QR. Poslušalci jo odprejo v brskalniku, izberejo jezik in berejo. Ne potrebujejo računa, ničesar ne namestijo in ničesar ne plačajo: račun se ne spremeni s številom poslušalcev ali jezikov.
Prenos je privzeto javen in ga je mogoče zaščititi z geslom. Če preimenujete njegovo povezavo, stara še naprej deluje, zato koda QR, natisnjena na programu, ne zastara. En prenos lahko nosi več prepisov v živo, zato si dva odra lahko delita eno povezavo.
Poslušalec, ki pride pozno, vidi vse, kar je bilo rečeno, preden je vstopil, nato pa sledi v živo. Pozneje pogled Audience pokaže, kdo je poslušal, v katerem jeziku in kdaj se je pridružil.
Za dogodke kontrolni seznam večjezične konference pokriva zvok, odre in proračun, prepis v živo za cerkve, predavalnice in sejne dvorane svetov pa tedensko različico iste nastavitve.
Vse zgoraj je mogoče narediti iz kode. Za zvok v živo v vaši aplikaciji ima API seje v realnem času: vaš strežnik opravi en klic na POST /v1/realtime/sessions s ključem API in dobi kratkotrajen streamUrl. Vaš odjemalec odpre WebSocket do njega, pošilja surov zvok, ko se zajema, in prepis bere nazaj kot okvirje JSON.
Okvirji sledijo istima dvema fazama, ki ju vidi bralec. transcript.draft zamenja živi rep, transcript.committed doda končno vrstico, z vklopljenim prevodom pa prispejo cele povedi s priloženimi prevodi. Ciljne jezike, oznake govorcev in način zamika je mogoče med sejo spreminjati z session.update.
Seja v realnem času ne shranjuje ničesar. Če želite besede obdržati, popraviti in jih deliti s občinstvom, namesto tega zvok objavite v prepis v živo in prenos. Uradni SDK-ji za TypeScript, Python in PHP ovijejo oboje, strežnik MCP pa omogoča pomočniku z umetno inteligenco uporabo istega računa.
Vadnica za WebSocket korak za korakom zgradi delujoč pogled podnapisov, referenca API-ja pa vsebuje vsako polje. Uporaba API-ja se obračunava po isti ceni kot Dashboard.
Natančnost se odloči večinoma, preden se zažene kateri koli razpoznavalnik, z zvokom, ki mu ga damo. Štiri stvari naredijo največ razlike.
Mikrofon. Mikrofon blizu govorca ali dovod z mešalne mize prostora nosi glas z malo prostora v njem. Telefon na mizi sliši govorca plus odmev, stole in kašljanje. To je največji posamezen dejavnik, zakaj telefon ne zadošča za dvorano pa pojasni zakaj.
Hrup in prekrivanje. Hrup v ozadju povzroča izpuščene in izmišljene besede, dva človeka, ki govorita hkrati, pa zmedeta tako besede kot to, kdo jih je rekel. Napake pri prepisu zvoka našteje sedem pogostih vzrokov, kako izgleda vsak in kako ga popraviti.
Reference Script. Znana imena in izrazi se prepoznajo, kot so. Imen izdelkov podjetja, interne kratice ali nenavadnega priimka gosta ni mogoče vedeti vnaprej, zato pred začetkom dodajte skripto ali diapozitive in imena ter izrazi v njih se zapišejo točno tako, kot ste jih črkovali.
Oznake govorcev. Oznake so lahko Off, On ali When Needed, ki jih vklopi, ko je slišan drugi govorec. Diarizacija govorcev proti razpoznavanju govora pojasni, kako sta odgovora, kaj je bilo rečeno in kdo je rekel, ločena in se popravljata ločeno.
Pomemben je tudi način zamika: Fast da besedilo prej, a ga več popravlja, Accuracy počaka nekoliko dlje.
Ena številka natančnosti pove manj, kot se zdi. Stopnja napak pri besedah napačno ime šteje enako kot izpuščen »the«, zato kaj stopnja napak pri besedah meri in kaj spregleda zagovarja ocenjevanje sistema po tem, katere napake vam omogoča ujeti in popraviti.
Noben prepis v živo ni popoln, zato ima gostiteljev zaslon zavihek Fix. Lahko označi besede, v katere razpoznavalnik ni bil prepričan, in vsako vrstico je mogoče odpreti in popraviti. Druga oseba za mizo jih lahko obdela, medtem ko govorec nadaljuje.
Ko gostitelj prepiše besedo ali vrstico, celo tisto, ki se še govori, vsak poslušalec vidi popravek, v vsakem jeziku. Vrstica, slišana s premajhno gotovostjo, se poslušalcem skrije kot »Audio unclear« in ni prikazana napačno; gostitelj jo še vedno vidi.
Posnetek se hrani s prepisom, popravki in prevodi. Pozneje lahko:
Kako dolgo se hranita zvok in prepisi, je odvisno od paketa, stran s cenami pa to našteje.
Večina orodij za prepis v živo je na predstavitvi videti podobnih; razlike se pokažejo pri spodnjih vprašanjih. Desni stolpec opisuje VocalStack, kakršen je danes.
| Vprašanje | Zakaj je pomembno | VocalStack |
|---|---|---|
| Katere jezike sliši? | Orodje, ki ne more prepisati govorčevega jezika, ne more pomagati, naj bo prevod še tako dober. | 100 jezikov, zaznanih samodejno, s preklapljanjem sredi govora |
| Kako daleč za govorcem zaostaja besedilo? | Bralci opazijo naraščajočo vrzel bolj kot občasno napačno besedo. | Izvirno besedilo delček sekunde zadaj, prevod sekundo ali dve pozneje; trije načini zamika |
| Ali prevaja in kdo izbere jezik? | En jezik podnapisov na enem zaslonu izpusti vse druge. | Do 10 jezikov na prepis, vsak poslušalec izbere svojega |
| Ali lahko prevod izgovori? | Nekateri poslušalci ne morejo brati ali tega ne želijo. | Privzeto običajni glasovi; govorčev lastni kloniran glas z njegovim soglasjem |
| Kako občinstvo to dobi? | Aplikacije in računi izgubijo ljudi pri vratih. | Ena povezava in koda QR, brez računa, neobvezno geslo |
| Ali je mogoče napake popraviti v živo? | Napačno slišano ime, ponavljano eno uro, naredi pravo škodo. | Popravki v živo, poslani vsakemu poslušalcu |
| Od kod lahko prihaja zvok? | Vaša nastavitev se ne bi smela spreminjati zaradi orodja. | Mikrofon, razširitve brskalnika, namizna aplikacija, OBS, RTMP, povezave pretokov |
| Ali obstaja API? | Morda želite podnapise znotraj lastnega izdelka. | API REST in WebSocket, SDK-ji, strežnik MCP, ista cena kot Dashboard |
| Kako je s ceno? | Cena na poslušalca ali na sedež raste z občinstvom. | Na sekundo zvoka; poslušalci in jeziki brezplačni |
Pri VocalStacku plačate na sekundo prepisanega zvoka. V času pisanja prepis v živo stane $0.60 na uro in datoteke $0.20 na uro, v vsakem paketu, v Dashboardu in prek API-ja. Prevod, glasovi, povzetki, prenos in poslušalci nikoli ne dodajo k računu, zato enourno predavanje, ki ga bere 200 ljudi v petih jezikih, stane enako $0.60 kot tisto, ki ga ne bere nihče.
Paketi se razlikujejo v nekaj stvareh:
Če nihče ne potrebuje branja sproti, naložite posnetek pozneje po ceni za datoteke. Trenutne cene, hramba in omejitve za vsak paket so na strani s cenami.
Nov račun VocalStack dobi $5 kredita ob registraciji in ne potrebuje kartice. Pri $0.60 na uro je to približno osem ur prepisa v živo, s prevodom in prenosom vred. Nato plačujete po sekundi. Poslušalci so vedno brezplačni.
Da. Prepis v živo je mogoče hkrati prevesti v do 10 jezikov, medtem ko oseba govori. Prevod se pojavi sekundo ali dve po izvirnem besedilu in vsak poslušalec izbere svoj jezik.
Odvisno je predvsem od zvoka. Najboljše rezultate dajo mikrofon blizu ali dovod z mize, malo hrupa v ozadju, en govorec naenkrat in reference script z imeni. Popravki v živo gostitelju omogočajo, da popravi, kar je še napačno, medtem ko govor poteka.
Besedilo v izvirnem jeziku zaostaja za govorcem za delček sekunde, prevodi pa sledijo sekundo ali dve pozneje. Javni pretok doda svoj zamik, preden zvok doseže VocalStack.
Da, prek razširitve za Chrome ali Edge, vtičnika OBS Studio ali Dashboarda v brskalniku. Namizna aplikacija je danes na macOS, Windows pride kmalu.
Ne. Poslušalci odprejo povezavo prenosa ali skenirajo njegovo kodo QR v brskalniku, izberejo jezik in berejo. Nič ni treba namestiti.
Odprite Dashboard, začnite prepis v živo z mikrofona in na telefonu odprite povezavo njegovega prenosa. Kredit ob registraciji pokrije vaše prve ure in sami lahko vidite, kako se osnutki usedajo in prevod sledi.