Valós idejű átírás és fordítás: hogyan működik az élő beszédfelismerés, mennyit késik, mi befolyásolja a pontosságot, és mennyibe kerül.
A valós idejű átírás szöveggé alakítja a beszédet, miközben az ember még beszél. A szavak pillanatokkal az elhangzásuk után jelennek meg a képernyőn, végleges sorokká állnak össze, és bárki olvashatja őket, aki követi. Ha hozzáadod a valós idejű fordítást, minden olvasó a saját nyelvén követheti ugyanazt a beszédet, szövegként vagy felolvasva.
Ez az útmutató a valós idejű átírást és fordítást mindkét oldalról tárgyalja: mit lát a hallgató, honnan jöhet a hang, mi dönti el a pontosságot, mit kapnak a fejlesztők egy API-tól, és mibe kerül mindez.
A valós idejű átírás, más néven élő átírás vagy élő beszédfelismerés, olyan beszédfelismerés, amely közben fut, amíg a hang még érkezik. Egy rögzített fájl úgy írható át, hogy a teljes felvétel a kezünkben van. Egy élő átiratnak csak az utolsó néhány másodperc alapján kell elköteleződnie a szavak mellett, és lépést kell tartania a beszélővel, ameddig az beszél.
Az élő feliratok ugyanez, rövid sorokként megjelenítve egy videón vagy egy képernyőn.
A VocalStackben egy élő átírás 100 nyelven tud hallgatni. Magától felismeri a beszélt nyelvet, és követi a beszélőt, ha nyelvet vált, amit az Hogyan működik az automatikus nyelvfelismerés cikk magyaráz el, azzal együtt, hogy mikor érdemes előre megnevezni a nyelvet.
A szöveg két szakaszban érkezik. A legújabb szavak előbb piszkozatként jelennek meg, amely még változhat, ahogy több hang érkezik. Egy pillanattal később a piszkozat véglegessé áll össze, és többé nem változik.
A piszkozat azért van, mert a felismerő egy szót részben aszerint dönt el, mi követi. Az „ice cream” és az „I scream” egyformán hangzik, amíg meg nem érkezik a következő szó. A tipp korai megmutatása teszi azt, hogy az átirat élőnek érződik.
Hogy a szöveg mennyivel fut a beszélő mögött, a szakasztól függ:
Két késleltetés ezen a láncon kívül van. Ha a forrás nyilvános adás és nem mikrofon, maga az adás is lemarad az élő szélétől: egy-három másodperccel egy sima internetes rádióadásnál, és néhány másodperctől fél percig HLS-nél. Pay as you go csomagban pedig egy élő átirat indulása akár 15 másodpercig is tarthat. A teljes bontás, az Auto, Fast és Accuracy késleltetési módokkal együtt, az Élő fordítás késleltetése, magyarázattal cikkben van.
A fordítás az átirat tetején fut. Egy élő átirat egyszerre legfeljebb 10 nyelvre fordítható, 100 közül választva. Minden hallgató a saját eszközén kiválaszt egyet ezek közül, és bármikor átválthat; az addigi átirat az új nyelven jelenik meg újra.
Minden nyelv ugyanabból az átiratból fordítódik, így minden hallgató ugyanazokat a szavakat kapja, és egy javítás mindenkihez eljut.
Az a hallgató, aki inkább hallgatna, mint olvasna, kérheti, hogy minden lefordított sort felolvassanak. Alapértelmezés szerint minden beszélő kap egy külön előre elkészített hangot, amely illik a nemükhöz, így egy panel továbbra is több emberként hangzik. A beszélő beleegyezésével a házigazda klónozhatja a beszélő hangját körülbelül 30 másodpercnyi, egyedül mondott beszédből, és a fordítást ezután az ő saját hangján olvassák fel.
A hangokra vonatkozó szabály szándékosan szűk. Egy hang csak azt olvassa fel, amit ugyanaz a személy mondott, lefordítva egy olyan nyelvre, amelyet a hallgató választott. Soha nem olvas fel olyan szöveget, amelyet valaki begépel, és soha nem olvassa fel az egyik beszélő szavait egy másik beszélő hangján.
Hogy ez hogyan működik egy egész teremnek, a házigazda beállításától a későn érkező hallgatóig, az Egy link, minden nyelv cikkben olvasható.
Egy élő átírásnak hangforrásra van szüksége. Ezeket fogadja ma a VocalStack:
A feliratok magában a YouTube lejátszójában, a CC gombján keresztül, hamarosan érkeznek. Addig egy YouTube-adás nézői a közvetítés linkjén követik a feliratokat.
Ha ma Windowson kell élő átírás, a Chrome- vagy Edge-bővítmény, az OBS-bővítmény és a böngészőben futó Dashboard mind működik ott.
A közvetítés az a mód, ahogyan mások követik az élő átírást. Egy link és egy QR-kód. A hallgatók böngészőben megnyitják, nyelvet választanak, és olvasnak. Nincs szükségük fiókra, nem telepítenek semmit, és nem kerülnek semmibe: a számla nem változik a hallgatók vagy a nyelvek számával.
A közvetítés alapértelmezés szerint nyilvános, és jelszóval védhető. Ha átnevezed a linkjét, a régi tovább működik, így egy műsorfüzetre nyomtatott QR-kód nem évül el. Egy közvetítés több élő átiratot is vihet, így két színpad megosztozhat egy linken.
A későn érkező hallgató mindent lát, ami a belépése előtt elhangzott, aztán élőben követ. Utána az Audience nézet megmutatja, ki hallgatta, melyik nyelven, és mikor csatlakozott.
Eseményekhez a többnyelvű konferencia ellenőrzőlistája a hangot, a színpadokat és a költségvetést tárgyalja, az Élő átírás templomoknak, előadótermeknek és tanácstermeknek pedig ugyanennek a beállításnak a heti változatát.
Mindez megoldható kódból is. Élő hanghoz a saját alkalmazásodban az API valós idejű munkameneteket kínál: a szervered egy hívást intéz a POST /v1/realtime/sessions végpontra egy API-kulccsal, és kap egy rövid életű streamUrl címet. A kliensed WebSocketet nyit hozzá, felvétel közben nyers hangot küld, és az átiratot JSON-keretekként olvassa vissza.
A keretek ugyanazt a két szakaszt követik, amelyet az olvasó lát. Egy transcript.draft lecseréli az élő farokrészt, egy transcript.committed egy végleges sort ad hozzá, és bekapcsolt fordításnál teljes mondatok érkeznek a hozzájuk csatolt fordításokkal. A célnyelvek, a beszélőcímkék és a késleltetési mód munkamenet közben módosíthatók a session.update paranccsal.
Egy valós idejű munkamenet semmit nem tárol. Ha azt akarod, hogy a szavak megmaradjanak, javíthatók és megoszthatók legyenek egy közönséggel, a hangot egy élő átiratnak és egy közvetítésnek közzéteszed. A TypeScript, Python és PHP hivatalos SDK-i mindkettőt becsomagolják, és egy MCP-szerver lehetővé teszi, hogy egy MI-asszisztens ugyanazt a fiókot használja.
A WebSocket-útmutató lépésről lépésre felépít egy működő feliratnézetet, az API-referencia pedig minden mezőt tartalmaz. Az API-használatot ugyanazon az áron számlázzuk, mint a Dashboardot.
A pontosságot nagyrészt az dönti el, mielőtt bármely felismerő futna: a hang, amelyet kap. Négy dolog számít a legtöbbet.
A mikrofon. A beszélőhöz közeli mikrofon vagy a helyszín keverőpultjáról jövő jel a hangot kevés teremmel együtt viszi. Egy asztalon lévő telefon a beszélőt hallja plusz visszhangot, székeket és köhögést. Ez a legnagyobb egyedi tényező, és a miért nem elég a telefon egy teremhez cikk elmagyarázza, miért.
Zaj és átfedés. A háttérzaj kiesett és kitalált szavakat okoz, két ember egyidejű beszéde pedig a szavakat és azt is összezavarja, ki mondta őket. Az Audio-átírási hibák hét gyakori okot sorol fel, azt, hogyan néz ki mindegyik, és hogyan javítható.
Egy referencia-forgatókönyv. A közismert neveket és kifejezéseket úgy ismeri fel, ahogy vannak. Egy cég terméknevei, egy belső rövidítés vagy egy vendég szokatlan vezetékneve előre nem ismerhető, ezért indítás előtt adj hozzá forgatókönyvet vagy diákat, és a bennük szereplő nevek és kifejezések pontosan úgy íródnak, ahogyan te leírtad őket.
Beszélőcímkék. A címkék lehetnek Off, On vagy When Needed, amely akkor kapcsolja be őket, ha egy második beszélő is hallható. A beszélő-szétválasztás és beszédfelismerés cikk elmagyarázza, hogy a két válasz, mit mondtak és ki mondta, külön dolog, és külön javítható.
A késleltetési mód is számít: a Fast hamarabb ad ki szöveget, de többet módosít belőle, az Accuracy kicsit tovább vár.
Egyetlen pontossági szám kevesebbet mond, mint amennyinek látszik. A szóhibaarány egy rossz nevet ugyanúgy számol, mint egy kiesett „the” szót, ezért a mit mér a szóhibaarány, és mit hagy ki cikk amellett érvel, hogy egy rendszert aszerint ítéljünk meg, melyik hibákat engedi észrevenni és javítani.
Egyetlen élő átirat sem tökéletes, ezért a házigazda képernyőjén van egy Fix fül. Megjelölheti azokat a szavakat, amelyekben a felismerő bizonytalan volt, és bármelyik sor megnyitható és javítható. Egy második személy az asztalnál átdolgozhatja őket, miközben a beszélő folytatja.
Amikor a házigazda átír egy szót vagy egy sort, még egy éppen elhangzót is, minden hallgató látja a javítást, minden nyelven. Az a sor, amelyet túl kis biztonsággal hallottak, „Audio unclear” felirattal el van rejtve a hallgatók elől ahelyett, hogy rosszul jelenne meg; a házigazda továbbra is látja.
A felvétel megmarad az átiratával, a javításaival és a fordításaival. Utána:
Hogy a hang és az átiratok meddig maradnak meg, a csomagtól függ, és az árazási oldal felsorolja.
A legtöbb élő átíró eszköz egy bemutatón egyformának látszik; a különbségek az alábbi kérdésekben mutatkoznak meg. A jobb oldali oszlop a VocalStacket írja le, ahogy ma van.
| Kérdés | Miért számít | VocalStack |
|---|---|---|
| Mely nyelveket tudja hallani? | Az az eszköz, amely nem tudja átírni a beszélő nyelvét, nem segít, bármilyen jó a fordítása. | 100 nyelv, automatikus felismeréssel és nyelvváltással beszéd közben |
| Mennyivel marad le a szöveg a beszélőtől? | Az olvasók a növekvő rést jobban észreveszik, mint egy-egy téves szót. | Az eredeti szöveg másodperc törtrészével, a fordítás egy-két másodperccel később; három késleltetési mód |
| Fordít-e, és ki választja a nyelvet? | Egy felirat-nyelv egy képernyőn mindenki mást kihagy. | Átiratonként legfeljebb 10 nyelv, minden hallgató a sajátját választja |
| Fel tudja-e olvasni a fordítást? | Egyes hallgatók nem tudnak vagy nem szeretnének olvasni. | Alapértelmezetten előre elkészített hangok; a beszélő saját klónozott hangja a beleegyezésével |
| Hogyan jut el a közönséghez? | Az alkalmazások és fiókok az ajtóban elveszítik az embereket. | Egy link és QR-kód, fiók nélkül, opcionális jelszóval |
| Javíthatók-e a hibák élőben? | Egy félrehallott név, amelyet egy órán át ismételnek, valódi kárt okoz. | Élő javítások, amelyek minden hallgatóhoz eljutnak |
| Honnan jöhet a hang? | A te beállításodnak nem kell az eszközhöz igazodnia. | Mikrofon, böngészőbővítmények, asztali alkalmazás, OBS, RTMP, adáslinkek |
| Van-e API? | Szükséged lehet feliratokra a saját termékedben. | REST és WebSocket API, SDK-k, MCP-szerver, ugyanaz az ár, mint a Dashboardban |
| Hogyan árazzák? | A hallgatónkénti vagy helyenkénti árazás a közönségeddel együtt nő. | A hang másodpercei szerint; a hallgatók és a nyelvek ingyenesek |
A VocalStackben az átírt hang másodpercei után fizetsz. A cikk írásakor az élő átírás óránként $0.60, a fájlok óránként $0.20, minden csomagban, a Dashboardban és az API-n keresztül egyaránt. A fordítás, a hangok, az összefoglalók, a közvetítés és a hallgatók soha nem növelik a számlát, így egy egyórás előadás, amelyet 200 ember olvas öt nyelven, ugyanúgy $0.60-ba kerül, mintha senki sem olvasná.
A csomagok néhány dologban különböznek:
Ha senkinek nem kell olvasnia, miközben történik, töltsd fel a felvételt utólag a fájlok díján. Az aktuális árak, a megőrzés és az egyes csomagok korlátai az árazási oldalon vannak.
Egy új VocalStack-fiók $5 regisztrációs kreditet kap, és nem kér bankkártyát. Óránként $0.60-es áron ez körülbelül nyolc óra élő átírás, a fordítással és a közvetítéssel együtt. Ezután másodpercenként fizetsz. A hallgatók mindig ingyenesek.
Igen. Egy élő átirat egyszerre legfeljebb 10 nyelvre fordítható, miközben az ember beszél. A fordítás egy-két másodperccel az eredeti szöveg után jelenik meg, és minden hallgató a saját nyelvét választja.
Főleg a hangtól függ. Egy közeli mikrofon vagy keverőpulti jel, kevés háttérzaj, egyszerre egy beszélő és egy referencia-forgatókönyv a nevekkel adja a legjobb eredményt. Az élő javítások lehetővé teszik a házigazdának, hogy kijavítsa, ami még hibás, amíg a beszéd tart.
Az eredeti nyelvű szöveg másodperc törtrészével marad le a beszélőtől, a fordítások egy-két másodperccel később követik. Egy nyilvános adás hozzáadja a saját késleltetését, mielőtt a hang eléri a VocalStacket.
Igen, a Chrome- vagy Edge-bővítményen, az OBS Studio bővítményen vagy a böngészőben futó Dashboardon keresztül. Az asztali alkalmazás ma macOS-en van, a Windows hamarosan érkezik.
Nem. A hallgatók megnyitják a közvetítés linkjét vagy beolvassák a QR-kódját egy böngészőben, nyelvet választanak, és olvasnak. Nincs mit telepíteni.
Nyisd meg a Dashboardot, indíts egy élő átírást a mikrofonodról, és nyisd meg a közvetítés linkjét a telefonodon. A regisztrációs kredit fedezi az első óráidat, és saját szemeddel láthatod, ahogy a piszkozatok véglegessé állnak, és a fordítás követi.