Transkribavimas ir vertimas realiuoju laiku: kaip veikia tiesioginė kalba į tekstą, kiek atsilieka, kas lemia tikslumą ir kiek kainuoja.
Transkribavimas realiuoju laiku paverčia kalbą tekstu, kol žmogus dar kalba. Žodžiai ekrane atsiranda akimirką po ištarimo, nusistovi į galutines eilutes ir gali būti skaitomi visų, kurie seka. Pridėjus vertimą realiuoju laiku, kiekvienas skaitytojas gali sekti tą pačią kalbą savo kalba, kaip tekstą arba skaitomą balsu.
Šis vadovas aprėpia transkribavimą ir vertimą realiuoju laiku iš abiejų pusių: ką mato klausytojas, iš kur gali ateiti garsas, kas lemia tikslumą, ką iš API gauna kūrėjai ir kiek tai kainuoja.
Transkribavimas realiuoju laiku, vadinamas ir tiesioginiu transkribavimu ar tiesiogine kalba į tekstą, yra kalbos atpažinimas, vykstantis, kol garsas dar atvyksta. Įrašytą failą galima transkribuoti turint visą įrašą. Tiesioginė transkripcija turi pasirinkti žodžius, remdamasi tik paskutinėmis kelio sekundėmis, ir neatsilikti nuo kalbėtojo tiek, kiek jis kalba.
Tiesioginiai subtitrai yra tas pats, rodomas kaip trumpos eilutės virš vaizdo įrašo ar ekrane.
VocalStack tiesioginė transkripcija gali klausytis 100 kalbų. Ji pati aptinka šnekamąją kalbą ir seka kalbėtoją, jei šis pereina į kitą, ką paaiškina kaip veikia automatinis kalbos aptikimas, taip pat kada kalbą geriau nurodyti iš anksto.
Tekstas atkeliauja dviem etapais. Naujausi žodžiai pirmiausia atsiranda kaip juodraštis, kuris dar gali keistis, kai ateina daugiau garso. Po akimirkos juodraštis nusistovi į galutinę eilutę, kuri daugiau nebekinta.
Juodraštis egzistuoja, nes atpažinimo sistema žodį iš dalies nusprendžia pagal tai, kas po jo seka. „Ice cream“ ir „I scream“ skamba vienodai, kol ateina kitas žodis. Ankstyvas spėjimo rodymas leidžia transkripcijai atrodyti tiesioginei.
Kiek tekstas atsilieka nuo kalbėtojo, priklauso nuo etapo:
Du vėlavimai yra už tos grandinės ribų. Kai šaltinis yra viešas srautas, o ne mikrofonas, pats srautas jau atsilieka nuo savo tiesioginio krašto: sekundę ar tris paprastam interneto radijo srautui ir nuo kelių sekundžių iki pusės minutės HLS. O Pay as you go plane tiesioginė transkripcija gali užtrukti iki 15 sekundžių pradėti. Pilna išskaidyta informacija, įskaitant vėlavimo režimus Auto, Fast ir Accuracy, pateikta Tiesioginio vertimo vėlavimas paaiškintas.
Vertimas veikia ant transkripcijos. Tiesioginė transkripcija gali būti verčiama į iki 10 kalbų vienu metu, pasirinktų iš 100. Kiekvienas klausytojas savo įrenginyje pasirenka vieną iš jų ir gali ją keisti bet kada; iki tol buvusi transkripcija rodoma iš naujo nauja kalba.
Kiekviena kalba verčiama iš tos pačios transkripcijos, todėl kiekvienas klausytojas gauna tuos pačius žodžius, o pataisymas pasiekia visus.
Klausytojas, kuris mieliau klausosi nei skaito, gali paprašyti kiekvieną išverstą eilutę perskaityti balsu. Pagal numatytuosius nustatymus kiekvienas kalbėtojas gauna atskirą jo lyčiai tinkantį standartinį balsą, todėl diskusijų skydelis vis dar skamba kaip keli žmonės. Gavęs kalbėtojo sutikimą, šeimininkas gali klonuoti to kalbėtojo balsą iš maždaug 30 sekundžių, kai jis kalba vienas, ir vertimas tada skaitomas jo paties balsu.
Taisyklė balsams sąmoningai siaura. Balsas visada skaito tik tai, ką pasakė tas pats žmogus, išverstą į kalbą, kurią pasirinko klausytojas. Jis niekada neskaito teksto, kurį kas nors įveda, ir niekada neskaito vieno kalbėtojo žodžių kito kalbėtojo balsu.
Kaip tai veikia visai salei, nuo šeimininko nustatymo iki pavėlavusio, aprašyta Viena nuoroda, visos kalbos.
Tiesioginei transkripcijai reikia garso šaltinio. Štai tie, kuriuos VocalStack šiandien priima:
Subtitrai pačiame „YouTube“ grotuve per jo CC mygtuką bus netrukus. Iki tol „YouTube“ srauto žiūrovai seka subtitrus per transliacijos nuorodą.
Jei tiesioginio transkribavimo jums reikia šiandien „Windows“, ten veikia Chrome ar Edge plėtinys, OBS papildinys ir Dashboard naršyklėje.
Transliacija yra būdas, kuriuo kiti seka tiesioginę transkripciją. Tai viena nuoroda ir QR kodas. Klausytojai atidaro ją naršyklėje, pasirenka kalbą ir skaito kartu. Jiems nereikia paskyros ir nieko nereikia diegti, ir jie nekainuoja: sąskaita nesikeičia nuo klausytojų ar kalbų skaičiaus.
Transliacija pagal numatytuosius nustatymus yra vieša ir gali būti apsaugota slaptažodžiu. Jei pervadinsite jos nuorodą, senoji toliau veiks, todėl programoje atspausdintas QR kodas nepasensta. Viena transliacija gali nešti kelias tiesiogines transkripcijas, todėl dvi scenos gali dalytis viena nuoroda.
Klausytojas, atėjęs vėliau, mato viską, kas pasakyta prieš jam ateinant, o tada seka tiesiogiai. Vėliau vaizdas Audience parodo, kas klausėsi, kuria kalba ir kada prisijungė.
Renginiams daugiakalbių konferencijų kontrolinis sąrašas aprėpia garsą, scenas ir biudžetą, o tiesioginis transkribavimas bažnyčioms, paskaitų auditorijoms ir tarybų posėdžių salėms aprėpia savaitinį to paties nustatymo variantą.
Viską aukščiau galima padaryti iš kodo. Tiesioginiam garsui jūsų pačių programoje API turi realaus laiko sesijas: jūsų serveris vieną kartą iškviečia POST /v1/realtime/sessions su API raktu ir gauna trumpai galiojantį streamUrl. Jūsų klientas atidaro į jį WebSocket, siunčia neapdorotą garsą, kai jis fiksuojamas, ir skaito transkripciją atgal kaip JSON kadrus.
Kadrai seka tuos pačius du etapus, kuriuos mato skaitytojas. transcript.draft pakeičia tiesioginę uodegą, transcript.committed prideda galutinę eilutę, o įjungus vertimą ateina ištisi sakiniai su prisegtais vertimais. Tikslines kalbas, kalbėtojų žymas ir vėlavimo režimą galima keisti sesijos viduryje per session.update.
Realaus laiko sesija nieko neišsaugo. Kai norite, kad žodžiai būtų išsaugoti, pataisyti ir bendrinami su auditorija, vietoj to garsą skelbiate į tiesioginę transkripciją ir transliaciją. Oficialūs SDK, skirti TypeScript, Python ir PHP, apgaubia abu, o MCP serveris leidžia DI asistentui naudotis ta pačia paskyra.
WebSocket pamoka žingsnis po žingsnio sukuria veikiantį subtitrų vaizdą, o API nuoroda turi kiekvieną lauką. API naudojimas apmokestinamas tuo pačiu įkainiu kaip Dashboard.
Tikslumas daugiausia nulemiamas dar prieš veikiant bet kuriai atpažinimo sistemai, garso, kurį ji gauna. Didžiausią skirtumą daro keturi dalykai.
Mikrofonas. Mikrofonas arti kalbėtojo arba signalas iš renginio vietos garso pulto neša balsą su mažai patalpos. Telefonas ant stalo girdi kalbėtoją plius aidą, kėdes ir kosulį. Tai didžiausias pavienis veiksnys, o kodėl telefono salei nepakanka paaiškina kodėl.
Triukšmas ir persidengimas. Foninis triukšmas sukelia praleistus ir išgalvotus žodžius, o du žmonės, kalbantys vienu metu, supainioja ir žodžius, ir tai, kas juos pasakė. Garso transkribavimo klaidos išvardija septynias dažnas priežastis, kaip atrodo kiekviena ir kaip ją ištaisyti.
Scenarijus. Žinomi vardai ir terminai atpažįstami tokie, kokie yra. Įmonės produktų pavadinimų, vidinės santrumpos ar svečio neįprastos pavardės iš anksto žinoti neįmanoma, todėl prieš pradėdami pridėkite scenarijų ar skaidres, ir juose esantys vardai bei terminai bus rašomi tiksliai taip, kaip juos parašėte.
Kalbėtojų žymos. Žymos gali būti Off, On arba When Needed, kuri jas įjungia, kai išgirstamas antras kalbėtojas. Kalbėtojų diarizacija ir kalbos atpažinimas paaiškina, kaip du atsakymai, kas pasakyta ir kas pasakė, yra atskiri ir taisomi atskirai.
Svarbus ir vėlavimo režimas: Fast išveda tekstą anksčiau, bet daugiau jo peržiūri, Accuracy palaukia šiek tiek ilgiau.
Vienas tikslumo skaičius pasako mažiau, nei atrodo. Žodžių klaidų dalis skaičiuoja neteisingą vardą taip pat kaip praleistą „the“, todėl ką matuoja žodžių klaidų dalis ir ko ji nepastebi siūlo vertinti sistemą pagal tai, kurias klaidas ji leidžia pastebėti ir ištaisyti.
Jokia tiesioginė transkripcija nėra tobula, todėl šeimininko ekrane yra skirtukas Fix. Jis gali pažymėti žodžius, dėl kurių atpažinimo sistema buvo nesaugi, o bet kurią eilutę galima atidaryti ir pataisyti. Antras žmogus prie pulto gali jas peržiūrėti, kol kalbėtojas kalba toliau.
Kai šeimininkas perrašo žodį ar eilutę, net ir tą, kuri dar tariama, kiekvienas klausytojas mato pataisymą, kiekviena kalba. Eilutė, išgirsta su per maža pasitikėjimo, klausytojams paslepiama kaip „Audio unclear“, užuot parodžius neteisingai; šeimininkas ją vis tiek mato.
Įrašas saugomas su transkripcija, pataisymais ir vertimais. Vėliau galite:
Kiek ilgai saugomas garsas ir transkripcijos, priklauso nuo plano, o kainų puslapis tai nurodo.
Dauguma tiesioginio transkribavimo įrankių demonstracijoje atrodo panašiai; skirtumai išryškėja klausimuose žemiau. Dešinysis stulpelis aprašo VocalStack tokį, koks jis yra šiandien.
| Klausimas | Kodėl svarbu | VocalStack |
|---|---|---|
| Kurias kalbas gali girdėti? | Įrankis, negalintis transkribuoti kalbėtojo kalbos, nepadės, kad ir koks geras jo vertimas. | 100 kalbų, aptinkamų automatiškai, su perjungimu pokalbio viduryje |
| Kiek tekstas atsilieka nuo kalbėtojo? | Skaitytojai labiau pastebi didėjantį tarpą nei retą klaidingą žodį. | Originalo tekstas sekundės dalimi vėliau, vertimas po sekundės ar dviejų; trys vėlavimo režimai |
| Ar verčia ir kas renkasi kalbą? | Viena subtitrų kalba viename ekrane palieka visus kitus nuošalyje. | Iki 10 kalbų vienai transkripcijai, kiekvienas klausytojas renkasi savo |
| Ar gali ištarti vertimą? | Kai kurie klausytojai negali skaityti kartu arba nenori. | Pagal numatytuosius standartiniai balsai; paties kalbėtojo klonuotas balsas su jo sutikimu |
| Kaip auditorija jį gauna? | Programėlės ir paskyros praranda žmones prie durų. | Viena nuoroda ir QR kodas, be paskyros, neprivalomas slaptažodis |
| Ar galima taisyti klaidas gyvai? | Neteisingai išgirstas vardas, kartojamas valandą, daro tikrą žalą. | Tiesioginiai pataisymai, išsiunčiami kiekvienam klausytojui |
| Iš kur gali ateiti garsas? | Jūsų sistema neturėtų keistis, kad tiktų įrankiui. | Mikrofonas, naršyklės plėtiniai, darbalaukio programa, OBS, RTMP, srautų nuorodos |
| Ar yra API? | Galbūt norite subtitrų savo produkte. | REST ir WebSocket API, SDK, MCP serveris, tas pats įkainis kaip Dashboard |
| Kaip kainuoja? | Kainos pagal klausytoją ar vietą auga kartu su jūsų auditorija. | Pagal garso sekundę; klausytojai ir kalbos nemokamai |
VocalStack mokate už transkribuoto garso sekundę. Rašymo metu tiesioginis transkribavimas kainuoja $0.60 už valandą, o failai $0.20 už valandą, kiekviename plane, Dashboard ir per API vienodai. Vertimas, balsai, santraukos, transliavimas ir klausytojai niekada nedidina sąskaitos, todėl valandos pranešimas, kurį 200 žmonių skaito penkiomis kalbomis, kainuoja tuos pačius $0.60 kaip ir tas, kurio niekas neskaito.
Planai skiriasi keliais aspektais:
Jei niekam nereikia skaityti kartu realiuoju laiku, vėliau įkelkite įrašą failų įkainiu. Dabartinės kainos, saugojimas ir ribos kiekvienam planui pateikti kainų puslapyje.
Nauja VocalStack paskyra gauna $5 registracijos kredito ir kortelės nereikia. Už $0.60 per valandą tai maždaug aštuonios valandos tiesioginio transkribavimo, su įskaičiuotu vertimu ir transliavimu. Po to mokate pagal sekundę. Klausytojai visada nemokamai.
Taip. Tiesioginė transkripcija gali būti verčiama į iki 10 kalbų vienu metu, kol žmogus kalba. Vertimas atsiranda po sekundės ar dviejų po originalaus teksto, o kiekvienas klausytojas renkasi savo kalbą.
Tai daugiausia priklauso nuo garso. Artimas mikrofonas ar signalas iš pulto, mažai foninio triukšmo, vienu metu kalbantis vienas žmogus ir Reference Script su vardais duoda geriausius rezultatus. Tiesioginiai pataisymai leidžia šeimininkui ištaisyti tai, kas dar neteisinga, kol pranešimas tęsiasi.
Originalo kalbos tekstas atsilieka nuo kalbėtojo sekundės dalimi, o vertimai seka po sekundės ar dviejų. Viešas srautas prideda savo vėlavimą, kol garsas pasiekia VocalStack.
Taip, per Chrome ar Edge plėtinį, OBS Studio papildinį arba Dashboard naršyklėje. Darbalaukio programa šiandien yra macOS, o Windows netrukus.
Ne. Klausytojai atidaro transliacijos nuorodą arba nuskaito jos QR kodą naršyklėje, pasirenka kalbą ir skaito. Nieko nereikia diegti.
Atidarykite Dashboard, pradėkite tiesioginę transkripciją iš mikrofono ir atidarykite jos transliacijos nuorodą telefone. Registracijos kreditas padengia jūsų pirmąsias valandas, ir patys pamatysite, kaip juodraščiai nusistovi, o vertimas seka.