Транскрипция и превод в реално време: как работи речта в текст на живо, колко изостава, какво влияе на точността и колко струва.
Транскрипцията в реално време превръща речта в текст, докато човекът още говори. Думите се появяват на екрана миг след изговарянето, уталожват се в окончателни редове и могат да бъдат четени от всеки, който следи. Добавете превод в реално време и всеки читател може да следва същата реч на свой език, като текст или прочетена на глас.
Това ръководство разглежда транскрипцията и превода в реално време от двете страни: какво вижда слушателят, откъде може да идва звукът, какво решава точността, какво получават разработчиците от API и колко струва.
Транскрипцията в реално време, наричана още транскрипция на живо или реч в текст на живо, е разпознаване на реч, което върви, докато аудиото още пристига. Записан файл може да се транскрибира с целия запис на ръка. Транскрипцията на живо трябва да се ангажира с думи, като разполага само с последните няколко секунди, и да не изостава от говорещия, докато той говори.
Субтитрите на живо са същото нещо, показано като кратки редове върху видео или на екран.
Във VocalStack транскрипцията на живо може да слуша на 100 езика. Тя разпознава говоримия език сама и следва говорителя, ако той превключи, което как работи автоматичното разпознаване на език обяснява, заедно с това кога да посочите езика предварително.
Текстът пристига на два етапа. Най-новите думи се появяват първи като чернова, която още може да се промени, докато идва повече аудио. Миг по-късно черновата се уталожва в окончателен ред, който вече не се променя.
Черновата съществува, защото разпознаването решава една дума отчасти по това, което следва след нея. „Ice cream“ и „I scream“ звучат еднакво, докато не пристигне следващата дума. Ранното показване на предположението е това, което кара транскрипта да се усеща като на живо.
Колко изостава текстът зад говорителя зависи от етапа:
Две забавяния стоят извън тази верига. Когато източникът е публичен стрийм, а не микрофон, самият стрийм вече изостава от живия си край: секунда-три за обикновен стрийм на интернет радио и от няколко секунди до половин минута за HLS. А при Pay as you go транскрипция на живо може да отнеме до 15 секунди, за да стартира. Пълната разбивка, включително режимите Auto, Fast и Accuracy за забавяне, е в забавянето при превода на живо, обяснено.
Преводът върви върху транскрипта. Транскрипция на живо може да бъде превеждана на до 10 езика едновременно, избрани от 100. Всеки слушател избира един от тях на собственото си устройство и може да го смени по всяко време; транскриптът до момента се показва отново на новия език.
Всеки език се превежда от един и същ транскрипт, така че всеки слушател получава едни и същи думи, а поправката стига до всички.
Слушател, който предпочита да слуша, а не да чете, може да получи всеки преведен ред прочетен на глас. По подразбиране всеки говорител получава отличим стандартен глас, който отговаря на пола му, така че един панел пак звучи като няколко души. С разрешението на говорителя водещият може да клонира гласа му от около 30 секунди, в които говори сам, и преводът след това се чете с неговия собствен глас.
Правилото за гласовете е нарочно тясно. Гласът чете само онова, което същият човек е казал, преведено на език, избран от слушателя. Той никога не чете въведен от някого текст и никога не чете думите на един говорител с гласа на друг.
Как това работи за цяла зала, от настройката на водещия до закъснелия слушател, е в един линк, всеки език.
Транскрипцията на живо се нуждае от източник на аудио. Ето тези, които VocalStack приема днес:
Субтитрите в собствения плейър на YouTube чрез бутона CC са скоро. Дотогава зрителите на стрийм в YouTube следят субтитрите на линка на излъчването.
Ако имате нужда от транскрипция на живо на Windows още днес, разширението за Chrome или Edge, добавката за OBS и таблото в браузър работят там.
Излъчването е начинът, по който други хора следват транскрипция на живо. Това е един линк и QR код. Слушателите го отварят в браузър, избират език и четат. Не им трябва акаунт и не инсталират нищо, а не струват нищо: сметката не се променя с броя на слушателите или езиците.
Излъчването е публично по подразбиране и може да бъде защитено с парола. Ако преименувате линка му, старият продължава да работи, така че QR код, отпечатан в програма, не остарява. Едно излъчване може да носи няколко транскрипции на живо, така че две сцени могат да споделят един линк.
Слушател, който пристига късно, вижда всичко, казано преди да влезе, и после следи на живо. След това изгледът Audience показва кой е слушал, на какъв език и кога се е присъединил.
За събития контролният списък за многоезична конференция обхваща звука, сцените и бюджета, а транскрипция на живо за църкви, лекционни зали и общински съвети обхваща седмичната версия на същата настройка.
Всичко горе може да се направи от код. За аудио на живо във вашето собствено приложение API има realtime сесии: вашият сървър прави едно извикване на POST /v1/realtime/sessions с API ключ и получава краткотраен streamUrl. Вашият клиент отваря WebSocket към него, изпраща суров звук, докато се записва, и чете транскрипта обратно като JSON кадри.
Кадрите следват същите два етапа, които вижда читателят. transcript.draft замества живата опашка, transcript.committed добавя окончателен ред, а при включен превод цели изречения пристигат с прикачените си преводи. Целевите езици, етикетите на говорителите и режимът на забавяне могат да се сменят по средата на сесията със session.update.
Realtime сесията не съхранява нищо. Когато искате думите да бъдат запазени, поправени и споделени с публика, вместо това публикувате звука към транскрипция на живо и излъчване. Официални SDK за TypeScript, Python и PHP обгръщат и двете, а MCP сървър позволява на AI асистент да използва същия акаунт.
Урокът за WebSocket изгражда работещ изглед със субтитри стъпка по стъпка, а справочникът за API има всяко поле. Използването на API се таксува по същата ставка като таблото.
Точността се решава най-вече преди да тръгне какъвто и да е разпознавач, от звука, който му се подава. Четири неща правят най-голяма разлика.
Микрофонът. Микрофон близо до говорителя или сигнал от миксерния пулт на залата носи гласа с малко от залата в него. Телефон на масата чува говорителя плюс ехо, столове и кашлици. Това е най-големият единичен фактор, а защо телефонът не стига за цяла зала обяснява защо.
Шум и припокриване. Фоновият шум причинява изпуснати думи и измислени, а двама души, които говорят едновременно, объркват и думите, и кой ги е казал. Грешките при транскрипция на аудио изброява седем обичайни причини, как изглежда всяка и как да се поправи.
Референтен сценарий. Добре познатите имена и термини се разпознават такива, каквито са. Имената на продукти на една компания, вътрешна абревиатура или необичайна фамилия на гост не могат да се знаят предварително, затова добавете сценарий или слайдове, преди да започнете, и имената и термините в тях се изписват точно както сте ги написали.
Етикети на говорителите. Етикетите могат да бъдат Off, On или When Needed, което ги включва, щом се чуе втори говорител. Диаризацията на говорители срещу разпознаването на реч обяснява как двата отговора, какво е казано и кой го е казал, са отделни и се поправят поотделно.
Режимът на забавяне също има значение: Fast извежда текста по-рано, но го ревизира повече, Accuracy чака малко по-дълго.
Една-единствена цифра за точност казва по-малко, отколкото изглежда. Процентът грешни думи брои грешно име същото като изпуснато „the“, затова какво измерва процентът грешни думи и какво пропуска се застъпва системата да се оценява по това кои грешки ви позволява да хванете и поправите.
Никой транскрипт на живо не е съвършен, затова на екрана на водещия има раздел Fix. Той може да отбелязва думите, в които разпознаването не е било сигурно, и всеки ред може да се отвори и поправи. Втори човек на пулта може да минава през тях, докато говорителят продължава.
Когато водещият пренапише дума или ред, дори такъв, който още се изговаря, всеки слушател вижда поправката, на всеки език. Ред, чут със твърде малка увереност, се скрива от слушателите като „Audio unclear“, вместо да се показва грешен; водещият пак го вижда.
Записът се пази с транскрипта, поправките и преводите си. После можете да:
Колко дълго се пазят аудиото и транскриптите зависи от плана, а страницата с цените го изброява.
Повечето инструменти за транскрипция на живо изглеждат еднакво в демонстрация; разликите се виждат във въпросите по-долу. Дясната колона описва VocalStack такъв, какъвто е днес.
| Въпрос | Защо е важен | VocalStack |
|---|---|---|
| Кои езици може да чуе? | Инструмент, който не може да транскрибира езика на говорителя, не помага, колкото и добър да е преводът му. | 100 езика, разпознавани автоматично, с превключване по средата на речта |
| Колко изостава текстът зад говорителя? | Читателите забелязват растящата разлика повече от случайна грешна дума. | Текстът на оригинала с част от секундата зад говорителя, преводът секунда-две по-късно; три режима на забавяне |
| Превежда ли и кой избира езика? | Един език на субтитрите на един екран изключва всички останали. | До 10 езика на транскрипция, всеки слушател избира своя |
| Може ли да изговори превода? | Някои слушатели не могат да следват четейки или предпочитат да не го правят. | Стандартни гласове по подразбиране; собственият клониран глас на говорителя с негово съгласие |
| Как публиката го получава? | Приложенията и акаунтите губят хората на входа. | Един линк и QR код, без акаунт, по избор парола |
| Може ли да поправяте грешки на живо? | Погрешно чуто име, повтаряно един час, нанася реална вреда. | Поправки на живо, пратени до всеки слушател |
| Откъде може да идва звукът? | Вашата настройка не бива да се променя, за да пасне на инструмента. | Микрофон, разширения за браузър, десктоп приложение, OBS, RTMP, линкове към стриймове |
| Има ли API? | Може да искате субтитри във вашия собствен продукт. | REST и WebSocket API, SDK, MCP сървър, същата ставка като таблото |
| Как е ценообразуването? | Цените на слушател или на място растат с вашата публика. | На секунда аудио; слушателите и езиците са безплатни |
Във VocalStack плащате на секунда транскрибирано аудио. Към момента на писане транскрипцията на живо струва $0.60 на час, а файловете $0.20 на час, при всеки план, в таблото и през API еднакво. Преводът, гласовете, резюметата, излъчването и слушателите никога не увеличават сметката, така че едночасов доклад, прочетен от 200 души на пет езика, струва същите $0.60, както ако не го е чел никой.
Плановете се различават в няколко неща:
Ако никой не трябва да чете, докато се случва, качете записа след това по ставката за файлове. Текущите цени, срокове за съхранение и ограничения за всеки план са на страницата с цените.
Новият акаунт във VocalStack идва с $5 кредит при регистрация и не иска карта. При $0.60 на час това са около осем часа транскрипция на живо, с включени превод и излъчване. След това плащате на секунда. Слушателите винаги са безплатни.
Да. Транскрипция на живо може да бъде превеждана на до 10 езика едновременно, докато човекът говори. Преводът се появява секунда-две след оригиналния текст, а всеки слушател избира своя език.
Зависи най-вече от звука. Близък микрофон или сигнал от пулта, малко фонов шум, един говорещ в даден момент и референтен сценарий с имената в него дават най-добри резултати. Поправките на живо позволяват на водещия да оправи онова, което още е грешно, докато докладът върви.
Текстът на оригиналния език изостава от говорителя с част от секундата, а преводите следват секунда-две по-късно. Публичен стрийм добавя собствено забавяне, преди звукът да стигне до VocalStack.
Да, чрез разширението за Chrome или Edge, добавката за OBS Studio или таблото в браузър. Десктоп приложението е за macOS днес, а Windows идва скоро.
Не. Слушателите отварят линка към излъчването или сканират QR кода му в браузър, избират език и четат. Нищо не се инсталира.
Отворете таблото, започнете транскрипция на живо от микрофона си и отворете линка ѝ към излъчването на телефона си. Кредитът при регистрация покрива първите ви часове и сами можете да видите как черновите се уталожват, а преводът следва.