Транскрыпцыя і пераклад у рэальным часе: як працуе маўленне ў тэкст, наколькі адстае, што ўплывае на дакладнасць і колькі гэта каштуе.
Транскрыпцыя ў рэальным часе ператварае маўленне ў тэкст, пакуль чалавек яшчэ гаворыць. Словы з'яўляюцца на экране праз імгненне пасля таго, як іх сказалі, ператвараюцца ў канчатковыя радкі, і іх можа чытаць кожны, хто сочыць. Дадайце пераклад у рэальным часе, і кожны чытач можа сачыць за тым жа выступам на сваёй мове, тэкстам або агучанымі словамі.
Гэты дапаможнік разглядае транскрыпцыю і пераклад у рэальным часе з абодвух бакоў: што бачыць слухач, адкуль можа быць гук, што вырашае дакладнасць, што атрымліваюць распрацоўшчыкі праз API і колькі гэта каштуе.
Транскрыпцыя ў рэальным часе, якую яшчэ завуць жывой транскрыпцыяй або жывым пераўтварэннем маўлення ў тэкст, гэта распазнаванне маўлення, што працуе, пакуль гук яшчэ паступае. Запісаны файл можна транскрыбаваць, маючы ўвесь запіс пад рукой. Жывая транскрыпцыя павінна вызначаць словы па апошніх некалькіх секундах і паспяваць за прамоўцам, пакуль ён гаворыць.
Жывыя субцітры: гэта тое ж самае, але ў выглядзе кароткіх радкоў паверх відэа або на экране.
У VocalStack жывая транскрыпцыя можа слухаць на 100 мовах. Яна сама вызначае мову маўлення і сочыць за прамоўцам, калі той пераходзіць на іншую, што тлумачыць як працуе аўтаматычнае вызначэнне мовы, разам з тым, калі лепш назваць мову загадзя.
Тэкст прыходзіць у два этапы. Найноўшыя словы з'яўляюцца першымі як чарнавік, які яшчэ можа змяніцца, калі прыйдзе болей гуку. Праз момант чарнавік ператвараецца ў канчатковы радок, які больш не змяняецца.
Чарнавік існуе таму, што распазнавальнік вырашае, якое гэта слова, часткова па тым, што за ім ідзе. «Ice cream» і «I scream» гучаць аднолькава, пакуль не прыйдзе наступнае слова. Ранні паказ здагадкі робіць транскрыпт жывым.
Наколькі тэкст адстае ад прамоўцы, залежыць ад этапу:
Дзве затрымкі стаяць па-за гэтым ланцужком. Калі крыніца, публічны паток, а не мікрафон, сам паток ужо адстае ад свайго жывога краю: на секунду-тры для звычайнага інтэрнэт-радыё і ад некалькіх секунд да паўхвіліны для HLS. А ў плане Pay as you go жывая транскрыпцыя можа стартаваць да 15 секунд. Поўны разбор, разам з рэжымамі затрымкі Auto, Fast і Accuracy, ёсць у артыкуле Затрымка жывога перакладу: тлумачэнне.
Пераклад працуе паверх транскрыпту. Жывую транскрыпцыю можна перакласці адразу на да 10 моў, абраных са 100. Кожны слухач выбірае адну з іх на сваёй прыладзе і можа змяніць яе ў любы момант; тое, што было да гэтага, паказваецца зноў на новай мове.
Кожная мова перакладаецца з аднаго транскрыпту, таму кожны слухач атрымлівае тыя самыя словы, а выпраўленне даходзіць да ўсіх.
Слухач, які аддае перавагу слуханню над чытаннем, можа атрымаць кожны перакладзены радок уголас. Па змаўчанні кожны спікер атрымлівае асобны стандартны голас, што адпавядае яго полу, таму панэль па-ранейшаму гучыць як некалькі чалавек. З згоды спікера гаспадар можа кланаваць яго голас па прыкладна 30 секундах, калі той гаворыць адзін, і тады пераклад чытаецца яго ўласным голасам.
Правіла для галасоў наўмысна вузкае. Голас чытае толькі тое, што сказаў той жа чалавек, у перакладзе на мову, абраную слухачом. Ён ніколі не чытае тэкст, які хтосьці набраў, і ніколі не чытае словы аднаго спікера голасам іншага.
Як гэта працуе для ўсёй залы, ад налады гаспадара да позняга госця, апісана ў Адна спасылка для ўсіх моў.
Жывой транскрыпцыі патрэбна крыніца гуку. Вось тыя, што VocalStack прымае сёння:
Субцітры ўнутры прайгравальніка YouTube праз кнопку CC хутка з'явяцца. Да таго часу гледачы YouTube-трансляцыі сочаць за субцітрамі па спасылцы трансляцыі.
Калі вам патрэбна жывая транскрыпцыя на Windows ужо сёння, працуюць пашырэнне для Chrome або Edge, убудова для OBS і Dashboard у браўзеры.
Трансляцыя: гэта спосаб, якім іншыя людзі сочаць за жывой транскрыпцыяй. Гэта адна спасылка і QR-код. Слухачы адкрываюць яе ў браўзеры, выбіраюць мову і чытаюць. Ім не патрэбен акаўнт, нічога не трэба ўсталёўваць, і яны нічога не каштуюць: рахунак не залежыць ад колькасці слухачоў або моў.
Трансляцыя па змаўчанні публічная і можа быць абаронена паролем. Калі вы перайменуеце яе спасылку, старая працягвае працаваць, таму QR-код, надрукаваны ў праграмцы, не састарэе. Адна трансляцыя можа несці некалькі жывых транскрыпцый, таму дзве сцэны могуць карыстацца адной спасылкай.
Слухач, што прыйшоў позна, бачыць усё сказанае да яго прыходу, а потым сочыць у жывую. Пасля гэтага ўкладка Audience паказвае, хто слухаў, на якой мове і калі далучыўся.
Для мерапрыемстваў чэк-ліст шматмоўнай канферэнцыі ахоплівае гук, сцэны і бюджэт, а жывая транскрыпцыя для цэркваў, лекцыйных аўдыторый і залаў саветаў ахоплівае штотыднёвую версію той жа налады.
Усё вышэйсказанае можна рабіць з кода. Для жывога гуку ў вашай праграме ў API ёсць сесіі ў рэальным часе: ваш сервер робіць адзін выклік POST /v1/realtime/sessions з ключом API і атрымлівае назад кароткачасовы streamUrl. Ваш кліент адкрывае да яго WebSocket, шле неапрацаваны гук па меры запісу і чытае транскрыпт назад як JSON-кадры.
Кадры паўтараюць тыя ж два этапы, якія бачыць чытач. transcript.draft замяняе жывы хвост, transcript.committed дадае канчатковы радок, а пры ўключаным перакладзе прыходзяць цэлыя сказы з далучанымі перакладамі. Мовы перакладу, пазнакі спікераў і рэжым затрымкі можна змяняць падчас сесіі праз session.update.
Сесія ў рэальным часе нічога не захоўвае. Калі вы хочаце захаваць словы, выпраўляць іх і дзяліцца імі з аўдыторыяй, вы замест гэтага публікуеце гук у жывую транскрыпцыю і трансляцыю. Афіцыйныя SDK для TypeScript, Python і PHP абгортваюць абодва, а MCP-сервер дазваляе ШІ-памочніку карыстацца тым жа ўліковым запісам.
Туторыял па WebSocket крок за крокам будуе працоўны экран субцітраў, а даведнік па API змяшчае кожнае поле. Выкарыстанне API аплачваецца па той жа стаўцы, што і ў Dashboard.
Дакладнасць вызначаецца ў асноўным яшчэ да таго, як запрацуе распазнавальнік, гукам, які яму даюць. Чатыры рэчы ўплываюць больш за ўсё.
Мікрафон. Мікрафон блізка да прамоўцы або сігнал з мікшарнага пульта залы нясе голас з малой колькасцю шуму памяшкання. Тэлефон на стале чуе прамоўцу, а таксама рэха, крэслы і кашаль. Гэта самы моцны адзіночны фактар, і чаму тэлефона недастаткова для залы тлумачыць чаму.
Шум і размовы адначасова. Фонавы шум прыводзіць да прапушчаных і прыдуманых слоў, а двое, што гавораць адначасова, блытаюць і словы, і тое, хто іх сказаў. Памылкі транскрыпцыі гуку пералічваюць сем частых прычын, як выглядае кожная і як яе выправіць.
Reference Script. Вядомыя імёны і тэрміны распазнаюцца як ёсць. Назвы прадуктаў кампаніі, унутраны акронім або незвычайнае прозвішча госця загадзя ведаць нельга, таму дадайце сцэнарый або слайды перад пачаткам, і імёны і тэрміны ў іх будуць запісаны менавіта так, як вы іх напісалі.
Пазнакі спікераў. Пазнакі могуць быць Off, On або When Needed, што ўключае іх, як толькі чуваць другі спікер. Дыярызацыя спікераў і распазнаванне маўлення тлумачыць, што два адказы, што было сказана і хто гэта сказаў, незалежныя і выпраўляюцца па-асобку.
Важны і рэжым затрымкі: Fast выдае тэкст раней, але часцей яго перагледжвае, Accuracy чакае крыху даўжэй.
Адзін паказчык дакладнасці гаворыць менш, чым здаецца. Узровень памылак у словах лічыць няправільнае імя гэтак жа, як прапушчанае «the», таму што вымярае ўзровень памылак у словах і што ён прапускае прапануе ацэньваць сістэму па тым, якія памылкі яна дазваляе заўважыць і выправіць.
Ніводны жывы транскрыпт не ідэальны, таму на экране гаспадара ёсць укладка Fix. Яна можа пазначаць словы, у якіх распазнавальнік не быў упэўнены, і любы радок можна адкрыць і выправіць. Другі чалавек за пультом можа працаваць з імі, пакуль прамоўца працягвае.
Калі гаспадар перапісвае слова або радок, нават той, што яшчэ прамаўляецца, кожны слухач бачыць выпраўленне на кожнай мове. Радок, пачуты з занізкай упэўненасцю, хаваецца ад слухачоў як «Audio unclear», а не паказваецца памылкова; гаспадар усё роўна яго бачыць.
Запіс захоўваецца разам з транскрыптам, выпраўленнямі і перакладамі. Потым можна:
Як доўга захоўваюцца аўдыё і транскрыпты, залежыць ад плана, і старонка цэн пералічвае гэта.
Большасць інструментаў жывой транскрыпцыі ў дэманстрацыі падобныя; розніца праяўляецца ў пытаннях ніжэй. Правая калонка апісвае VocalStack такім, які ён ёсць сёння.
| Пытанне | Чаму гэта важна | VocalStack |
|---|---|---|
| Якія мовы ён чуе? | Інструмент, які не транскрыбуе мову прамоўцы, не дапаможа, як бы добра ні перакладаў. | 100 моў, вызначаюцца аўтаматычна, з пераключэннем пасярод выступу |
| Наколькі тэкст адстае ад прамоўцы? | Чытачы заўважаюць растучы разрыў мацней, чым рэдкае няправільнае слова. | Тэкст арыгінала адстае на долі секунды, пераклад праз секунду-дзве; тры рэжымы затрымкі |
| Ці перакладае ён і хто выбірае мову? | Адна мова субцітраў на адным экране пакідае ўсіх астатніх. | Да 10 моў на транскрыпцыю, кожны слухач выбірае сваю |
| Ці можа ён агучыць пераклад? | Некаторыя слухачы не могуць чытаць або аддаюць перавагу іншаму. | Стандартныя галасы па змаўчанні; уласны кланаваны голас спікера з яго згоды |
| Як аўдыторыя гэта атрымлівае? | Праграмы і акаўнты губляюць людзей ля ўваходу. | Адна спасылка і QR-код, без акаўнта, неабавязковы пароль |
| Ці можна выпраўляць памылкі наживую? | Няправільнае імя, што паўтараецца гадзіну, шкодзіць па-сапраўднаму. | Жывыя выпраўленні для кожнага слухача |
| Адкуль можа быць гук? | Вашу наладу не трэба мяняць пад інструмент. | Мікрафон, пашырэнні для браўзера, настольная праграма, OBS, RTMP, спасылкі на патокі |
| Ці ёсць API? | Вам могуць патрэбны субцітры ўнутры ўласнага прадукту. | REST і WebSocket API, SDK, MCP-сервер, тая ж стаўка, што ў Dashboard |
| Як ён цэніцца? | Цана за слухача або за месца расце разам з аўдыторыяй. | За секунду гуку; слухачы і мовы бясплатныя |
У VocalStack вы плаціце за секунду транскрыбаванага гуку. На момант напісання жывая транскрыпцыя каштуе $0.60 за гадзіну, а файлы $0.20 за гадзіну, у кожным плане, і ў Dashboard, і праз API. Пераклад, галасы, рэзюмэ, трансляцыя і слухачы ніколі не павялічваюць рахунак, таму гадзінны даклад, які чытаюць 200 чалавек на пяці мовах, каштуе тыя ж $0.60, што і даклад, які не чытае ніхто.
Планы адрозніваюцца некалькімі рэчамі:
Калі нікому не трэба чытаць у момант прамаўлення, загрузіце запіс потым па стаўцы для файлаў. Бягучыя цэны, захоўванне і абмежаванні для кожнага плана ёсць на старонцы цэн.
Новы ўліковы запіс VocalStack мае стартавы крэдыт у $5 і не патрабуе карты. Па $0.60 за гадзіну гэта каля васьмі гадзін жывой транскрыпцыі з перакладам і трансляцыяй. Потым вы плаціце за секунду. Слухачы заўсёды бясплатныя.
Так. Жывую транскрыпцыю можна перакласці на да 10 моў адначасова, пакуль чалавек гаворыць. Пераклад з'яўляецца праз секунду-дзве пасля тэксту арыгінала, і кожны слухач выбірае сваю мову.
Гэта залежыць галоўным чынам ад гуку. Блізкі мікрафон або сігнал з пульта, мала фонавага шуму, адзін гаворыць у момант і reference script з імёнамі даюць лепшыя вынікі. Жывыя выпраўленні дазваляюць гаспадару выправіць тое, што ўсё яшчэ няправільна, пакуль выступ ідзе.
Тэкст на мове арыгінала адстае ад прамоўцы на долі секунды, а пераклады прыходзяць праз секунду-дзве. Публічны паток дадае ўласную затрымку, перш чым гук дойдзе да VocalStack.
Так, праз пашырэнне для Chrome або Edge, убудову для OBS Studio або Dashboard у браўзеры. Настольная праграма сёння на macOS, а Windows хутка з'явіцца.
Не. Слухачы адкрываюць спасылку трансляцыі або скануюць яе QR-код у браўзеры, выбіраюць мову і чытаюць. Нічога не трэба ўсталёўваць.
Адкрыйце Dashboard, пачніце жывую транскрыпцыю з мікрафона і адкрыйце спасылку яе трансляцыі на тэлефоне. Стартавага крэдыту хопіць на першыя гадзіны, і вы самі ўбачыце, як чарнавікі ператвараюцца ў канчатковыя радкі, а пераклад іх даганяе.