Транскрибация и перевод в реальном времени: как работает живое преобразование речи в текст, насколько оно отстаёт, что влияет на точность и сколько стоит.
Транскрибация в реальном времени превращает речь в текст, пока человек ещё говорит. Слова появляются на экране через мгновения после произнесения, застывают в окончательных строках, и их может читать любой, кто следит. Добавьте перевод в реальном времени, и каждый читатель сможет следить за той же речью на своём языке, текстом или в озвучке.
Это руководство рассматривает транскрибацию и перевод в реальном времени с обеих сторон: что видит слушатель, откуда может поступать звук, что определяет точность, что разработчики получают от API и сколько всё это стоит.
Транскрибация в реальном времени, её же называют живой транскрибацией или живым преобразованием речи в текст, это распознавание речи, которое работает, пока звук ещё поступает. Записанный файл можно транскрибировать, имея на руках всю запись целиком. Живая транскрибация должна фиксировать слова, опираясь лишь на последние несколько секунд, и поспевать за говорящим всё то время, пока он говорит.
Живые субтитры это то же самое, показанное короткими строками поверх видео или на экране.
В VocalStack живая транскрибация может слушать на 100 языках. Она сама определяет язык речи и следует за говорящим, если он переключается, это объясняет статья Как работает автоматическое определение языка, а также когда стоит указать язык заранее.
Текст приходит в два этапа. Самые новые слова сначала появляются как черновик, который ещё может измениться, когда поступит больше звука. Через мгновение черновик застывает в окончательной строке, которая больше не меняется.
Черновик существует потому, что распознаватель решает, какое это слово, отчасти по тому, что идёт за ним. «Ice cream» и «I scream» звучат одинаково, пока не придёт следующее слово. Ранний показ догадки как раз и создаёт ощущение живого транскрипта.
Насколько текст отстаёт от говорящего, зависит от этапа:
Две задержки находятся вне этой цепочки. Когда источник это публичный поток, а не микрофон, сам поток уже отстаёт от своего живого края: на секунду-три для обычного интернет-радио и от нескольких секунд до получаса для HLS. А на Pay as you go живая транскрибация может стартовать до 15 секунд. Полная разбивка, включая режимы задержки Auto, Fast и Accuracy, есть в статье Задержка живого перевода: объяснение.
Перевод идёт поверх транскрипта. Живую транскрибацию можно переводить на до 10 языков одновременно, выбранных из 100. Каждый слушатель выбирает один из них на своём устройстве и может сменить его в любой момент; транскрипт до этого места снова показывается на новом языке.
Каждый язык переводится с одного и того же транскрипта, поэтому все слушатели получают одни и те же слова, а исправление доходит до каждого.
Слушателю, который предпочитает слушать, а не читать, каждую переведённую строку можно зачитывать вслух. По умолчанию каждому говорящему достаётся отдельный готовый голос, подходящий по полу, поэтому панель по-прежнему звучит как несколько человек. С согласия говорящего ведущий может клонировать его голос по примерно 30 секундам его речи в одиночку, и перевод тогда зачитывается его собственным голосом.
Правило для голосов намеренно узкое. Голос читает только то, что сказал тот же самый человек, переведённое на язык, выбранный слушателем. Он никогда не читает текст, который кто-то набрал, и никогда не читает слова одного говорящего голосом другого.
Как это работает для целого зала, от настройки ведущего до опоздавшего слушателя, описано в статье Одна ссылка, все языки.
Живой транскрибации нужен источник звука. Вот какие источники VocalStack принимает сегодня:
Субтитры в собственном плеере YouTube через кнопку CC скоро появятся. До тех пор зрители потока YouTube следят за субтитрами по ссылке трансляции.
Если живая транскрибация нужна на Windows уже сегодня, там работают расширение для Chrome или Edge, плагин OBS и Dashboard в браузере.
Трансляция это способ, которым другие следят за живой транскрибацией. Это одна ссылка и QR-код. Слушатели открывают её в браузере, выбирают язык и читают. Им не нужен аккаунт, они ничего не устанавливают и ничего не стоят: счёт не меняется от числа слушателей или языков.
Трансляция по умолчанию публичная и может быть защищена паролем. Если вы переименуете её ссылку, старая продолжит работать, поэтому QR-код, напечатанный в программе, не устареет. Одна трансляция может вести несколько живых транскрибаций, так что две сцены могут делить одну ссылку.
Слушатель, пришедший поздно, видит всё сказанное до его прихода, а затем следит вживую. Потом вид Audience показывает, кто слушал, на каком языке и когда подключился.
Для мероприятий чек-лист многоязычной конференции охватывает звук, сцены и бюджет, а транскрибация в реальном времени для церквей, лекториев и залов заседаний охватывает еженедельный вариант той же настройки.
Всё перечисленное выше можно сделать из кода. Для живого звука в вашем приложении в API есть сессии реального времени: ваш сервер делает один вызов POST /v1/realtime/sessions с ключом API и получает короткоживущий streamUrl. Ваш клиент открывает к нему WebSocket, отправляет сырой звук по мере захвата и читает транскрипт обратно в виде кадров JSON.
Кадры следуют тем же двум этапам, которые видит читатель. transcript.draft заменяет живой хвост, transcript.committed добавляет окончательную строку, а при включённом переводе приходят целые предложения с приложенными переводами. Целевые языки, метки говорящих и режим задержки можно менять посреди сессии через session.update.
Сессия реального времени ничего не хранит. Когда вы хотите сохранить слова, исправить их и показать аудитории, вы вместо этого публикуете звук в живую транскрибацию и трансляцию. Официальные SDK для TypeScript, Python и PHP оборачивают и то и другое, а сервер MCP позволяет ИИ-ассистенту пользоваться тем же аккаунтом.
Руководство по WebSocket шаг за шагом строит рабочий вид субтитров, а в справочнике API есть каждое поле. Использование API оплачивается по той же ставке, что и в Dashboard.
Точность определяется главным образом до того, как заработает любой распознаватель, тем звуком, который ему дают. Больше всего значат четыре вещи.
Микрофон. Микрофон рядом с говорящим или сигнал с микшерного пульта площадки несёт голос с небольшой примесью зала. Телефон на столе слышит говорящего плюс эхо, стулья и кашель. Это самый важный отдельный фактор, а почему телефона недостаточно для зала объясняет причины.
Шум и наложение голосов. Фоновый шум вызывает пропущенные слова и придуманные, а двое говорящих одновременно путают и слова, и то, кто их сказал. Ошибки транскрибации аудио перечисляет семь частых причин, как выглядит каждая и как её исправить.
Справочный сценарий. Общеизвестные имена и термины распознаются как есть. Названия продуктов компании, внутренние аббревиатуры или необычная фамилия гостя заранее неизвестны, поэтому до начала добавьте сценарий или слайды, и имена и термины из них будут записаны именно так, как вы их написали.
Метки говорящих. Метки могут быть Off, On или When Needed, что включает их, когда слышен второй говорящий. Диаризация и распознавание речи объясняет, что два ответа, что было сказано и кто это сказал, разделены и исправляются отдельно.
Режим задержки тоже важен: Fast выдаёт текст раньше, но пересматривает его больше, Accuracy ждёт чуть дольше.
Одно число точности говорит меньше, чем кажется. Доля ошибок в словах считает неверное имя так же, как пропущенное «the», поэтому статья Что измеряет доля ошибок в словах и что она упускает предлагает оценивать систему по тому, какие ошибки она позволяет заметить и исправить.
Ни один живой транскрипт не идеален, поэтому на экране ведущего есть вкладка Fix. Она может отмечать слова, в которых распознаватель не был уверен, а любую строку можно открыть и исправить. Второй человек за пультом может разбирать их, пока говорящий продолжает.
Когда ведущий переписывает слово или строку, даже ту, что ещё произносится, каждый слушатель видит исправление на каждом языке. Строка, услышанная со слишком малой уверенностью, скрывается от слушателей как «Audio unclear», а не показывается с ошибкой; ведущий всё равно её видит.
Запись сохраняется вместе с транскриптом, исправлениями и переводами. Затем вы можете:
Как долго хранятся звук и транскрипты, зависит от тарифа, и страница с ценами это перечисляет.
Большинство инструментов живой транскрибации выглядят одинаково в демонстрации; различия проявляются в вопросах ниже. Правый столбец описывает VocalStack таким, какой он сегодня.
| Вопрос | Почему это важно | VocalStack |
|---|---|---|
| Какие языки он может слышать? | Инструмент, который не транскрибирует язык говорящего, бесполезен, как бы хорош ни был его перевод. | 100 языков, определяются автоматически, с переключением посреди речи |
| Насколько текст отстаёт от говорящего? | Читатели замечают растущий разрыв сильнее, чем случайное неверное слово. | Исходный текст на долю секунды позади, перевод через секунду или две; три режима задержки |
| Переводит ли он и кто выбирает язык? | Один язык субтитров на одном экране оставляет за бортом всех остальных. | До 10 языков на транскрибацию, каждый слушатель выбирает свой |
| Может ли он озвучить перевод? | Некоторые слушатели не могут читать или предпочитают не читать. | По умолчанию готовые голоса; собственный клонированный голос говорящего с его согласия |
| Как аудитория это получает? | Приложения и аккаунты теряют людей на входе. | Одна ссылка и QR-код, без аккаунта, необязательный пароль |
| Можно ли исправлять ошибки вживую? | Неверно услышанное имя, повторяемое час, наносит реальный вред. | Живые исправления, доставляемые каждому слушателю |
| Откуда может поступать звук? | Ваша схема не должна меняться под инструмент. | Микрофон, расширения для браузеров, приложение для компьютера, OBS, RTMP, ссылки на потоки |
| Есть ли API? | Вам может понадобиться субтитрирование внутри вашего продукта. | REST и WebSocket API, SDK, сервер MCP, та же ставка, что и в Dashboard |
| Как формируется цена? | Цена за слушателя или за место растёт вместе с вашей аудиторией. | За секунду звука; слушатели и языки бесплатны |
В VocalStack вы платите за секунду транскрибированного звука. На момент написания живая транскрибация стоит $0.60 в час, а файлы $0.20 в час, на любом тарифе, в Dashboard и через API одинаково. Перевод, голоса, сводки, трансляция и слушатели никогда не увеличивают счёт, поэтому часовое выступление, которое читают 200 человек на пяти языках, стоит те же $0.60, что и то, которое никто не читает.
Тарифы различаются несколькими способами:
Если никому не нужно читать в процессе, загрузите запись позже по ставке за файлы. Актуальные цены, сроки хранения и лимиты каждого тарифа указаны на странице с ценами.
Новый аккаунт VocalStack получает $5 кредита при регистрации, карта не нужна. По $0.60 в час это около восьми часов живой транскрибации, с переводом и трансляцией. Дальше вы платите за секунду. Слушатели всегда бесплатны.
Да. Живую транскрибацию можно переводить на до 10 языков одновременно, пока человек говорит. Перевод появляется через секунду или две после исходного текста, и каждый слушатель выбирает свой язык.
Это зависит главным образом от звука. Лучшие результаты дают близкий микрофон или сигнал с пульта, мало фонового шума, один говорящий за раз и справочный сценарий с именами. Живые исправления позволяют ведущему поправить то, что всё ещё неверно, пока выступление продолжается.
Текст на исходном языке отстаёт от говорящего на долю секунды, а переводы следуют через секунду или две. Публичный поток добавляет свою задержку до того, как звук достигнет VocalStack.
Да, через расширение для Chrome или Edge, плагин OBS Studio или Dashboard в браузере. Приложение для компьютера пока только на macOS, Windows скоро.
Нет. Слушатели открывают ссылку трансляции или сканируют её QR-код в браузере, выбирают язык и читают. Ничего устанавливать не нужно.
Откройте Dashboard, запустите живую транскрибацию с микрофона и откройте ссылку её трансляции на телефоне. Кредита при регистрации хватит на первые часы, и вы сами увидите, как черновики застывают, а перевод следует за ними.