Транскрибування й переклад у реальному часі: як працює живе перетворення мовлення на текст, наскільки воно відстає, що впливає на точність і скільки коштує.
Транскрибування в реальному часі перетворює мовлення на текст, поки людина ще говорить. Слова з'являються на екрані за мить після вимови, застигають в остаточних рядках, і їх може читати кожен, хто стежить. Додайте переклад у реальному часі, і кожен читач зможе стежити за тим самим мовленням своєю мовою, текстом чи в озвучці.
Цей посібник розглядає транскрибування й переклад у реальному часі з обох боків: що бачить слухач, звідки може надходити звук, що визначає точність, що розробники отримують від API і скільки це все коштує.
Транскрибування в реальному часі, яке ще називають живим транскрибуванням або живим перетворенням мовлення на текст, це розпізнавання мовлення, що працює, поки звук ще надходить. Записаний файл можна транскрибувати, маючи під рукою весь запис. Живе транскрибування мусить фіксувати слова, спираючись лише на останні кілька секунд, і встигати за мовцем, поки той говорить.
Живі субтитри це те саме, показане короткими рядками поверх відео чи на екрані.
У VocalStack живе транскрибування може слухати 100 мовами. Воно саме визначає мову мовлення і слідує за мовцем, якщо він перемикається, це пояснює стаття Як працює автоматичне визначення мови, а також коли варто вказати мову наперед.
Текст надходить у два етапи. Найновіші слова спершу з'являються як чернетка, яка ще може змінитися, коли надійде більше звуку. За мить чернетка застигає в остаточний рядок, що більше не змінюється.
Чернетка існує тому, що розпізнавач вирішує, яке це слово, почасти за тим, що йде за ним. «Ice cream» і «I scream» звучать однаково, доки не прийде наступне слово. Ранній показ здогадки і створює відчуття живого транскрипту.
Наскільки текст відстає від мовця, залежить від етапу:
Дві затримки лежать поза цим ланцюжком. Коли джерело це публічний потік, а не мікрофон, сам потік уже відстає від свого живого краю: на секунду-три для звичайного інтернет-радіо і від кількох секунд до півхвилини для HLS. А на Pay as you go живе транскрибування може стартувати до 15 секунд. Повну розбивку, зокрема режими затримки Auto, Fast і Accuracy, наведено у статті Затримка живого перекладу: пояснення.
Переклад іде поверх транскрипту. Живе транскрибування можна перекладати на до 10 мов одночасно, обраних зі 100. Кожен слухач обирає одну з них на своєму пристрої й може змінити її будь-коли; транскрипт до цього місця знову показується новою мовою.
Кожна мова перекладається з того самого транскрипту, тож усі слухачі отримують ті самі слова, а виправлення доходить до кожного.
Слухач, який воліє слухати, а не читати, може мати кожен перекладений рядок зачитаним уголос. За замовчуванням кожен мовець отримує окремий готовий голос, що відповідає статі, тож панель і далі звучить як кілька людей. За згоди мовця ведучий може клонувати його голос приблизно з 30 секунд його мовлення наодинці, і переклад тоді зачитується його власним голосом.
Правило для голосів навмисно вузьке. Голос читає лише те, що сказала та сама людина, перекладене мовою, яку обрав слухач. Він ніколи не читає текст, який хтось набрав, і ніколи не читає слова одного мовця голосом іншого.
Як це працює для цілого залу, від налаштування ведучого до слухача, що запізнився, описано в статті Одне посилання, усі мови.
Живому транскрибуванню потрібне джерело звуку. Ось які джерела VocalStack приймає сьогодні:
Субтитри у власному програвачі YouTube через кнопку CC незабаром з'являться. До того глядачі потоку YouTube стежать за субтитрами за посиланням трансляції.
Якщо живе транскрибування потрібне на Windows уже сьогодні, там працюють розширення для Chrome чи Edge, плагін OBS і Dashboard у браузері.
Трансляція це спосіб, яким інші стежать за живим транскрибуванням. Це одне посилання і QR-код. Слухачі відкривають його в браузері, обирають мову й читають. Їм не потрібен акаунт, вони нічого не встановлюють і нічого не коштують: рахунок не змінюється від кількості слухачів чи мов.
Трансляція за замовчуванням публічна і може бути захищена паролем. Якщо ви перейменуєте її посилання, старе продовжить працювати, тож QR-код, надрукований у програмі, не застаріє. Одна трансляція може вести кілька живих транскрибувань, тож дві сцени можуть ділити одне посилання.
Слухач, який прийшов пізно, бачить усе сказане до його приходу, а потім стежить наживо. Згодом вид Audience показує, хто слухав, якою мовою і коли приєднався.
Для заходів чекліст багатомовної конференції охоплює звук, сцени та бюджет, а транскрибування наживо для церков, лекційних залів і залів засідань рад охоплює щотижневий варіант того самого налаштування.
Усе перелічене вище можна зробити з коду. Для живого звуку у вашому застосунку в API є сесії реального часу: ваш сервер робить один виклик POST /v1/realtime/sessions з ключем API і отримує короткочасний streamUrl. Ваш клієнт відкриває до нього WebSocket, надсилає сирий звук у міру захоплення і читає транскрипт назад у вигляді кадрів JSON.
Кадри слідують тим самим двом етапам, які бачить читач. transcript.draft замінює живий хвіст, transcript.committed додає остаточний рядок, а за ввімкненого перекладу надходять цілі речення з доданими перекладами. Цільові мови, мітки мовців і режим затримки можна змінювати посеред сесії через session.update.
Сесія реального часу нічого не зберігає. Коли ви хочете, щоб слова зберігалися, виправлялися й показувалися аудиторії, ви натомість публікуєте звук у живе транскрибування й трансляцію. Офіційні SDK для TypeScript, Python і PHP обгортають і те, і те, а сервер MCP дає змогу ШІ-асистентові користуватися тим самим акаунтом.
Посібник з WebSocket крок за кроком будує робочий вид субтитрів, а в довіднику API є кожне поле. Використання API оплачується за тією самою ставкою, що й у Dashboard.
Точність визначається здебільшого до того, як запрацює будь-який розпізнавач, звуком, який йому дають. Найбільше значать чотири речі.
Мікрофон. Мікрофон біля мовця чи сигнал із мікшерного пульта майданчика несе голос з невеликою домішкою залу. Телефон на столі чує мовця плюс луну, стільці й кашель. Це найважливіший окремий чинник, а чому телефона замало для залу пояснює причини.
Шум і накладання голосів. Фоновий шум спричиняє пропущені слова та вигадані, а двоє мовців одночасно плутають і слова, і те, хто їх сказав. Помилки транскрибування аудіо перелічує сім поширених причин, як виглядає кожна і як її виправити.
Довідковий скрипт. Загальновідомі імена й терміни розпізнаються як є. Назви продуктів компанії, внутрішні абревіатури чи незвичайне прізвище гостя наперед невідомі, тому до початку додайте скрипт або слайди, і імена та терміни з них будуть записані саме так, як ви їх написали.
Мітки мовців. Мітки можуть бути Off, On чи When Needed, що вмикає їх, коли чути другого мовця. Діаризація й розпізнавання мовлення пояснює, що дві відповіді, що було сказано і хто це сказав, розділені й виправляються окремо.
Режим затримки теж важливий: Fast видає текст раніше, але більше його переглядає, Accuracy чекає трохи довше.
Одне число точності говорить менше, ніж здається. Частка помилок у словах рахує неправильне ім'я так само, як пропущене «the», тому стаття Що вимірює частка помилок у словах і що вона пропускає пропонує оцінювати систему за тим, які помилки вона дає помітити й виправити.
Жоден живий транскрипт не ідеальний, тому на екрані ведучого є вкладка Fix. Вона може позначати слова, у яких розпізнавач не був упевнений, а будь-який рядок можна відкрити й виправити. Друга людина за пультом може опрацьовувати їх, поки мовець продовжує.
Коли ведучий переписує слово чи рядок, навіть той, що ще вимовляється, кожен слухач бачить виправлення кожною мовою. Рядок, почутий із надто малою впевненістю, приховується від слухачів як «Audio unclear», а не показується з помилкою; ведучий усе одно його бачить.
Запис зберігається разом із транскриптом, виправленнями й перекладами. Потім ви можете:
Як довго зберігаються звук і транскрипти, залежить від тарифу, і сторінка цін це перелічує.
Більшість інструментів живого транскрибування виглядають однаково в демонстрації; відмінності проявляються у запитаннях нижче. Права колонка описує VocalStack таким, яким він є сьогодні.
| Запитання | Чому це важливо | VocalStack |
|---|---|---|
| Які мови він може чути? | Інструмент, що не транскрибує мову мовця, марний, яким би добрим не був його переклад. | 100 мов, визначаються автоматично, з перемиканням посеред мовлення |
| Наскільки текст відстає від мовця? | Читачі помічають зростаючий розрив сильніше, ніж випадкове неправильне слово. | Текст оригіналу на частку секунди позаду, переклад через секунду чи дві; три режими затримки |
| Чи перекладає він і хто обирає мову? | Одна мова субтитрів на одному екрані залишає за бортом усіх інших. | До 10 мов на транскрибування, кожен слухач обирає свою |
| Чи може він озвучити переклад? | Деякі слухачі не можуть читати або воліють цього не робити. | За замовчуванням готові голоси; власний клонований голос мовця за його згоди |
| Як аудиторія це отримує? | Застосунки й акаунти втрачають людей на вході. | Одне посилання та QR-код, без акаунта, необов'язковий пароль |
| Чи можна виправляти помилки наживо? | Неправильно почуте ім'я, що повторюється годину, завдає реальної шкоди. | Живі виправлення, які доходять до кожного слухача |
| Звідки може надходити звук? | Ваша схема не повинна змінюватися під інструмент. | Мікрофон, розширення для браузерів, застосунок для комп'ютера, OBS, RTMP, посилання на потоки |
| Чи є API? | Вам можуть знадобитися субтитри всередині вашого продукту. | REST і WebSocket API, SDK, сервер MCP, та сама ставка, що й у Dashboard |
| Як формується ціна? | Ціна за слухача чи місце зростає разом з вашою аудиторією. | За секунду звуку; слухачі й мови безкоштовні |
У VocalStack ви платите за секунду транскрибованого звуку. На момент написання живе транскрибування коштує $0.60 за годину, а файли $0.20 за годину, на будь-якому тарифі, у Dashboard і через API однаково. Переклад, голоси, підсумки, трансляція та слухачі ніколи не збільшують рахунок, тож годинний виступ, який читають 200 людей п'ятьма мовами, коштує ті самі $0.60, що й той, який ніхто не читає.
Тарифи відрізняються кількома способами:
Якщо нікому не потрібно читати в процесі, завантажте запис пізніше за ставкою для файлів. Актуальні ціни, терміни зберігання та ліміти кожного тарифу є на сторінці цін.
Новий акаунт VocalStack отримує $5 кредиту за реєстрацію, картка не потрібна. За $0.60 на годину це приблизно вісім годин живого транскрибування, з перекладом і трансляцією. Далі ви платите за секунду. Слухачі завжди безкоштовні.
Так. Живе транскрибування можна перекладати на до 10 мов одночасно, поки людина говорить. Переклад з'являється через секунду чи дві після тексту оригіналу, і кожен слухач обирає свою мову.
Це залежить здебільшого від звуку. Найкращі результати дають близький мікрофон чи сигнал із пульта, мало фонового шуму, один мовець за раз і довідковий скрипт з іменами. Живі виправлення дають ведучому змогу поправити те, що ще хибне, поки виступ триває.
Текст мовою оригіналу відстає від мовця на частку секунди, а переклади йдуть через секунду чи дві. Публічний потік додає свою затримку до того, як звук досягне VocalStack.
Так, через розширення для Chrome чи Edge, плагін OBS Studio або Dashboard у браузері. Застосунок для комп'ютера поки що лише на macOS, Windows незабаром.
Ні. Слухачі відкривають посилання трансляції чи сканують її QR-код у браузері, обирають мову й читають. Нічого встановлювати не потрібно.
Відкрийте Dashboard, запустіть живе транскрибування з мікрофона й відкрийте посилання його трансляції на телефоні. Кредиту за реєстрацію вистачить на перші години, і ви самі побачите, як чернетки застигають, а переклад іде слідом.