Точність перекладу наживо здебільшого визначається ще до роботи будь-якої моделі, а саме тим, де стоїть мікрофон. Беріть звук із мікшерного пульта, а не з місця в дванадцятому ряду, розпізнайте його один раз, і помилка стане одним рядком, який хтось може виправити для всіх.
Вбудовані в телефони застосунки для перекладу — справжнє досягнення. Часто вони працюють на моделі мовлення, достатньо малій, щоб вміститися в пристрій і не сильно витрачати батарею (деякі передають аудіо на сервер, коли є з’єднання). Для коротких, чітких, побутових фраз вони справляються добре: запитати дорогу, прочитати меню, розмова через прилавок.
Зала, де багато людей слухають одного мовця, — це інша задача. Найгірше в живій мові якраз те, з чим мала модель справляється найгірше: незвичні слова й імена, слова, що звучать однаково («their» і «there», «sail» і «sale»), технічні терміни, акценти, люди, які говорять одночасно, і фоновий шум. У яхт-клубі модель, яка почула «sale» замість «sail», зробила розумне припущення і впевнено помилилася.
Є дві причини, чому мала модель вгадує частіше за велику. По-перше, її стиснули, щоб вона вмістилася в телефон, тож вона знає менше слів і менше способів їх вимовити; прізвище, якого вона не зустрічала, вона відтворює лише за звуками. По-друге, жива система розпізнавання мусить обрати слово раніше, ніж дочитується решта речення, тож модель не може скористатися тим, що вирішило б між «sail» і «sale»: наступними словами або сценарієм, який каже, про що виступ. У розпізнаванні мовлення контекст — це якраз ці дві речі: навколишні слова і те, що відомо заздалегідь.
Коли модель не впевнена, вона вгадує. Переклад тоді будується на цій здогадці, а людина, яка його читає, не може цього помітити. Ніхто в залі не бачить, що рядок був хибним, а тим більше не може його виправити. І слухачів у залі не один, а п’ятдесят.
Телефон чує зал, а не мовця. Причина в відстані: петличний або настільний мікрофон стоїть за кілька сантиметрів від рота, а телефон у дванадцятому ряду — за десять метрів або далі, і більшість звуку, що до нього доходить, спершу відбилося від стін, стелі та спинок крісел. Відбитий звук приходить із запізненням і розмитий. Крім того, телефон ловить кашель на два ряди позаду, шепіт сусіда і те, що гучномовці роблять із голосом на шляху через залу. Кожне місце отримує трохи інший запис, тож і транскрипт у кожного трохи інший.
Телефон також перекладає лише для однієї людини. П’ятдесят слухачів із п’ятдесятьма телефонами дають п’ятдесят незалежних транскриптів того самого виступу з п’ятдесятьма різними наборами помилок. Двоє людей, які потім порівнюють нотатки, не погодяться щодо того, що було сказано. А мовець тим часом виступає перед стіною піднятих телефонів, і читати таку аудиторію важко.
Для деяких людей у залі це більше, ніж незручність: від цього залежить, чи взагалі вони зможуть стежити за виступом. Слухачеві з порушенням слуху або тому, хто слідкує третьою мовою, потрібен один правильний спільний текст, а не п’ятдесят спроб на власний розсуд. Тож мовця треба розпізнати один раз і дати всім однаковий результат. Але розпізнавання один раз окупається, лише якщо його зроблено добре, а починається воно з того, звідки береться звук.
Транскрипт не може бути кращим за аудіо, з якого його зроблено. Тому перше рішення стосується не того, яку модель використати, а того, який сигнал їй подати. Друге — що сказати моделі до початку.
Транскрибування наживо бере звук звідти, де вже є чистий сигнал:
VocalStack сам забирає потік за URL, тож з вашого боку нічого не запускається. RTMP-потік працює навпаки: його надсилає ваш кодувальник. Мова мовця визначається автоматично, і мовець може змінювати мову будь-коли. Якщо ви знаєте мову, а запис шумний або з сильним акцентом, її вказання покращує точність.
Чистий звук прибирає помилки, спричинені приміщенням. На помилки через словниковий запас він не впливає, і для них потрібна інша допомога.
Телефон не знає, хто говорить і про що виступ, тож назва продукту чи прізвище для нього — просто ще один звук, який треба вгадати. Трансляцію ж можна заздалегідь попередити, чого чекати.
Якщо перед початком ви додасте сценарій або слайди, імена та терміни з них матимуть перевагу над тим, що рушій почув неправильно. Під час запису вкладка Script слідує за мовцем, як телесуфлер. Це найбільший одиничний приріст точності для мови, яка наповнює конференції й лекції: вона щільна від власних назв і термінів, яких загальні моделі чули недостатньо часто.
Добрий звук і глосарій прибирають більшість помилок. Питання в тому, що відбувається з рештою.
Навіть за хорошого звуку і зі сценарієм деякі рядки вийдуть неправильними. Різниця в тому, що відбувається далі.
На телефоні — нічого. Хибний рядок проноситься повз, а переклад, побудований на ньому, йде разом із ним.
У трансляції рядок, який надто неясний, щоб його показувати, приховується від слухачів як «Audio unclear», а не подається як факт.
Далі є вкладка Fix для ведучого: слова, в яких рушій був невпевнений, можна виділити кольором і підкреслити, клік відкриває рядок для перегляду, а будь-яке слово чи рядок можна переписати, поки транскрибування ще триває. Кожен слухач бачить виправлення своєю мовою. Кожне виправлення позначено, і його можна скасувати.
Річ не в тому, що сервер ніколи не помиляється. Річ у тому, що помилка видима, її веде хтось із людей у залі, і її виправлено раз для всіх.
Виправлення змінюють те, що читають слухачі. Ті, хто воліє слухати виступ, отримують той самий виправлений текст, але озвучений.
Слухач, якому зручніше слухати, ніж читати, може отримувати кожен перекладений рядок озвученим. За замовчуванням кожен мовець має окремий стандартний голос відповідної статі, тож панель і далі звучить як панель. Для кожного мовця можна призначити голос або вимкнути його.
За згоди мовця можна піти далі й клонувати його голос за тридцять секунд мови, завантаживши кліп або взявши мовлення прямо з мовця в запису; кілька хвилин дають кращий результат. Тоді переклад читається голосом самого мовця всіма мовами. Мовця зі збереженим голосом можна також розпізнати в наступних записах, хоча система краще залишить мовця без імені, ніж назве не того.
Діють два правила, і вони свідомі. Клонований голос — це біометричні дані: його створюють лише за явною згодою мовця, і його можна видалити будь-коли. А голос відтворює лише транскрипт або його переклад; його не можна змусити сказати те, чого його власник не казав.
Усе описане досі відбувається, поки мовець говорить. Остання відмінність з’являється після того, як він замовкає.
П’ятдесят транскриптів із телефонів зникають, щойно застосунки закриваються. Трансляція зберігає запис у вашій бібліотеці: аудіо та транскрипт з усіма виправленнями і перекладами. Там його можна відтворити рядок за рядком, шукати будь-якою мовою й експортувати; огляд того, що вміє бібліотека, є в статті Одне посилання, усі мови. Слухачі нічого не коштують, скільки б їх не було. Ви платите за транскрибоване аудіо: $0.60 за годину для транскрибування наживо, з мінімумом 5 хвилин на транскрибування, а в тарифах на сторінці цін є повна таблиця ставок.
Телефон у кожній руці однаково непоганий запасний варіант для розмови в коридорі. А для зали, яка має разом зрозуміти одного мовця, мовця треба розпізнати один раз, із джерела, і з кимось, хто може виправити те, що йде не так. Як це виглядає, можна побачити в інтерактивній демонстрації на головній сторінці.
