Точността на превода на живо до голяма степен се решава, преди който и да е модел да заработи – от това къде е микрофонът. Вземете звука от микшерния пулт, а не от място на дванадесетия ред, транскрибирайте го веднъж и грешката става един ред, който някой може да поправи за всички.
Приложенията за превод, вградени в телефоните, са истинско постижение. Често работят с модел за реч, достатъчно малък, за да се побере в устройството и в батерията му (някои предават звука на сървър, когато има връзка), и за кратки, ясни, ежедневни изречения вършат работа: питане за посока, четене на меню, разговор на гише.
Стая, пълна с хора, които слушат един говорител, е различен проблем. Нещата, които се объркват в реалната реч, са точно тези, с които малкият модел се справя най-зле: редки думи и имена, думи, които звучат еднакво („their“ и „there“, „sail“ и „sale“), технически термини, акценти, хора, които говорят едновременно, и фонов шум. В яхтен клуб модел, който чува „sale“ вместо „sail“, е направил разумно предположение и уверена грешка.
Две неща карат малкия модел да предполага повече от голям. Той е компресиран, за да се побере в телефона, затова знае по-малко думи и по-малко начини да ги изрече; когато срещне фамилно име, което не е виждал, го приближава само по звука. Освен това при разпознаването на живо моделът трябва да се ангажира с една дума, преди останалата част от изречението да е пристигнала, така че не може да използва онова, което би решило между „sail“ и „sale“: думите, които идват след нея, или сценарий, който казва за какво е говорът. При разпознаването на реч контекстът означава точно тези две неща: заобикалящите думи и това, което е известно предварително.
Когато моделът не е сигурен, той предполага. Преводът тогава се гради върху предположението, а човекът, който го чете, няма как да разбере. Никой в залата не може да види, че даден ред е грешен, а още по-малко да го поправи. И залата не е един слушател, а петдесет.
Телефонът чува залата, а не говорителя. Причината е разстоянието: петличният или бюрният микрофон е на няколко сантиметра от устата, докато телефонът на дванадесетия ред е на десет метра или повече, а по-голямата част от звука, който го достига, първо се е отразила от стените, тавана и гърбовете на столовете. Отразеният звук пристига късно и размазан. Към това телефонът улавя и човека, който кашля два реда назад, шепота на съседа и онова, което озвучителите правят с гласа по пътя му през залата. Всяко място получава малко по-различен запис и затова всяко място получава малко по-различен транскрипт.
Телефонът превежда и за един човек. Петдесет души с петдесет телефона в ръце дават петдесет независими транскрипта на един и същи разговор, с петдесет различни набора от грешки. Двама души, които след това сверяват записките си, няма да се съгласят какво е било казано. Говорителят пък обръща думите си към стена от вдигнати телефони, а това е трудна публика за четене.
За някои хора в залата това е повече от неудобство; то решава дали изобщо могат да следят разговора. Човек със слухов проблем или някой, който следи на трети език, има нужда от един правилен общ текст, а не от петдесет най-добри опита. Затова говорителят се транскрибира веднъж и всички получават един и същи резултат. Транскрибирането веднъж се изплаща само ако е направено добре, а това започва с въпроса откъде идва звукът.
Транскриптът е толкова добър, колкото е звукът, от който е направен. Затова първото решение не е кой модел да се използва, а какъв сигнал да му се подаде. Второто е какво да му се каже, преди да започне.
Транскрипцията на живо взима звука от мястото, където чистият сигнал вече съществува:
VocalStack сам дърпа URL поток, така че от ваша страна нищо не трябва да работи. RTMP потокът е обратният случай: вашето кодиращо устройство го изпраща. Езикът на говорителя се определя автоматично и той може да смени езика по всяко време. Ако знаете езика, а записът е шумен или с силен акцент, посочването му подобрява точността.
Чистият звук премахва грешките, причинени от залата. За грешките, причинени от думите, той не помага – те изискват друг вид помощ.
Телефонът няма представа кой говори или за какво е разговорът, така че името на продукт или фамилното име са просто още един звук, който трябва да се приближи. Излъчването може да бъде предупредено предварително.
Ако добавите сценарий или слайдове преди да започнете, имената и термините в тях надделяват над това, което системата е чула грешно. По време на записа табът Script следва говорителя като телесуфлер. Това е най-голямото единично подобрение на точността за речта, която изпълва конференциите и лекциите: пълна с думи и собствени имена, които никой общ модел не е чувал достатъчно често.
Добрият звук и глосарият премахват повечето грешки. Въпросът е какво се случва с грешките, които остават.
Дори с добър звук и сценарий някои редове ще излязат грешни. Разликата е какво се случва после.
На телефон – нищо. Грешният ред изчезва и преводът, построен върху него, изчезва с него.
В излъчване ред, който е твърде неясен, за да си струва показването му, се скрива от слушателите като „Audio unclear“, вместо да бъде представен като факт.
После е домакинът, който разполага с таба Fix: думите, в които двигателят не е бил сигурен, могат да бъдат оцветени и подчертани, с клик се отваря ред за преглед, а всяка дума или ред може да бъде преписан, докато транскрипцията е още на живо. Всеки слушател вижда поправката на своя език. Всяка поправка е маркирана и може да бъде отменена.
Въпросът не е в това, че сървърът никога не греши. А в това, че грешката е видима, принадлежи на някого в залата и е поправена веднъж за всички.
Поправките оправят това, което слушателите четат. Слушателите, които предпочитат да чуят разговора, получават същия поправен текст – изговорен.
Слушател, който предпочита да слуша, а не да чете, може да накара всеки преведен ред да бъде прочетен на глас. По подразбиране всеки говорител получава отделен стандартен глас със съответстващ пол, така че панелът все още звучи като панел. Можете да зададете глас на всеки говорител или да заглушите някой от тях.
С разрешението на говорителя можете да стигнете и по-далеч – да клонирате гласа му от тридесет секунди негова реч, качени като клип или взети директно от говорител в запис; няколко минути дават по-добър резултат. Преводът тогава се чете с гласа на говорителя на всеки език. Говорител със запазен глас може да бъде разпознат и в по-късни записи, но системата по-скоро ще остави говорителя без име, отколкото да назове грешния човек.
Прилагат се две правила и те са умишлени. Клонираният глас е биометрични данни: създава се само със изричното съгласие на говорителя и може да бъде изтрит по всяко време. А гласът говори единствено транскрипт или негов превод; не може да бъде накаран да каже нещо, което собственикът му не е казал.
Всичко дотук се случва, докато говорителят говори. Последната разлика се вижда, след като той спре.
Петдесетте транскрипта от телефоните се изпаряват, когато приложенията се затворят. Излъчването запазва записа в библиотеката ви: аудиото и транскрипта с всички поправки и преводи. Там той може да се възпроизвежда ред по ред, да се търси на всеки език и да се експортира. Обиколката в Един линк, всички езици описва какво прави библиотеката. Слушателите не струват нищо, колкото и да са. Плащате за аудиото, което е транскрибирано – $0.60 на час за живо, с минимум 5 минути за транскрипция – а страницата с цените съдържа тарифата.
Телефонът във всяка ръка си остава добра резервна опция за разговор в коридора. За стая, която трябва да разбере един говорител заедно, говорителят трябва да бъде транскрибиран веднъж, от източника, с някой, който може да поправи грешките. Можете да видите как изглежда това в интерактивната демонстрация на началната страница.
