Транскрыпт з пазнакамі патрабуе правільных абодвух адказаў, а паколькі пазнакі ляжаць над словамі, няправільную можна выправіць, не чапаючы тэксту.
Транскрыпт сустрэчы адказвае адразу на два пытанні: што было сказана і хто гэта сказаў. Чытач бачыць адну задачу — імя побач з радком. Пад ёю ляжаць дзве праблемы, кожная са сваімі ўваходнымі данымі і сваімі спосабамі збою.
Распазнаванне маўлення слухае словы. Яно ператварае гук у тэкст і, калі зроблена добра, дае час пачатку і канца для кожнага слова. Яго не турбуе, ці змянілася гучанне голасу ў сярэдзіне сказа: яго задача — правільна перадаць сказ.
Дыярызацыя спікераў слухае голасы. Словаў яна не ведае. Яе задача — падзяліць часавую шкалу на рэплікі і сказаць, якія з іх належаць таму самому чалавеку: Спікер 1, Спікер 2. Слова паходзіць ад «diary» (дзённік), і гэта добры вобраз выніку: журнал таго, хто і калі меў слова.
Побач з ёй стаяць тры блізкія паняцці. Дыярызацыя кажа, хто з кім і калі гаварыў, не ведаючы ніводнага імя. Ідэнтыфікацыя спікера кажа, якому вядомаму чалавеку належыць маўленне, выбіраючы з набору зарэгістраваных галасоў. Вэрыфікацыя спікера адказвае на пытанне «так» або «не»: ці сапраўды гэты голас належыць асобе X? Заявы пастаўшчыкоў лягчэй зразумець, калі гэтыя тры рэчы трымаць асобна, бо «пазнакі спікераў» могуць азначаць што заўгодна: ад грубай здагадкі пра межы рэплік да імёнаў, якія ідуць за чалавекам з аднаго запісу ў наступны. Каб зразумець, што гэтыя пазнакі могуць і чаго не могуць абяцаць, варта зірнуць унутр дыярызатара.
Большасць сістэм дыярызацыі працуюць у тры крокі, і ніводзін з іх не мае справы з мовай.
Кожны крок можа памыліцца сам па сабе. Ціхі спікер губляецца. Два падобныя галасы зліваюцца. Адзін чалавек, які пераходзіць ад спакойнага да ўзбуджанага, раздзяляецца на два.
Галіна ацэньвае ўсё гэта па паказчыку diarization error rate, DER: доля часу маўлення, якая была прапушчана, памылкова прызнана маўленнем або прыпісана не таму спікеру, звычайна з дапушчальным допускам каля чвэрці секунды вакол кожнай мяжы. Гэты допуск існуе таму, што ніхто — ні чалавек, ні машына — не можа паставіць смену спікера з дакладнасцю да міллісекунды. Такая талерантнасць дапушчальная, калі ацэньваць дыярызатар асобна. Для транскрыпту яна не падыходзіць: мяжа, зрушаная на чвэрць секунды, трапляе на слова.
Тут сыходзяцца дзве праблемы, і тут вырашаецца якасць транскрыпту з пазнакамі. Дыярызатар ставіць свае межы з пэўнай няточнасцю, часта на долю секунды ў той ці іншы бок. Распазнавальнік размяшчае словы на той жа шкале. Калі накласці адно на другое без выпраўленняў, мяжа трапляе ўнутр слова, і палова «заўтра» належыць Спікеру 1, а другая палова — Спікеру 2.
Пазнакі таксама могуць некаторы час быць няправільнымі, перш чым стануць правільнымі. Дыярызатар становіцца ўпэўненейшым у сваіх групах, чым больш аўдыё ён пачуў, таму ранняя пазнака можа выглядаць няправільнай з пункту гледжання таго, што прыйдзе пазней. У жывым транскрыпце пазнаку можна перагледзець пасля таго, як радок ужо паказаны: API рэальнага часу VocalStack адпраўляе кадр transcript.amended, які выпраўляе тэкст або спікера зафіксаванага радка на месцы, таму чытач бачыць папраўку, а не супярэчнасць.
Нават добра размешчаная і ўстойлівая пазнака — усё роўна толькі лічба. Лічбы дастаткова, каб прасачыць размову; а чытаць людзі хочуць імя.
Пазнака становіцца імем двума спосабамі, і адзін будуецца на другім.
Першы — назва ўнутры аднаго запісу. Кожны спікер, якога знаходзіць транскрыбаванне, атрымлівае індэкс, пачынаючы з 0. Той, у каго ёсць доступ, можа назваць кожнага спікера падчас запісу або пасля яго. Імя — гэта слой над словамі, яго можна задаць, змяніць або сцерці, не чапаючы тэксту. Праз API гэта PUT /v1/recordings/{id}/speakers/{idx} з полем name; пусты name сцірае пазнаку. Радок, у якога speaker роўны -1, не мае пазнакі — альбо таму, што пазнакі былі выключаны, альбо, у жывым чарнавіку, таму што радок яшчэ не прыпісаны.
Другі — распазнаванне паміж запісамі, тая задача ідэнтыфікацыі, пра якую ішла гаворка ў першым раздзеле. Дыярызатар можа сказаць толькі, што два галасы розныя, але ніколі — хто яны. Каб ад «розныя» перайсці да «гэта Ана», сістэме патрэбны эталон: захаваны голас, узяты з запісу гэтай асобы. Мінімум — трыццаць секунд чыстага маўлення, лепш — некалькі хвілін. Узор таксама павінен гучаць як запісы, з якімі яго будуць параўноўваць: адзін і той жа чалавек на мікрафоне ноўтбука і на мікрафоне сцэны можа гучаць машыне менш падобна, чым два незнаёмцы, запісаныя аднолькава. Калі голас захаваны, кожны спікер, пачуты ў транскрыбаванні, параўноўваецца з ім, і супадзенне пераносіць імя ў транскрыпт. У VocalStack гэта жыве пад Voices; транскрыпцыі файлаў і жывыя сесіі на панэлі кіравання аўтаматычна супастаўляюць вашы захаваныя галасы, а сесія API рэальнага часу распазнае толькі тыя галасы, якія вы пералічылі ў identifyVoices.
Захаваны голас — гэта біяметрычныя даныя: ён можа распазнаць чалавека ў любым запісе, а ў VocalStack ён таксама выконвае функцыю клона, які можа прачытаць яго радкі ўслых. Панэль кіравання просіць пацвердзіць, што вы маеце дазвол гэтай асобы, перш чым захаваць голас, а голас можна выдаліць у любы час.
Усё гэта мае на ўвазе, што вам увогуле патрэбныя пазнакі. Часта не патрэбныя.
Адзін чалавек, які чытае лекцыю, не мае патрэбы ў «Спікер 1» перад кожным радком. Аўдыторыя і так ведае, у каго мікрафон. Таму налада пазнак спікераў мае тры становішчы, і яны аднолькавыя ў сесіі рэальнага часу, трансляцыі, транскрыбаванні і запісе.
auto у API). Радкі пазначаюцца спікерам, калі чуецца больш за адзін голас; запіс з адным спікерам застаецца простым тэкстам, а другі голас, які далучыцца пазней, усё роўна будзе заўважаны. Новая форма жывога транскрыбавання на панэлі кіравання пачынаецца з гэтага становішча.Загрузка файла прымае тую ж опцыю speakerLabels, а API рэальнага часу дазваляе змяніць яе ў працэсе патоку; падрабязнасці — у даведніку API. Раздзяленне і назва спікераў ніколі не дадаюць да рахунку (тарыфы — на старонцы цэн), таму выбар залежыць ад таго, што павінен бачыць чытач, а не ад кошту.
Калі пазнакі ўключаны, дыярызацыя добрая, але не чароўная. Ёсць дзве сітуацыі, з якімі яна ўсё яшчэ не спраўляецца.
Першая — перакрыццё. Калі двое гавораць адначасова, адзін участак аўдыё нясе два галасы. Дыярызатары з уліківаннем перакрыццяў існуюць у даследаваннях і ўсё часцей у прадуктах: напрыклад, end-to-end neural diarization (EEND) разглядае пытанне «хто гаворыць» як набор адначасовых пытанняў «так» або «не», а не як адзін адказ. Большасць вытворчых сістэм, аднак, усё яшчэ прызначае аднаго спікера на кожны ўчастак, а распазнавальнік над імі распазнае адзін голас за раз. Перакрыжаванае маўленне ў гарачай дыскусіі — найцяжэйшае аўдыё ў галіне, і там пазнакі кожнага пастаўшчыка горшаюць. Гэта таксама тая частка, якую ўсе потым з упэўненасцю цытуюць.
Другая — вельмі падобныя галасы. Браты і сёстры могуць даваць эмбэддынгі, занадта блізкія, каб надзейна іх раздзяліць, асабліва калі яны перакідваюцца кароткімі рэплікамі цэлую гадзіну. Тэлефонны гук пагаршае гэта для ўсіх: вузкасмуговая лінія дыскрэтызуецца з частатой 8 кГц і не перадае нічога вышэй прыблізна 3,4 кГц, а многае з таго, што адрознівае адзін голас ад другога, ляжыць вышэй за гэтую мяжу. Два чалавекі на адной тэлефоннай лініі гучаць дыярызатару падобней, чым гучаць вам.
Найбольш практычны сродак ад абодвух абмежаванняў знаходзіцца перад любой мадэллю: дайце кожнаму свой мікрафон. Пры адным канале на спікера дыярызацыя зводзіцца да пытання, які канал гучнейшы; перакрыццё становіцца двума чыстымі дарожкамі замест адной брудной; эмбэддынгі не павінны рабіць цяжкую частку. Адзін стол-мікрафон танейшы і амаль заўсёды ўжо ёсць, таму астатні артыкул прысвечаны менавіта яму.
Ніводнае з абмежаванняў не павінна дайсці да чытача ў нязменным выглядзе. Паколькі пазнакі — гэта слой над словамі, няправільная пазнака ніколі не каштуе вам тэксту: імёны спікераў можна задаць або сцерці ў запісе ў любы момант, а ў жывым транскрыбаванні гаспадар можа перапісаць любое слова або радок, пакуль працэс працуе, і кожная папраўка пазначаецца і адмяняецца.
Што да слоў, што вымервае частата памылак слоў і што яна не ўлічвае, падрабязна апісвае пласты выпраўленняў; WER для распазнавальніка — тое самае, што DER для дыярызатара, і транскрыпту патрэбны абодва паказчыкі нізкімі.