Етикетираният транскрипт изисква и двата отговора да са верни, а тъй като етикетите стоят върху думите, грешен етикет може да се поправи, без да се променя текстът.
Транскриптът на една среща отговаря на два въпроса едновременно: какво е казано и кой го е казал. Читателят вижда една задача – име до всеки ред. Отдолу стоят два проблема, всеки със свои входни данни и със свои начини да се провали.
Разпознаването на реч слуша думите. Превръща аудиото в текст и, когато е добре направено, дава начален и краен час за всяка дума. Не го интересува дали гласът се е променил по средата на изречението; задачата му е да запише изречението правилно.
Диаризацията на говорители слуша гласовете. Не знае думите. Нейната задача е да раздели времевата линия на реплики и да определи кои реплики принадлежат на един и същ човек: Говорител 1, Говорител 2. Терминът идва от английската дума „diary“ (дневник), а това е точна представа за резултата: дневник на това кой е държал думата и кога.
С нея се бъркат три сродни понятия. Диаризацията казва кой и кога е говорил, без да знае кой е човекът. Идентификацията на говорител казва на коя известна личност принадлежи даден отрязък реч, като избира от набор регистрирани гласове. Верификацията на говорител отговаря на въпрос с да или не: този глас наистина ли е на човек X? Твърденията на доставчиците стават по-лесни за разбиране, след като тези три се разграничат, защото „етикетите на говорители“ могат да означават всичко – от груба догадка за границите между репликите до имена, които следват човека от един запис към следващия. За да видим какво могат и какво не могат да обещаят тези етикети, трябва да погледнем вътре в диаризатора.
Повечето системи за диаризация работят на три стъпки, без нито една да включва език.
Всяка стъпка може да се провали сама по себе си. Тих говорител се пропуска. Два сходни гласа се сливат. Един човек, който преминава от спокоен към въодушевен, се разделя на два.
Областта оценява всичко това с коефициент на грешки при диаризация (DER): делът от времето на речта, който е пропуснат, е погрешно отчетен като реч или е приписан на грешния говорител, обикновено с толеранс от около една четвърт секунда около всяка граница. Толерансът съществува, защото никой – човек или машина – не може да определи смяната на говорител с точност до милисекунда. Този толеранс е добър за оценка на диаризатор сам по себе си. Не е добър за транскрипт, където граница, която е по-далече с една четвърт секунда, попада върху дума.
Тук двата проблема се срещат и тук се решава качеството на етикетирания транскрипт. Диаризаторът поставя границите си с известна неточност, често с част от секунда в една или друга посока. Разпознавачът поставя думите върху същата времева линия. Ако наслагаме двете наивно, една граница попада в средата на дума и половината от „утре“ се приписва на Говорител 1, а другата половина – на Говорител 2.
Етикетите могат да са грешни известно време, преди да станат верни. Диаризаторът става все по-сигурен в групите си, колкото повече аудио е чул, така че ранен етикет може да изглежда грешен според това, което идва по-късно. При транскрипт на живо етикет може да бъде коригиран, след като редът е показан: realtime API на VocalStack изпраща кадър transcript.amended, който коригира текста или говорителя на вече потвърден ред на мястото му, така че читателят вижда ревизията, а не противоречие.
Дори перфектно поставен и стабилен етикет е все още само число. Числото е достатъчно, за да се проследи разговор; име е това, което хората искат да прочетат.
Етикетът става име по два начина, които се надграждат един върху друг.
Първият е наименуването в рамките на един запис. Всеки говорител, който транскрипцията открие, получава индекс, броен от 0. Всеки с достъп може да именува всеки говорител по време на записа или след него. Името е слой върху думите, така че може да се зададе, промени или изчисти, без да се докосва текстът. През API това е PUT /v1/recordings/{id}/speakers/{idx} с name; празно име изчиства етикета. Ред, чието speaker е -1, няма етикет – или защото етикетите са били изключени, или, в чернова на живо, защото на реда още не е приписан говорител.
Вторият е разпознаването между отделните записи, проблемът с идентификацията от първия раздел. Диаризаторът може само да каже, че два гласа са различни, никога кои са те. За да се стигне от „различни“ до „това е Ана“, системата се нуждае от еталон: запазен глас, взет от запис на този конкретен човек. Тридесет секунди чиста реч са минимумът, а няколко минути са по-добре. Пробата също трябва да звучи като записите, с които ще се сравнява: същият човек с микрофон на лаптоп и с микрофон на сцена може да звучи за машина по-малко сходно, отколкото два непознати, записани по един и същи начин. След като гласът е запазен, всеки говорител, който чуе транскрипцията, се сравнява с него, а съвпадението пренася името в транскрипта. Във VocalStack това се намира в Voices; транскрипциите на файлове и сесиите на живо от таблото съвпадат със запазените ви гласове автоматично, а сесията на realtime API разпознава само гласовете, които изброите в identifyVoices.
Запазеният глас са биометрични данни: той може да разпознае човек във всеки запис, а във VocalStack служи и като клониране, което може да чете репликите му на глас. Таблото изисква да потвърдите, че имате разрешение от човека, преди да запазите глас, а гласът може да бъде изтрит по всяко време.
Всичко това предполага, че изобщо искате етикети. Често не искате.
Един човек, който чете лекция, не се нуждае от „Говорител 1“ пред всеки ред. Публиката вече знае кой държи микрофона. Затова настройката за етикети на говорители има три положения, които са едни и същи при сесия в realtime, излъчване, транскрипция и запис.
auto в API). Редовете се етикетират с говорителя си, щом се чуе повече от един глас; запис с един говорител остава обикновен текст, а втори глас, който се включи по-късно, пак се засича. Новата форма за транскрипция на живо в таблото започва от това положение.Качването на файл приема същата опция speakerLabels, а realtime API позволява да се смени по време на поток; подробностите са в API справочника. Разделянето и именуването на говорители никога не се добавят към сметката (ценовата таблица е на страницата с цени), така че изборът зависи от това какво трябва да вижда читателят, а не от това колко струва.
Когато е включена, диаризацията е добра, но не е магия. Две ситуации все още я надвишават.
Първата е припокриването. Когато двама души говорят едновременно, един отрязък аудио носи два гласа. Диаризатори с отчитане на припокриване съществуват в изследванията и все по-често в продукти: например end-to-end neural diarization (EEND) третира въпроса „кой говори“ като набор от едновременни въпроси с отговор да или не, вместо като един отговор. Повечето производствени системи обаче все още приписват един говорител на отрязък, а разпознавачът отгоре транскрибира по един глас наведнъж. Припокриващата се реч в разгорещен панел е най-трудното аудио в областта и етикетите на всеки доставчик там се влошават. Това е и – сигурно – частта, която всички искат да цитират после.
Втората са много сходните гласове. Братя и сестри могат да произведат вграждания, които са твърде близки, за да се разделят надеждно, особено когато си разменят кратки реплики цял час. Телефонното аудио влошава това за всички: тясната телефонна линия се семплира на 8 kHz и не носи нищо над около 3,4 kHz, но голяма част от това, което отличава един глас от друг, е над тази граница. Двама души на една и съща телефонна линия звучат за диаризатора по-сходно, отколкото звучат за вас.
Най-практичното средство за двете е преди всеки модел: дайте на всеки човек собствен микрофон. С по един канал за всеки говорител диаризацията се свежда до въпроса кой канал е по-силен, припокриването се превръща в два чисти записа вместо в един мътен, а вгражданията никога не трябва да вършат трудната част. Една обикновена маса с микрофон е по-евтина и почти винаги е това, което имате, затова останалата част от статията съществува.
Нито едно от ограниченията не трябва да достига до читателя непроменено. Тъй като етикетите са слой върху думите, грешният етикет никога не ви струва текста: имената на говорителите могат да се задават или изчистват за запис по всяко време, а при транскрипция на живо домакинът може да пренапише всяка дума или ред, докато още върви, като всяка поправка е маркирана и може да бъде отменена.
За частта с думите какво измерва процентът грешки на думи и какво пропуска разглежда подробно слоевете за корекция; WER е за разпознавача това, което DER е за диаризатора, и транскриптът се нуждае и двата да са ниски.