Белгіленген транскрипт екі сұраққа да дұрыс жауап беруі керек. Белгілер мәтіннің үстінде тұрғандықтан, қате белгіні мәтінге қол тигізбей-ақ түзетуге болады.
Кездесудің транскрипті бір мезгілде екі сұраққа жауап береді: не айтылды және кім айтты. Оқушы бір ғана міндетті көреді — жол жанындағы есімді. Оның астында екі мәселе жатыр, әрқайсысының өз кірістері және өз қателесу тәсілдері бар.
Сөйлеуді тану сөздерді тыңдайды. Ол аудионы мәтінге айналдырады және жақсы орындалса, әр сөздің басталу және аяқталу уақытын береді. Дауыс сөйлем ортасында өзгергені оған маңызды емес; оның міндеті — сөйлемді дұрыс алу.
Спикерлерді диаризациялау дауыстарды тыңдайды. Ол сөздерді танымайды. Оның міндеті — уақыт сызығын бөліктерге бөлу және қай бөліктің бір адамға тиесілі екенін айту: Спикер 1, Спикер 2. Бұл термин «diary» (күнделік) сөзінен алынған, және ол шығыс үшін дәл салыстыру: кім сөз алғаны және қашан алғаны туралы журнал.
Онымен шатастырылатын үш жақын термин бар. Диаризация кімді білмей-ақ, кім қашан сөйлегенін айтады. Спикерді анықтау тіркелген дауыстар жиынынан белгілі бір адамның сөйлеуін таңдайды. Спикерді тексеру бір ғана сұраққа жауап береді: бұл дауыс нақты X адамның ба, иә, жоқ па? Сатушылардың «спикер белгілері» деген сөзі шартты шекаралардың шамамен белгіленуінен бастап, бір жазбадан екіншісіне көшетін есімдерге дейін кез келген нәрсені білдіруі мүмкін, сондықтан үш ұғымды ажырату пайдалы. Осы белгілердің не уәде ете алатынын және не уәде ете алмайтынын білу үшін диаризаторды ішінен қарап шығу керек.
Көпшілік диаризация жүйелері үш қадамда жұмыс істейді, олардың ешқайсысы тілге байланысты емес.
Әр қадам өз бетінше қате кетуі мүмкін. Тыныш спикер жіберіп алынады. Ұқсас екі дауыс біріктіріледі. Тыныш күйден қызу күйге ауысқан бір адам екіге бөлінеді.
Сала осының бәрін диаризацияның қате коэффициентімен (DER) бағалайды: сөйлеу уақытының жіберіп алынған, сөйлеу деп қате танылған немесе қате спикерге берілген үлесі. Әдетте әр шекараның айналасында шамамен ширек секундтық «кешірім жиегі» қолданылады. Бұл жиек қажет, себебі ешкім, адам да, машина да спикер ауысуын миллисекундқа дейін дәл белгілей алмайды. Бұл төзімділік диаризаторды жеке бағалау үшін жарайды. Транскрипт үшін ол жарамайды, мұнда ширек секундқа ығысқан шекара сөзге түседі.
Дәл осы жерде екі мәселе түйіседі, және белгіленген транскрипттің сапасы осында шешіледі. Диаризатор шекараларын біршама дәлсіздікпен қояды, көбіне секундтың бір бөлігіне жуық, екі бағытқа да. Тану жүйесі сөздерді дәл осы уақыт сызығына орналастырады. Екеуін бір-бірінің үстіне тікелей қойса, шекара сөздің ішіне түседі, сондықтан «ертең» сөзінің жартысы Спикер 1-ге, қалған жартысы Спикер 2-ге тиесілі болып шығады.
Белгілер дұрыс болғанға дейін уақытша қате болуы да мүмкін. Диаризатор көбірек аудио естіген сайын өз топтарына соншалықты сенімді болады, сондықтан ерте берілген белгі кейінгі нәрселер тұрғысынан қате болып көрінуі мүмкін. Тікелей транскриптте белгі жол көрсетілгеннен кейін қайта қаралуы мүмкін: VocalStack-тің нақты уақыттағы API-і transcript.amended кадрын жібереді, ол бекітілген жолдың мәтінін немесе спикерін орнында түзетеді, сондықтан оқушы қарама-қайшылықты емес, түзетуді көреді.
Дұрыс орналасқан, тұрақты белгі де тек бір сан ғана. Сөйлесуді бақылау үшін сан жеткілікті; ал оқушы қалайтыны — есім.
Белгі екі жолмен есімге айналады, және олар бір-біріне сүйенеді.
Біріншісі — бір жазба ішінде атау беру. Транскрипция тапқан әр спикер 0-ден бастап нөмір алады. Қолжетімділігі бар кез келген адам жазба кезінде немесе одан кейін әр спикерді атай алады. Есім сөздердің үстіндегі қабат болғандықтан, мәтінге қол тигізбей-ақ орнатылуы, өзгертілуі немесе тазартылуы мүмкін. API арқылы бұл PUT /v1/recordings/{id}/speakers/{idx} сұрауымен name өрісімен жасалады; бос атау оны тазартады. speaker мәні -1 болатын жолда белгі жоқ: не белгілер өшірілген, не тікелей драфт жолына спикер әлі тағайындалмаған.
Екіншісі — жазбалар арасында тану, бірінші бөлімдегі идентификация мәселесі. Диаризатор тек екі дауыстың әр түрлі екенін айта алады, олар кім екенін айта алмайды. «Әр түрлі»-ден «бұл Ана» деген жауапқа өту үшін жүйеге анкер қажет: сақталған дауыс, сол бір адамның жазбасынан алынған. Ең аз мөлшер — таза сөйлеудің отыз секунды, ал бірнеше минут жақсырақ. Үлгі сәйкестендірілетін жазбаларға да ұқсас естілуі керек: бір адам ноутбук микрофонында және сахна микрофонында әр түрлі естілуі мүмкін, ал дәл осылай жазылған екі бөтен адам машинаға одан гөрі ұқсас көрінуі мүмкін. Дауыс сақталған соң, транскрипция естіген әр спикер соған салыстырылады, ал сәйкестік есімді транскриптке көшіреді. VocalStack-те бұл Voices бөлімінде орналасқан; файлды транскрипциялау және басқару тақтасындағы тікелей сессиялар сақталған дауыстарыңызды автоматты түрде таниды, ал нақты уақыттағы API сессиясы тек identifyVoices ішінде тізімделген дауыстарды таниды.
Сақталған дауыс — биометриялық дерек: ол кез келген жазбадағы адамды таны алады, ал VocalStack-те ол сонымен қатар сол адамның жолдарын дыбыстап оқи алатын клон ретінде де қолданылады. Басқару тақтасы дауысты сақтамас бұрын адамнан рұқсат алғаныңызды растауды сұрайды, ал дауысты кез келген уақытта жоюға болады.
Мұның бәрі сізге белгілер керек деген болжамға негізделген. Көп жағдайда олар керек емес.
Дәріс оқыған бір адамға әр жолдың алдына «Спикер 1» қою керек емес. Аудитория микрофонды кімнің ұстағанын біледі. Сондықтан спикер белгілері параметрінің үш күйі бар, және олар нақты уақыттағы сессияда, трансляцияда, транскрипцияда және жазбада бірдей.
auto). Бірден бірнеше дауыс естілгеннен кейін жолдар спикеріне қарай белгіленеді; бір спикерлі жазба қарапайым мәтін болып қалады, ал кешірек қосылған екінші дауыс әлі де танылады. Басқару тақтасының жаңа тікелей транскрипция формасы осы күйден басталады.Файлды жүктеу дәл осы speakerLabels опциясын қабылдайды, ал нақты уақыттағы API ағын кезінде оны өзгертуге мүмкіндік береді; толық мәліметтер API анықтамасында. Спикерлерді бөлу және атау ешқашан шотқа қосылмайды (бағалар беті тариф кестесін көрсетеді), сондықтан таңдау оқушы нені көруі керек екеніне байланысты, оның құнына емес.
Қосылған кезде диаризация жақсы жұмыс істейді, бірақ сиқырлы емес. Оған қарсы әлі де екі жағдай жеңімпаз.
Біріншісі — қабаттасу. Екі адам бір уақытта сөйлегенде, аудионың бір бөлігінде екі дауыс болады. Қабаттасуды ескеретін диаризаторлар зерттеулерде бар және біртіндеп өнімдерде де пайда болып жатыр: мысалы, end-to-end нейрондық диаризация (EEND) «кім сөйлеп тұр» сұрағын бір жауаптың орнына бір уақытта қойылатын иә-жоқ сұрақтар жиыны ретінде қарастырады. Дегенмен көпшілік өндірістік жүйелер әлі де бір аймаққа бір спикерді береді, ал оның үстіндегі тану жүйесі бір уақытта бір дауысты транскрипциялайды. Қызу пікірталастағы қиылысқан сөйлеу саладағы ең қиын аудио, және әр вендордың белгілері осы жерде нашарлайды. Сонымен қатар, бәрі кейін дәйексөз келтіргісі келетін бөлік те дәл осы.
Екіншісі — өте ұқсас дауыстар. Бауырлардың эмбеддингтері бір-бірінен сенімді ажырату үшін тым жақын болуы мүмкін, әсіресе бір сағат бойы қысқа кезектесіп сөйлесетін болса. Телефон дыбысы бәрін қиындатады: тар жолақты желі 8 кГц-пен сыналады және шамамен 3,4 кГц-тен жоғарыда ешнәрсе тасымалдамайды, бірақ бір дауысты екіншісінен ажыратуға көмектесетін жиіліктердің көбі сол шектен жоғарыда жатыр. Бір телефон желісіндегі екі адам диаризатор үшін сіз үшін естілетіннен гөрі ұқсас естіледі.
Екеуі үшін ең практикалық шешім кез келген модельден бұрын: әр адамға өз микрофоны. Әр спикерге бір арна болған кезде диаризация «қай арна қатты?» деген сұраққа дейін азаяды, қабаттасу бір лайлы арнаның орнына екі таза жолға айналады, ал эмбеддингтер қиын жұмысты істеуге мәжбүр болмайды. Бір үстел микрофоны арзанырақ және әдетте сізде бар нәрсе болғандықтан, осы мақаланың қалған бөлігі бар.
Екі шектеудің де оқушыға өзгеріссіз жетуі міндетті емес. Белгілер сөздердің үстіндегі қабат болғандықтан, қате белгі ешқашан мәтінге шығынын тигізбейді: спикер есімдерін жазбада кез келген уақытта орнатуға немесе тазартуға болады, ал тікелей транскрипцияда хост жұмыс істеп тұрғанда кез келген сөзді немесе жолды қайта жаза алады, әр түзету белгіленеді және қайтарылуы мүмкін.
Сөз жағы үшін сөз қатесінің коэффициенті нені өлшейтіні және нені өткізіп жіберетіні туралы мақала түзету қабаттарын толық түсіндіреді; WER тануға қандай болса, DER диаризаторға сондай, ал транскрипт екеуі де төмен болуы керек.