Etiketlənmiş transkript hər iki cavabın düzgün olmasını tələb edir; etiketlər sözlərin üstündə oturduğu üçün yanlış etiketi mətnə toxunmadan düzəltmək olar.
Söhbətin transkripti eyni anda iki suala cavab verir: nə deyildi və kim dedi. Oxucu bir iş görür — hər sətrin yanında bir ad. Onun altında isə hər birinin öz girişləri və öz uğursuzluq üsulları olan iki problem durur.
Nitq tanıma sözləri dinləyir. Səsi mətnə çevirir və yaxşı işlədikdə hər söz üçün başlanğıc və bitmə vaxtı verir. Cümlənin ortasında səsin dəyişib-dəyişmədiyi ona əhəmiyyət vermir; onun işi cümləni düzgün yazmaqdır.
Danışanın diarizasiyası isə səsləri dinləyir. Sözləri bilmir. Onun işi zaman xəttini növbələrə bölmək və hansı növbələrin eyni adama aid olduğunu demək: Danışan 1, Danışan 2. Termin "diary" (gündəlik) sözündən götürülüb və bu, çıxışın yaxşı təsviridir: kimin söz tutduğunun və nə vaxt tutduğunun jurnalı.
Ona yaxın üç termin tez-tez qarışdırılır. Diarizasiya kimin danışdığını, heç kimi tanımadan, deyir. Danışanın eyniləşdirilməsi (speaker identification) nitqin qeydiyyatdan keçmiş səslər dəstindən hansı məlum adama aid olduğunu seçir. Danışanın yoxlanılması (speaker verification) bəli-yox sualına cavab verir: bu səs həqiqətən X şəxsidirmi? Satıcıların iddiaları bu üçünü ayrı tutduqda daha aydın olur, çünki "danışan etiketləri" sözü sərhədlərin təxmini tapılmasından tutmuş bir təkrarlanmadan digərinə adı izləyən adlara qədər hər şeyi bildirə bilər. Bu etiketlərin nəyi vəd edə bilib-bilməyəcəyini görmək üçün diarizatorun içinə baxmaq lazımdır.
Əksər diarizasiya sistemləri üç addımda işləyir və heç biri dildən asılı deyil.
Hər addım öz-özlüyündə yanıla bilər. Sakit danışan qaçırıla bilər. İki oxşar səs birləşdirilə bilər. Sakit tondan həyəcanlı tona keçən bir adam iki yerə bölünə bilər.
Sahə bütün bunları diarizasiya xətası (DER) ilə qiymətləndirir: nitq vaxtının buraxılmış, səhv nitq kimi aşkarlanmış və ya səhv danışana aid edilmiş payı; adətən hər sərhəd ətrafında təxminən çeyrək saniyəlik bağışlama zolağı (forgiveness collar) ilə. Bu zolaq ona görədir ki, heç kim — insan da, maşın da — danışan dəyişikliyini millisaniyəyə qədər yerləşdirə bilməz. Diarizatoru təkbaşına qiymətləndirmək üçün bu tolerantlıq yaxşıdır. Transkript üçün yaxşı deyil, çünki çeyrək saniyə yanlış yerləşən sərhəd bir sözün üstünə düşür.
Məhz burada iki problem kəsişir və etiketlənmiş transkriptin keyfiyyəti məhz burada müəyyən olunur. Diarizator sərhədlərini bir qədər qeyri-dəqiqliklə, çox vaxt saniyənin bir hissəsi qədər hər iki istiqamətdə yerləşdirir. Tanıyıcı isə sözləri eyni zaman xəttinə qoyur. Bunları sadəcə üst-üstə qoysaq, sərhəd sözün içinə düşür və "sabah" sözünün yarısı Danışan 1-ə, o biri yarısı Danışan 2-yə aid olur.
Etiketlər düz olmamışdan əvvəl bir müddət yanlış ola bilər. Diarizator qruplar haqqında daha çox audio eşitdikcə daha əmin olur, ona görə də erkən etiket sonradan gələnlərin standartlarına görə yanlış görünə bilər. Canlı transkriptdə etiket sətir göstərildikdən sonra yenidən işlənə bilər: VocalStack-in realtime API-si transcript.amended çərçivəsi göndərir, bu, təsdiqlənmiş sətirin mətnini və ya danışanını yerində düzəldir, beləliklə oxucu ziddiyyət yox, düzəliş görür.
Hətta yerində qoyulmuş, tam sabit etiket belə yalnız bir nömrədir. Nömrə söhbəti izləmək üçün kifayətdir; oxucunun istədiyi isə addır.
Etiket iki yolla ada çevrilir və onlar bir-birinin üzərinə qurulur.
Birincisi, eyni yazının daxilində adlandırmadır. Transkripsiyanın tapdığı hər danışan 0-dan sayılan indeks alır. Yazıya girişi olan hər kəs yazı zamanı və ya sonra hər danışanı adlandıra bilər. Ad sözlərin üstündəki qatdır, ona görə də mətnə toxunmadan təyin edilə, dəyişdirilə və ya silinə bilər. API üzərindən bu, name ilə PUT /v1/recordings/{id}/speakers/{idx} ünvanıdır; boş ad adı silir. speaker dəyəri -1 olan sətrin etiketi yoxdur: ya etiketlər söndürülüb, ya da canlı qaralamada sətir hələ danışana aid edilməyib.
İkincisi, yazılar arasında tanımadır — birinci bölmədəki eyniləşdirmə problemi. Diarizator yalnız iki səsin fərqli olduğunu deyə bilər, onların kim olduğunu heç vaxt deyə bilməz. "Fərqli"dən "bu Ana-dır"a keçmək üçün sistemə istinad lazımdır: yadda saxlanmış səs, həmin bir adamın yazısından götürülmüş. Minimum otuz saniyə təmiz nitq lazımdır, bir neçə dəqiqə isə daha yaxşıdır. Nümunə, müqayisə olunacaq yazılara oxşamalıdır: eyni adam noutbuk mikrofonunda və səhnə mikrofonunda iki yadelli kimi eyni cür yazılmış iki adamdan maşına görə daha az oxşar səslənə bilər. Səs yadda saxlanandan sonra transkripsiyanın eşitdiyi hər danışan onunla müqayisə olunur və uyğunluq adı transkriptə daxil edir. VocalStack-də bu, Səslər bölməsindədir; fayl transkripsiyaları və İdarə panelindəki canlı sessiyalar yadda saxlanmış səslərinizə avtomatik uyğunlaşır, realtime API sessiyası isə yalnız identifyVoices-də sadaladığınız səsləri tanıyır.
Yadda saxlanmış səs biometrik məlumatdır: onu istənilən yazıda bir adamı tanımaq üçün istifadə etmək olar, VocalStack-də isə o, həmin adamın sətirlərini bərkdən oxuya bilən klonlanmış səs kimi də işləyir. İdarə paneli səs saxlamazdan əvvəl adamın icazəsi olduğunu təsdiqləməyinizi tələb edir və səs istənilən vaxt silinə bilər.
Bütün bunlar etiket istədiyinizi fərz edir. Çox vaxt isə istəmirsiniz.
Mühazirə oxuyan tək adam hər sətrin qarşısında "Danışan 1" yazılmasına ehtiyac duymur. Auditoriya mikrofonun kimdə olduğunu artıq bilir. Buna görə də danışan etiketləri ayarının üç vəziyyəti var və onlar realtime sessiyada, yayımda, transkripsiyada və yazıda eynidir.
auto). Bir neçə səs eşidildikdə sətirlər öz danışanı ilə etiketlənir; bir danışanlı yazı sadə mətn olaraq qalır, gec qoşulan ikinci səs isə yenə də tutulur. İdarə panelində yeni canlı transkripsiya formu bu vəziyyətdən başlayır.Fayl yükləməsi eyni speakerLabels seçimini qəbul edir, realtime API isə axın zamanı onu dəyişməyə imkan verir; təfərrüatlar API istinadında verilib. Danışanların ayrılması və adlandırılması heç vaxt hesaba əlavə etmir (qiymətlər səhifəsində tarif cədvəli var), ona görə seçim xərcdən çox oxucunun nə görməli olduğuna aiddir.
Açıq olduqda diarizasiya yaxşıdır, lakin sehrli deyil. İki vəziyyət onu hələ də məğlub edir.
Birincisi, üst-üstə düşməkdir. İki adam eyni anda danışdıqda audionun bir hissəsi iki səs daşıyır. Üst-üstə düşməni nəzərə alan diarizatorlar tədqiqatda və getdikcə məhsullarda mövcuddur: məsələn, end-to-end neyron diarizasiyası (EEND) "kim danışır" sualını bir cavab yox, eyni vaxtda verilən bəli-yox sualları toplusu kimi qəbul edir. Lakin istehsal sistemlərinin əksəriyyəti hələ də hər hissədə bir danışan təyin edir, onların üstündəki tanıyıcı isə eyni anda yalnız bir səsi transkripsiya edir. Qızğın panel müzakirəsində çarpaz danışıq sahədə ən çətin audiodur və hər satıcının etiketləri orada pisləşir. Üstəlik, sonradan hamının sitat gətirmək istədiyi də məhz bu hissədir.
İkincisi, çox oxşar səslərdir. Bacılar və qardaşlar etibarlı şəkildə ayrılmaq üçün çox yaxın yerləşdirmələr yarada bilər, xüsusilə bir saat ərzində qısa növbələrlə danışdıqda. Telefon audiosu hamı üçün bunu daha da pisləşdirir: dar zolaqlı xətt 8 kHz tezliklə ölçülür və təxminən 3.4 kHz-dən yuxarı heç nə ötürmür, halbuki bir səsi digərindən fərqləndirən çox şey məhz bu sərhəddən yuxarıdadır. Eyni telefon xəttində olan iki adam diarizatora sizə olduğundan daha oxşar görünür.
Hər ikisi üçün ən praktik çarə modelin qabağında yerləşir: hər adama öz mikrofonunu verin. Hər danışan üçün bir kanal olduqda diarizasiya "hansı kanal ucadır?" sualına çevrilir, üst-üstə düşmə bir çaşqın trek əvəzinə iki təmiz trekə çevrilir və yerləşdirmələrdən çətin işi görmək tələb olunmur. Tək masa mikrofonu daha ucuzdur və demək olar həmişə əlinizdə olan şeydir, buna görə də bu məqalənin qalan hissəsi var.
Heç bir məhdudiyyət oxucuya dəyişmədən çatmalı deyil. Etiketlər sözlərin üstündəki qat olduğuna görə, səhv etiket heç vaxt mətnə başa gəlmir: danışan adları yazıda istənilən vaxt təyin və ya silinə bilər, canlı transkripsiyada isə aparıcı işləyən zaman hər sözü və ya sətri yenidən yaza bilər, hər düzəliş qeyd olunur və geri alına bilir.
Söz tərəfi üçün söz səhv dərəcəsinin nəyi ölçdüyü və nəyi qaçırdığı düzəliş qatlarını ətraflı izah edir; WER tanıyıcı üçün nədirsə, DER diarizator üçün də odur, transkriptin hər ikisinin aşağı olması lazımdır.