Označen prepis potrebuje pravilna odgovora na obe vprašanji, oznake pa ležijo nad besedami, zato je napačno oznako mogoče popraviti, ne da bi se dotaknili besedila.
Prepis sestanka odgovori na dve vprašanji hkrati: kaj je bilo rečeno in kdo je to rekel. Bralec vidi eno nalogo, ime ob vrstici. Pod tem pa sta dva problema, vsak s svojimi vhodi in s svojimi načini odpovedi.
Razpoznavanje govora posluša besede. Zvok pretvori v besedilo in, če je dobro narejeno, pri vsaki besedi poda začetni in končni čas. Ne zanima ga, ali se je glas sredi stavka spremenil; njegova naloga je, da stavek pravilno zapiše.
Diarizacija govorcev posluša glasove. Besed ne pozna. Njena naloga je razdeliti časovnico na izmenjave in povedati, katere izmenjave pripadajo isti osebi: Govorec 1, Govorec 2. Beseda izvira iz angleške besede »diary« (dnevnik), kar je dobra slika za rezultat: dnevnik o tem, kdo je imel besedo in kdaj.
Pri tem se pogosto zamenjajo tri sorodni pojmi. Diarizacija pove, kdo je govoril kdaj, ne da bi vedela, kdo je. Prepoznavanje govorca pove, kateri znani osebi pripada del govora, pri čemer izbira med vnaprej shranjenimi glasovi. Preverjanje govorca odgovori z da ali ne: ali je ta glas res oseba X? Ponudniki pogosto trdijo kaj o »oznakah govorcev«, ki lahko pomeni karkoli od grobega ugibanja mej izmenjav do imen, ki spremljajo osebo od enega posnetka do drugega. Ko ločimo te tri pojme, je lažje brati te trditve. Da vidimo, kaj lahko te oznake res obljubijo, si oglejmo, kaj je v notranjosti diarizatorja.
Večina sistemov za diarizacijo deluje v treh korakih, nobeden pa ne vključuje jezika.
Vsak korak lahko odpove sam zase. Tih govorec se spregleda. Dva podobna glasova se zlijeta. Oseba, ki preide iz mirnega v razgret ton, se razcepi na dva.
Področje vse to ocenjuje z diarizacijsko stopnjo napak, DER: delež časa govora, ki je bil zgrešen, lažno zaznan kot govor ali pripisan napačnemu govorcu, običajno s tolerančnim pasom približno četrt sekunde okoli vsake meje. Pas obstaja, ker nihče, ne človek ne stroj, ne more spremembe govorca postaviti z natančnostjo na milisekundo. Ta toleranca je v redu za ocenjevanje samega diarizatorja. Za prepis ni v redu, saj meja, zgrešena za četrt sekunde, pristane na besedi.
Tu se srečata ta dva problema in tu se odloča o kakovosti označenega prepisa. Diarizator postavi meje z nekaj nenatančnosti, pogosto za delček sekunde na eno ali drugo stran. Razpoznavalnik postavi besede na isto časovnico. Če oba preprosto položimo drug čez drugega, meja pristane sredi besede, tako da polovica besede »jutri« pripada Govorcu 1, druga polovica pa Govorcu 2.
Oznake so lahko nekaj časa napačne, preden postanejo pravilne. Diarizator je glede svojih skupin bolj samozavesten, kolikor več zvoka je slišal, zato je zgodnja oznaka lahko videti napačna glede na to, kar pride pozneje. Pri prepisu v živo se oznaka lahko popravi potem, ko je vrstica že prikazana: VocalStackov API v realnem času pošlje okvir transcript.amended, ki popravi besedilo ali govorca potrjene vrstice na mestu, tako da bralec vidi popravek, ne protislovja.
Tudi popolnoma pravilno postavljena in stabilna oznaka je zgolj številka. Številka zadošča, da sledimo pogovoru; ljudje pa želijo brati ime.
Oznaka postane ime na dva načina, ki druga na drugo gradita.
Prvi je poimenovanje znotraj posnetka. Vsak govorec, ki ga prepis najde, dobi indeks, štet od 0. Kdorkoli z dostopom lahko vsakega govorca poimenuje med snemanjem ali po njem. Ime je plast nad besedami, zato ga je mogoče nastaviti, spremeniti ali izbrisati, ne da bi se dotaknili besedila. Prek API-ja je to PUT /v1/recordings/{id}/speakers/{idx} z name; prazno ime oznako izbriše. Vrstica, katere speaker je -1, nima oznake, bodisi zato, ker so bile oznake izklopljene, ali, v osnutku v živo, ker vrstica še ni bila pripisana.
Drugi je prepoznavanje med posnetki, problem prepoznavanja iz prvega razdelka. Diarizator lahko reče le, da sta dva glasova različna, nikoli pa ne more povedati, kdo sta. Da pridemo od »različna« do »to je Ana«, sistem potrebuje referenco: shranjen glas, vzet iz posnetka te ene osebe. Najmanj je potrebnih trideset sekund čistega govora, bolje nekaj minut. Vzorec mora tudi zveneti podobno kot posnetki, s katerimi bo primerjan: ista oseba na prenosnem mikrofonu in na odrskem mikrofonu se lahko strojem zdi manj podobna kot dva tujca, posneta na enak način. Ko je glas shranjen, se vsak govorec, ki ga prepis zazna, primerja z njim, ujemanje pa prenese ime v prepis. V VocalStacku to živi pod Voices; prepisi datotek in seje v živo na nadzorni plošči samodejno ujemajo vaše shranjene glasove, seja API-ja v realnem času pa prepozna le glasove, ki jih naštejete v identifyVoices.
Shranjen glas so biometrični podatki: lahko prepozna osebo v katerem koli posnetku, v VocalStacku pa hkrati služi tudi kot klon, ki lahko njene vrstice prebere na glas. Nadzorna plošča zahteva, da potrdite, da imate dovoljenje osebe, preden shranite glas, glas pa lahko kadarkoli izbrišete.
Vse to predpostavlja, da oznake sploh želite. Pogosto jih ne.
Posameznik, ki bere predavanje, ne potrebuje »Govorca 1« pred vsako vrstico. Občinstvo že ve, kdo ima mikrofon. Zato ima nastavitev oznak govorcev tri položaje, ki so enaki pri seji v realnem času, prenosu, prepisu in posnetku.
auto v API-ju). Vrstice so označene z govorcem, ko je zaslišan več kot en glas; posnetek enega govorca ostane navadno besedilo, drugi glas, ki se pridruži pozneje, pa se vseeno zazna. Nova oblika za prepis v živo na nadzorni plošči se začne v tem položaju.Nalaganje datoteke sprejme isto možnost speakerLabels, API v realnem času pa vam omogoča, da jo med tokom spremenite; podrobnosti so v referenci API. Ločevanje govorcev in poimenovanje nikoli ne povečata računa (vse cene so na strani s cenikom), zato je izbira odvisna od tega, kaj naj bralec vidi, ne od tega, kaj stane.
Ko je vklopljena, je diarizacija dobra, a ne čarovniška. Dve situaciji ji še vedno ne uspeta.
Prva je prekrivanje. Ko dve osebi govorita hkrati, en del zvoka nosi dva glasova. Diarizatorji, ki obvladajo prekrivanje, obstajajo v raziskavah in vse pogosteje tudi v izdelkih: nevronska diarizacija od konca do konca (EEND), na primer, obravnava vprašanje »kdo govori« kot niz hkratnih vprašanj da ali ne, namesto kot en odgovor. Večina produkcijskih sistemov pa še vedno dodeli enega govorca vsakemu delu, razpoznavalnik nad njimi pa prepisuje en glas naenkrat. Prekrivni pogovor v razgreti razpravi je najtežji zvok na tem področju, oznake vsakega ponudnika se tam zanesljivo poslabšajo. Prav tu pa je tudi del, ki ga vsi radi navajajo pozneje.
Druga je zelo podobna glasova. Sorodniki lahko ustvarijo vdelave, ki so preblizu, da bi jih zanesljivo ločili, še posebej če si ure in ure izmenjujejo kratke izjave. Telefonski zvok vse to poslabša za vse: ozkopasovna linija je vzorčena pri 8 kHz in ne prenaša ničesar nad približno 3.4 kHz, čeprav velik del tega, kar loči en glas od drugega, leži nad to mejo. Dve osebi na isti telefonski liniji se diarizatorju zdita bolj podobni, kot se zdita vam.
Najbolj praktičen lek za obe omejitvi je pred vsakim modelom: vsak človek naj ima svoj mikrofon. Z enim kanalom za vsakega govorca se diarizacija zvede na vprašanje, kateri kanal je glasen; prekrivanje postane dve čisti sledi namesto ene umazane; vdelave pa ni treba prositi za težko delo. Enojni namizni mikrofon je cenejši in skoraj vedno tisto, kar imate, zato obstaja preostanek tega članka.
Nobena od teh omejitev ni nujno prenesena bralcu nespremenjena. Ker so oznake plast nad besedami, napačna oznaka nikoli ne stane besedila: imena govorcev je mogoče na posnetku nastaviti ali izbrisati kadarkoli, pri prepisu v živo pa lahko gostitelj med tekom prepiše katero koli besedo ali vrstico, pri čemer je vsak popravek označen in ga je mogoče razveljaviti.
Za besedni del glejte kaj merita stopnja napak v besedah in kaj ji uide, ki podrobno pokriva plasti popravkov; WER je za razpoznavalnik to, kar je DER za diarizator, in prepis potrebuje, da sta oba nizka.