Označeni transkript treba obje tačne odgovore, a pošto oznake stoje iznad riječi, pogrešna oznaka se može ispraviti bez diranja teksta.
Transkript sastanka odgovara na dva pitanja odjednom: šta je rečeno i ko je to rekao. Čitalac vidi jedan zadatak, ime pored reda. Ispod toga stoje dva problema, svaki sa svojim ulazima i vlastitim načinima otkazivanja.
Prepoznavanje govora sluša riječi. Pretvara zvuk u tekst i, kada je dobro urađeno, daje početno i krajnje vrijeme za svaku riječ. Ne brine se o tome da li se glas promijenio usred rečenice; njegov zadatak je da tačno zapiše rečenicu.
Dijarizacija govornika sluša glasove. Ne poznaje riječi. Njen zadatak je da podijeli vremensku liniju na izmjene govora i kaže koje izmjene pripadaju istoj osobi: Govornik 1, Govornik 2. Riječ je posuđena iz engleskog „diary“ (dnevnik), i to je dobra slika izlaza: zapisnik o tome ko je imao riječ i kada.
Tri srodna pojma često se miješaju s njom. Dijarizacija kaže ko je govorio kada, ne znajući nikoga. Identifikacija govornika kaže kojoj poznatoj osobi pripada neki dio govora, birajući iz skupa upisanih glasova. Verifikacija govornika odgovara na pitanje da-ili-ne: je li ovaj glas zaista osoba X? Tvrdnje dobavljača lakše se čitaju kad se ova tri pojma drže odvojeno, jer „oznake govornika“ mogu značiti bilo šta, od grubog pogađanja granica izmjena do imena koja prate osobu iz jednog snimka u drugi. Da biste vidjeli šta te oznake mogu, a šta ne mogu obećati, pogledajte unutar dijarizatora.
Većina sistema za dijarizaciju radi u tri koraka, a nijedan ne uključuje jezik.
Svaki korak može sam pogriješiti. Tihi govornik se propusti. Dva slična glasa se spoje. Jedna osoba koja pređe iz mirnog u živahan ton razdvoji se na dvije.
Oblast sve ovo ocjenjuje stopom greške dijarizacije, DER: udio vremena govora koji je propušten, lažno detektovan kao govor ili pripisan pogrešnom govorniku, obično uz toleranciju od oko četvrt sekunde oko svake granice. Ta tolerancija postoji zato što niko, ni čovjek ni mašina, ne može da smjesti promjenu govornika na tačnu milisekundu. Takva tolerancija je u redu za ocjenjivanje samog dijarizatora. Za transkript nije, jer granica koja je četvrt sekunde pomjerena padne na riječ.
Tu se susreću dva problema, i tu se odlučuje kvalitet označenog transkripta. Dijarizator postavlja granice s određenom nepreciznošću, često za djelić sekunde u jednom ili drugom smjeru. Prepoznavač postavlja riječi na istu vremensku liniju. Ako ih naivno položite jedno preko drugog, granica padne unutar riječi, pa pola riječi „sutra“ pripada Govorniku 1, a druga polovina Govorniku 2.
Oznake također mogu neko vrijeme biti pogrešne prije nego što postanu tačne. Dijarizator je sigurniji u svoje grupe što više zvuka čuje, pa rana oznaka može izgledati pogrešno u odnosu na ono što dolazi kasnije. Na transkriptu uživo oznaka se može revidirati nakon što je red prikazan: VocalStack realtime API šalje okvir transcript.amended koji ispravlja tekst ili govornika već potvrđenog reda na mjestu, tako da čitalac vidi reviziju, a ne proturječje.
Čak i savršeno smještena, savršeno stabilna oznaka je još uvijek samo broj. Broj je dovoljan da se prati razgovor; ime je ono što ljudi žele da čitaju.
Oznaka postaje ime na dva načina, i jedan se nadograđuje na drugi.
Prvi je imenovanje unutar jednog snimka. Svakom govorniku koji transkripcija pronađe dodijeli se indeks, brojan od 0. Svako ko ima pristup može imenovati svakog govornika tokom ili nakon snimanja. Ime je sloj preko riječi, pa se može postaviti, promijeniti ili obrisati bez diranja teksta. Preko API-ja to je PUT /v1/recordings/{id}/speakers/{idx} sa name; prazno ime briše oznaku. Red čiji je speaker -1 nema oznaku, bilo zato što su oznake bile isključene ili, u živom nacrtu, zato što red još nije pripisan.
Drugi je prepoznavanje među snimcima, problem identifikacije iz prvog odjeljka. Dijarizator može samo reći da su dva glasa različita, nikada ko su. Da bi od „različit“ stigao do „ovo je Ana“, sistemu treba referenca: sačuvan glas, uzet iz snimka te jedne osobe. Najmanje trideset sekundi čistog govora je minimum, a nekoliko minuta je bolje. Uzorak treba da zvuči kao snimci s kojima će se upoređivati: ista osoba na mikrofonu laptopa i na mikrofonu scene može mašini zvučati manje slično nego dva nepoznata čovjeka snimljena na isti način. Kad je glas sačuvan, svaki govornik koji transkripcija čuje upoređuje se s njim, a podudaranje prenosi ime u transkript. U VocalStack-u ovo se nalazi pod Glasovi; transkripcije datoteka i sesije uživo na kontrolnoj ploči automatski upoređuju sa vašim sačuvanim glasovima, a sesija realtime API-ja prepoznaje samo glasove koje navedete u identifyVoices.
Sačuvani glas je biometrijski podatak: može prepoznati osobu u bilo kojem snimku, a u VocalStack-u služi i kao kloniranje koje može čitati njihove rečenice naglas. Kontrolna ploča traži da potvrdite da imate dozvolu osobe prije čuvanja, a glas se može obrisati u bilo kojem trenutku.
Sve ovo pretpostavlja da uopće želite oznake. Često ne želite.
Jedna osoba koja čita predavanje ne treba „Govornik 1“ ispred svakog reda. Publika već zna ko ima mikrofon. Zato postavka oznaka govornika ima tri položaja, i isti su na realtime sesiji, prijenosu, transkripciji i snimku.
auto u API-ju). Redovi se označavaju govornikom čim se čuje više od jednog glasa; snimak s jednim govornikom ostaje običan tekst, a drugi glas koji se kasnije pridruži i dalje se uhvati. Obrazac za novu transkripciju uživo na kontrolnoj ploči počinje ovdje.Prijenos datoteke prima istu opciju speakerLabels, a realtime API vam dozvoljava da je promijenite usred toka; detalji su u referenci API-ja. Razdvajanje i imenovanje govornika nikada ne povećava račun (na stranici s cijenama je tarifnik), pa je izbor o tome šta čitalac treba da vidi, a ne šta to košta.
Kad je uključena, dijarizacija je dobra, ali nije magija. Dvije situacije je i dalje nadjačavaju.
Prva je preklapanje. Kad dvije osobe govore istovremeno, jedan dio zvuka nosi dva glasa. Dijarizatori koji uzimaju u obzir preklapanja postoje u istraživanjima i sve više u proizvodima: neuronska dijarizacija s kraja na kraj (EEND), na primjer, tretira pitanje „ko govori“ kao skup istovremenih pitanja da-ili-ne, a ne kao jedan odgovor. Većina proizvodnih sistema, međutim, i dalje dodjeljuje jednog govornika po dijelu zvuka, a prepoznavač iznad njih transkribuje jedan glas u jednom trenutku. Preklapanje govora u živom panelu je najteži zvuk u oblasti, i oznake svakog dobavljača tu se pogoršavaju. To je također, pouzdano, dio koji svi žele kasnije citirati.
Druga su vrlo slični glasovi. Braća i sestre mogu proizvesti ugradnje previše bliske da bi se pouzdano razdvojile, pogotovo kad razmjenjuju kratke replike tokom sat vremena. Telefonski zvuk to pogoršava za sve: uskopojasna linija uzorkuje se na 8 kHz i ne prenosi ništa iznad oko 3.4 kHz, iako se velik dio onoga što razlikuje jedan glas od drugog nalazi iznad te granice. Dvije osobe na istoj telefonskoj liniji dijarizatoru zvuče sličnije nego što vama zvuče.
Najpraktičniji lijek za oboje je prije svakog modela: dajte svakoj osobi vlastiti mikrofon. S jednim kanalom po govorniku, dijarizacija se svodi na pitanje koji kanal je glasniji, preklapanje postaje dva čista traga umjesto jednog zamućenog, a ugradnje se nikada ne traže da urade teški dio. Jedan stoni mikrofon je jeftiniji i gotovo uvijek ono što imate, zbog čega ostatak ovog članka i postoji.
Nijedno ograničenje ne mora doći do čitaoca nepromijenjeno. Pošto su oznake sloj preko riječi, pogrešna oznaka nikada ne košta tekst: imena govornika mogu se postaviti ili obrisati na snimku u bilo kom trenutku, a u transkripciji uživo domaćin može prepisati bilo koju riječ ili red dok još traje, pri čemu je svaka ispravka označena i može se poništiti.
Za stranu riječi, šta mjeri stopa greške riječi i šta propušta detaljno obrađuje slojeve korekcije; WER je za prepoznavač ono što je DER za dijarizator, i transkript treba oboje da bude nizak.