Pažymėtas nuorašas turi būti teisingas abiem atžvilgiais, o kadangi žymos užklojamos ant žodžių, klaidingą galima ištaisyti nepaliečiant teksto.
Susirinkimo nuorašas atsako į du klausimus vienu metu: kas buvo pasakyta ir kas tai pasakė. Skaitytojas mato vieną užduotį – vardą šalia eilutės. Po ja slypi dvi problemos, kiekviena su savais įvesties duomenimis ir savais gedimo būdais.
Kalbos atpažinimas klauso žodžių. Jis paverčia garsą tekstu ir, kai veikia gerai, nurodo kiekvieno žodžio pradžios ir pabaigos laiką. Jam nerūpi, ar balsas per sakinį pasikeitė; jo užduotis – teisingai atpažinti sakinį.
Kalbėtojų diarizacija klauso balsų. Žodžių ji nežino. Jos užduotis – padalyti laiko juostą į replikas ir nurodyti, kurios replikos priklauso tam pačiam asmeniui: Kalbėtojas 1, Kalbėtojas 2. Žodis kilęs iš angl. „diary“ (dienoraštis), ir tai tinkamas išvesties vaizdas: žurnalas, kas laikė žodį ir kada.
Su ja susiję trys artimi terminai dažnai painiojami. Diarizacija nurodo, kas kada kalbėjo, nežinodama, kas tai. Kalbėtojo identifikavimas nurodo, kuriam žinomam asmeniui priklauso kalbos ruožas, parinkdamas iš įregistruotų balsų rinkinio. Kalbėtojo verifikavimas atsako į klausimą taip arba ne: ar šis balsas tikrai priklauso asmeniui X? Tiekėjų teiginius lengviau suprasti, kai šie trys atskiriami, nes „kalbėtojų žymos“ gali reikšti bet ką – nuo apytikslio replikų ribų spėjimo iki vardų, kurie seka asmenį iš vieno įrašo į kitą. Norint suprasti, ką tos žymos gali ir ko negali pažadėti, reikia pažvelgti į diarizatoriaus vidų.
Dauguma diarizacijos sistemų veikia trimis žingsniais, kuriuose nėra nieko apie kalbą.
Kiekvienas žingsnis gali suklysti savarankiškai. Tylus kalbėtojas praleidžiamas. Du panašūs balsai sujungiami. Vienas asmuo, pereinantis nuo ramaus prie įsijautusio kalbėjimo, išskaidomas į du.
Sritis visa tai vertina diarizacijos klaidos rodikliu, DER: ta kalbos laiko dalis, kuri buvo praleista, klaidingai aptikta kaip kalba arba priskirta klaidingam kalbėtojui, paprastai su maždaug ketvirčio sekundės atleidimo juosta (angl. forgiveness collar) aplink kiekvieną ribą. Ši juosta egzistuoja todėl, kad niekas – nei žmogus, nei mašina – negali nustatyti kalbėtojo pakeitimo iki milisekundės. Ši tolerancija tinka diarizatoriui vertinti atskirai. Nuorašui ji netinka: ketvirčio sekundės poslinkis nuo ribos nukrenta ant žodžio.
Čia susitinka dvi problemos, ir čia nulemama pažymėto nuorašo kokybė. Diarizatorius ribas nustato su tam tikru netikslumu, dažnai per dalį sekundės į vieną ar kitą pusę. Atpažinimo sistema žodžius išdėsto tame pačiame laiko juostoje. Jei abu sluoksniai uždedami vienas ant kito paprastai, riba patenka į vidurį žodžio, todėl pusė žodžio „rytoj“ priklauso Kalbėtojui 1, o kita pusė – Kalbėtojui 2.
Žymos gali kurį laiką būti klaidingos, prieš tapdamos teisingomis. Diarizatorius tampa tikresnis savo grupėmis tuo labiau, kuo daugiau garso yra išgirdęs, todėl ankstyvoji žyma pagal vėlesnius duomenis gali atrodyti klaidinga. Tiesioginiame nuorašyje žymą galima peržiūrėti jau parodžius eilutę: VocalStack realiojo laiko API siunčia transcript.amended kadrą, kuris ištaiso patvirtintos eilutės tekstą ar kalbėtoją vietoje, todėl skaitytojas mato pataisymą, o ne prieštaravimą.
Net tobula, tvirta žyma vis tiek yra tik skaičius. Skaičiaus pakanka sekti pokalbį; vardo nori skaityti žmonės.
Žyma virsta vardu dviem būdais, ir vienas kitą papildo.
Pirmasis – įvardijimas viename įraše. Kiekvienas kalbėtojas, kurį randa transkribavimas, gauna indeksą, skaičiuojamą nuo 0. Kiekvienas, turintis prieigą, gali įvardyti kiekvieną kalbėtoją įrašymo metu arba po jo. Vardas yra sluoksnis virš žodžių, todėl jį galima nustatyti, pakeisti ar išvalyti nepaliečiant teksto. Per API tai daroma su PUT /v1/recordings/{id}/speakers/{idx} ir name; tuščias vardas išvalo žymą. Eilutė, kurios speaker yra -1, neturi žymos – arba todėl, kad žymos buvo išjungtos, arba todėl, kad tiesioginio juodraščio eilutė dar nepriskirta kalbėtojui.
Antrasis – atpažinimas tarp įrašų, t. y. identifikavimo problema iš pirmojo skyriaus. Diarizatorius gali pasakyti tik tai, kad du balsai skirtingi, bet niekada – kas jie. Kad iš „skirtingi“ pereitume prie „tai Ana“, sistemai reikia nuorodos: išsaugoto balso, paimto iš to asmens įrašo. Minimaliai reikia trisdešimt sekundžių aiškios kalbos, geriau – keletas minučių. Pavyzdys turi skambėti panašiai į įrašus, su kuriais bus lyginamas: tas pats asmuo nešiojamojo kompiuterio mikrofone ir scenos mikrofone mašinai gali skambėti mažiau panašiai nei du svetimi žmonės, įrašyti tuo pačiu būdu. Išsaugojus balsą, kiekvienas transkribavimo girdimas kalbėtojas lyginamas su juo, o sutapimas perkelia vardą į nuorašą. VocalStack tai veikia skiltyje Voices: failų transkribavimai ir valdymo skydelio tiesioginės sesijos automatiškai atpažįsta jūsų išsaugotus balsus, o realiojo laiko API sesija atpažįsta tik tuos balsus, kuriuos įrašote lauke identifyVoices.
Išsaugotas balsas yra biometriniai duomenys: jis gali atpažinti asmenį bet kuriame įraše, o VocalStack jis taip pat veikia kaip klonas, galintis perskaityti jo tekstus balsu. Valdymo skydelis prieš išsaugant balsą paprašo patvirtinti, kad turite asmens leidimą, o balsą galima ištrinti bet kada.
Visa tai daroma prielaida, kad apskritai norite žymų. Dažnai nenorite.
Vienas asmuo, skaitantis paskaitą, nereikia „Kalbėtojas 1“ prieš kiekvieną eilutę. Auditorija jau žino, kas turi mikrofoną. Todėl kalbėtojų žymų nustatymas turi tris padėtis, ir jos vienodos realiojo laiko sesijoje, transliacijoje, transkribavime ir įraše.
auto). Eilutės pažymimos kalbėtojais, kai išgirstas daugiau nei vienas balsas; įrašas su vienu kalbėtoju lieka paprastas tekstas, o antras balsas, prisijungiantis vėliau, vis tiek aptinkamas. Valdymo skydelio nauja tiesioginio transkribavimo forma pradeda nuo šios padėties.Failo įkėlimas priima tą patį speakerLabels parametrą, o realiojo laiko API leidžia jį keisti srauto metu; detalės – API nuorodoje. Kalbėtojų atskyrimas ir įvardijimas niekada nepadidina sąskaitos (įkainius rasite kainų puslapyje), todėl pasirinkimas priklauso nuo to, ką turi matyti skaitytojas, o ne nuo to, kiek tai kainuoja.
Įjungta diarizacija yra gera, bet ne stebuklinga. Vis dar ją įveikia du atvejai.
Pirmasis – persikalbėjimas. Kai du žmonės kalba vienu metu, viena garso dalis neša du balsus. Diarizatoriai, atsižvelgiantys į persidengimą, egzistuoja moksliniuose tyrimuose ir vis dažniau produktuose: pavyzdžiui, neuroninė diarizacija nuo galo iki galo (EEND) traktuoja „kas kalba“ kaip rinkinį vienu metu užduodamų taip ar ne klausimų, o ne kaip vieno atsakymo paieškos problemą. Vis dėlto dauguma gamybinių sistemų vis dar priskiria vieną kalbėtoją kiekvienai daliai, o atpažintuvas virš jų transkribuoja po vieną balsą. Persikalbėjimas įkaitusioje diskusijoje – sunkiausias garsas šioje srityje, ir kiekvieno tiekėjo žymos ten blogėja. Tai taip pat ta dalis, kurią visi vėliau nori cituoti.
Antrasis – labai panašūs balsai. Broliai ir seserys gali sukurti per daug artimus įterpinius, kad jie būtų patikimai atskirti, ypač kai per valandą keičiasi trumpomis replikomis. Telefono garsas tai pablogina visiems: siaurajuostė linija įrašoma 8 kHz dažniu ir neperduoda nieko aukščiau maždaug 3,4 kHz, nors didelė dalis to, kas skiria vieną balsą nuo kito, yra virš šios ribos. Du žmonės tame pačiame telefono kanale diarizatoriui skamba labiau panašiai nei jums.
Praktiškiausias sprendimas abiems atvejams yra prieš bet kokį modelį: kiekvienas asmuo turi savo mikrofoną. Su vienu kanalu kiekvienam kalbėtojui diarizacija sumažėja iki klausimo, kuris kanalas garsesnis, persidengimas tampa dviem švariais takeliais vietoje vieno sumaišyto, o įterpiniams nereikia spręsti sunkiausios dalies. Vienas stalo mikrofonas pigesnis ir beveik visada yra tai, ką turite, todėl likęs šis straipsnis ir skirtas būtent jam.
Nė viena riba nebūtina pasiekti skaitytoją nepakitusią. Kadangi žymos yra sluoksnis virš žodžių, klaidinga žyma niekada neatima teksto: kalbėtojų vardus galima nustatyti ar išvalyti įraše bet kuriuo metu, o tiesioginio transkribavimo šeimininkas gali perrašyti bet kurį žodį ar eilutę dar jai veikiant, ir kiekvienas pataisymas pažymimas bei gali būti atšauktas.
Žodžių pusei – ką matuoja žodžių klaidų dažnis ir ką jis praleidžia išsamiai aprašo taisymo sluoksnius; WER atpažintuvui yra tai, kas DER diarizatoriui, ir nuorašui reikia, kad abu būtų maži.