Märgistatud transkript vajab mõlemat vastust õigesti, ja kuna sildid asuvad sõnade peal, saab vale sildi parandada ilma tekstile puudutamata.
Koosoleku transkript vastab korraga kahele küsimusele: mida öeldi ja kes seda ütles. Lugeja näeb ühte ülesannet, nimi on rea kõrval. Selle all on kaks probleemi, igaühel oma sisendid ja omad vead.
Kõnetuvastus kuulab sõnu. Ta muudab heli tekstiks ja, kui hästi tehtud, annab iga sõna jaoks alguse ja lõpu aja. Ta ei hooli sellest, kas hääl muutus lause keskel; tema ülesanne on lause õigesti saada.
Kõneleja diarisatsioon kuulab hääli. Ta ei tunne sõnu. Tema ülesanne on jagada ajatelg pöörideks ja öelda, millised pöörded kuuluvad samale inimesele: „Speaker 1”, „Speaker 2”. Sõna on laenatud ingliskeelsest sõnast „diary” (päevik), ja see on väljundi hea kujutis: logi selle kohta, kes sõnaõigust hoidis ja millal.
Kolm lähedast mõistet aetakse sellega segamini. Diarisatsioon ütleb, kes millal rääkis, teadmata kedagi nimepidi. Kõneleja tuvastamine ütleb, milline tuntud inimene kõneleb, valides registreeritud häälte hulgast. Kõneleja verifitseerimine vastab jah-või-ei küsimusele: kas see hääl on tõesti isik X? Tootjate väited on kergemini loetavad, kui need kolm lahus hoida, sest „kõnelejasildid” võivad tähendada kõike umbkaudsest pöördepiiride hinnangust kuni nimedeni, mis järgivad inimest ühest salvestisest teise. Et mõista, mida need sildid lubada ja mida mitte, vaatame diarisaatori sisse.
Enamik diarisatsioonisüsteeme töötab kolme sammuga, millest ükski ei puuduta keelt.
Iga samm võib eraldi ebaõnnestuda. Vaikne kõneleja jääb märkamata. Kaks sarnast häält sulavad kokku. Üks inimene, kes läheb rahulikust elavaks, jaguneb kaheks.
Valdkond hindab seda kõike diarisatsiooni veamääraga (diarization error rate, DER): selle osaga kõnekestusest, mis jäi märkamata, märgiti valesti kõneks või omistati vale kõnelejale. Tavaliselt arvestatakse andestusvööndit umbes veerand sekundit iga piiri ümber. Vöönd on olemas, sest keegi, nii inimene kui masin, ei suuda kõneleja vahetust millisekundi täpsusega paigutada. See tolerants sobib diarisaatori eraldi hindamiseks. Transkripti jaoks ta ei sobi, sest seal piir, mis on veerand sekundit mööda, asub juba sõna peal.
Siin kohtuvad kaks probleemi ning siin otsustatakse märgistatud transkripti kvaliteet. Diarisaator paigutab oma piirid teatud ebatäpsusega, sageli murdosa sekundi võrra kummaski suunas. Kõnetuvastaja paigutab sõnad samale ajatelgile. Kui need kaks lihtsalt üksteise peale panna, satub piir sõna sisse, nii et pool sõnast „homme” kuulub Speaker 1-le ja teine pool Speaker 2-le.
Sildid võivad enne õigeks saamist mõnda aega valed olla. Diarisaator muutub oma rühmades kindlamaks, mida rohkem heli ta on kuulnud, nii et varane silt võib hilisemate teadmiste järgi tunduda vale. Otsesel transkriptil võib silti pärast rea kuvamist muuta: VocalStacki reaalajas API saadab kaadri transcript.amended, mis parandab kinnitatud rea teksti või kõnelejat kohapeal, nii et lugeja näeb muudatust, mitte vastuolu.
Isegi täiesti õigesti paigutatud ja stabiilne silt on ikka ainult number. Number on piisav vestluse jälgimiseks; nimi on see, mida inimesed lugeda tahavad.
Silt muutub nimeks kahel viisil, ja need ehitavad teineteisele peale.
Esimene on nimetamine ühe salvestise sees. Iga kõneleja, kelle transkriptsioon leiab, saab indeksi, mis algab nullist. Igaüks, kellel on ligipääs, saab iga kõneleja nimetada salvestamise ajal või pärast seda. Nimi on kiht sõnade peal, nii et seda saab määrata, muuta või tühjendada ilma tekstile puudutamata. API kaudu on selleks PUT /v1/recordings/{id}/speakers/{idx} koos väljaga name; tühi nimi tühjendab sildi. Rida, mille speaker on -1, ei ole märgistatud, kas siis seetõttu, et sildid olid välja lülitatud, või reaalajas mustandis, kus rida ei ole veel kellelegi omistatud.
Teine on tuvastamine salvestiste vahel, see on esimese jaotise tuvastusprobleem. Diarisaator suudab öelda ainult, et kaks häält on erinevad, mitte kes nad on. Et minna „erinevad” juurest „see on Ana” juurde, vajab süsteem viidet: salvestatud häält, mis on võetud selle ühe inimese salvestisest. Miinimum on kolmkümmend sekundit puhast kõnet, parem on mitu minutit. Näidis peaks kõlama samamoodi nagu salvestised, millega seda võrreldakse: sama inimene sülearvuti mikrofonis ja lavamikrofonis võib masinale kõlada vähem sarnaselt kui kaks võõrast, kes on salvestatud ühtemoodi. Kui hääl on salvestatud, võrreldakse iga transkriptsiooni kuuldud kõnelejat sellega ja vaste viib nime transkripti. VocalStackis asub see jaotises Voices; failipõhised transkriptsioonid ja töölaua reaalajas seansid sobitavad salvestatud hääled automaatselt, reaalajas API seanss tunneb ära ainult need hääled, mis on loetletud väljas identifyVoices.
Salvestatud hääl on biomeetrilised andmed: see võib tuvastada inimese mis tahes salvestises, ja VocalStackis toimib see ka kloonina, mis suudab tema read valjusti ette lugeda. Töölaud palub enne salvestamist kinnitada, et sul on inimese luba, ja häält saab igal ajal kustutada.
Kõik see eeldab, et sa üldse tahad silte. Sageli ei taha.
Üksik inimene, kes loeb loengut, ei vaja iga rea ees „Speaker 1”. Publik teab juba, kellel on mikrofon. Seetõttu on kõnelejasiltide seadel kolm asendit ning need on samad reaalajas seansil, ülekandes, transkriptsioonis ja salvestises.
auto). Read märgistatakse kõnelejaga, kui on kuulda rohkem kui üks hääl; ühe kõnelejaga salvestis jääb lihttekstiks ja hiljem liituv teine hääl tuvastatakse ikka. Töölaua uus reaalajas transkriptsiooni vorm alustab selles asendis.Failiüleslaadimine võtab sama valiku speakerLabels ning reaalajas API võimaldab seda voo ajal muuta; üksikasjad on API viites. Kõnelejate eraldamine ja nimetamine ei lisa arvele kunagi midagi (hinnakiri on hindade lehel), nii et valik puudutab seda, mida lugeja peaks nägema, mitte seda, mis maksab.
Sisselülitatuna on diarisatsioon hea, aga mitte võluvahend. Kaks olukorda on ikka veel sellest üle.
Esimene on kattumine. Kui kaks inimest räägivad korraga, kannab üks heli lõik kahte häält. Kattumist arvestavad diarisaatorid on olemas uurimistöös ja üha enam ka toodetes: näiteks otsast-lõpuni närvivõrgu diarisatsioon (end-to-end neural diarization, EEND) käsitleb küsimust „kes räägib” kui hulka samaaegseid jah-või-ei küsimusi, mitte ühe vastusena. Enamik tootmissüsteeme määrab siiski ühe kõneleja lõigu kohta ja nende peal olev tuvastaja kirjutab ühe hääle korraga üles. Kuumas paneelis, kus inimesed segavad üksteist, on see valdkonna raskeim heli ning iga tootja sildid muutuvad seal halvemaks. See on ka kindlasti see osa, mida kõik hiljem tsiteerida tahavad.
Teine on väga sarnased hääled. Õed-vennad võivad tekitada manustusi, mis on liiga lähestikku, et neid usaldusväärselt eraldada, eriti kui nad vahetavad tunni jooksul lühikesi pöördeid. Telefonihelis läheb see kõigi jaoks hullemaks: kitsaribalist liini salvestatakse 8 kHz sagedusel ja see ei ulatu üle umbes 3,4 kHz, kuid suur osa sellest, mis eristab ühte häält teisest, asub selle piirist kõrgemal. Kaks inimest samal telefoniliinil kõlavad diarisaatorile sarnasemalt kui sulle.
Mõlema kõige praktilisem lahendus asub igasuguse mudeli ees: anna igaühele oma mikrofon. Kui kõneleja kohta on oma kanal, taandub diarisatsioon küsimusele, milline kanal on valjem; kattumine muutub kahe puhta rajaga, mitte ühe segase rajaga, ja manustusi ei pea tegema raskemat osa. Üks laua mikrofon on odavam ja peaaegu alati see, mis sul on, ning just sellepärast on olemas kogu see artikkel.
Kumbagi piirangut ei pea lugeja ette jõudma muutumatult. Kuna sildid on kiht sõnade peal, ei kao vale sildi tõttu kunagi tekst: kõnelejate nimesid saab salvestisel igal ajal määrata või tühjendada ning reaalajas transkriptsioonis võib saatja kirjutada üle iga sõna või rea, kui see veel käib, ja iga parandus on märgitud ning tagasi võetav.
Sõnapoole kohta vaata mida sõnaveamäär mõõdab ja mida see ei näita: seal on põhjalikult kirjeldatud paranduskihid. WER on kõnetuvastajale see, mis DER diarisaatorile, ja transkript vajab mõlemat madalana.