Merkitty litteraatti tarvitsee molemmat vastaukset oikein. Koska tunnisteet ovat sanojen päällä, väärän tunnisteen voi korjata koskematta tekstiin.
Kokouksen litteraatti vastaa kahteen kysymykseen kerralla: mitä sanottiin ja kuka sanoi sen. Lukija näkee yhden tehtävän, nimen rivin vieressä. Sen alla on kaksi ongelmaa, joilla kummallakin on omat syötteensä ja omat tapansa epäonnistua.
Puheentunnistus kuuntelee sanoja. Se muuttaa äänen tekstiksi ja antaa hyvin toteutettuna jokaiselle sanalle alku- ja loppuajan. Sitä ei kiinnosta, vaihtuuko ääni lauseen puolivälissä; sen tehtävä on saada lause oikein.
Puhujadiarisointi kuuntelee ääniä. Se ei tunne sanoja. Sen tehtävä on jakaa aikajana vuoroihin ja kertoa, mitkä vuorot kuuluvat samalle henkilölle: Puhuja 1, Puhuja 2. Sana on lainattu englannin sanasta ”diary”, eli päiväkirja, ja se kuvaa tulosta hyvin: loki siitä, kuka piti puheenvuoroa ja milloin.
Kolme läheistä termiä sekoitetaan siihen usein. Diarisointi kertoo, kuka puhui milloin, tuntematta ketään. Puhujan tunnistaminen kertoo, mikä tunnettu henkilö puhuu, kun valitaan tallennettujen äänten joukosta. Puhujan todentaminen vastaa kyllä–ei-kysymykseen: onko tämä ääni todella henkilö X? Toimittajien väitteitä on helpompi lukea, kun nämä kolme pidetään erillään, koska ”puhujatunnisteet” voivat tarkoittaa mitä tahansa karkeasta arviosta vuorojen rajoista nimiin, jotka seuraavat henkilöä tallenteelta toiselle. Selvittääksesi, mitä nuo tunnisteet voivat ja eivät voi luvata, katso diarisoijan sisälle.
Useimmat diarisointijärjestelmät toimivat kolmessa vaiheessa, eikä mikään niistä perustu kieleen.
Jokainen vaihe voi epäonnistua omalla tavallaan. Hiljainen puhuja jää huomaamatta. Kaksi samankaltaista ääntä yhdistyy. Yksi henkilö, joka siirtyy rauhallisesta innostuneeseen, jakautuu kahdeksi.
Ala mittaa tätä kaikkea diarisoinnin virhetasolla (DER): se on se osuus puheajasta, joka jäi huomaamatta, merkittiin puheeksi vaikka se ei ollut puhetta tai liitettiin väärälle puhujalle. Rajoilla käytetään yleensä noin neljännessekunnin mittaista toleranssivyöhykettä. Vyöhyke on olemassa, koska kukaan – ei ihminen eikä kone – ei voi sijoittaa puhujanvaihdosta millisekunnin tarkkuudella. Tämä toleranssi käy diarisoijan arviointiin sellaisenaan. Litteraatissa se ei käy, sillä neljänneksen sekunnin verran väärin oleva raja osuu sanaan.
Tässä kaksi ongelmaa kohtaavat, ja tässä päätetään merkityn litteraatin laatu. Diarisoija asettaa rajansa hieman epätarkasti, usein murto-osan sekunnista kumpaankin suuntaan. Tunnistin sijoittaa sanat samalle aikajanalle. Jos ne asetetaan päällekkäin suoraan, raja osuu sanan sisään, ja puolet sanasta ”huomenna” kuuluu Puhujalle 1 ja toinen puoli Puhujalle 2.
Tunnisteet voivat myös olla hetken väärin ennen kuin ne ovat oikein. Diarisoija on sitä varmempi ryhmistään, mitä enemmän ääntä se on kuullut, joten varhainen tunniste voi näyttää väärältä myöhemmin tulevan tiedon valossa. Suorassa litteraatissa tunnistetta voidaan muuttaa sen jälkeen, kun rivi on näytetty: VocalStackin reaaliaikainen API lähettää transcript.amended-kehyksen, joka korjaa vahvistetun rivin tekstin tai puhujan paikallaan, joten lukija näkee muutoksen eikä ristiriitaa.
Täydellisesti sijoitettukin ja vakaa tunniste on silti vain numero. Numero riittää seuraamaan keskustelua; nimeä lukija haluaa.
Tunniste muuttuu nimeksi kahdella tavalla, jotka rakentuvat toistensa päälle.
Ensimmäinen on nimeäminen tallenteen sisällä. Jokainen puhuja, jonka litterointi löytää, saa indeksin, joka alkaa nollasta. Kuka tahansa, jolla on pääsy, voi nimetä jokaisen puhujan tallennuksen aikana tai sen jälkeen. Nimi on sanojen päällä olevaa kerrosta, joten sen voi asettaa, muuttaa tai tyhjentää koskematta tekstiin. Rajapinnassa se tehdään kutsulla PUT /v1/recordings/{id}/speakers/{idx} kentällä name; tyhjä nimi poistaa nimen. Rivi, jonka speaker on -1, ei ole tunnistettu, joko siksi, että tunnisteet olivat pois päältä tai, suoran luonnoksen aikana, koska riviä ei ole vielä liitetty puhujalle.
Toinen on tunnistaminen tallenteiden yli, edellisen osion puhujan tunnistamisen ongelma. Diarisoija voi vain sanoa, että kaksi ääntä ovat erilaisia, ei koskaan sitä, keitä ne ovat. Siirtyäkseen ”erilainen” → ”tämä on Ana” järjestelmä tarvitsee vertailukohdan: tallennetun äänen, joka on otettu tältä yhdeltä henkilöltä. Vähintään 30 sekuntia puhdasta puhetta riittää, muutama minuutti on parempi. Näytteen pitää myös kuulostaa samalta kuin tallenteet, joihin sitä verrataan: sama henkilö kannettavan tietokoneen mikrofonilla ja lavamikrofonilla voi kuulostaa koneelle vähemmän samalta kuin kaksi samalla tavalla nauhoitettua tuntematonta. Kun ääni on tallennettu, jokainen litteroinnin kuulema puhuja verrataan siihen, ja osuma kantaa nimen litteraattiin. VocalStackissa tämä on kohdassa Äänet; tiedostolitteroinnit ja hallintapaneelin suorat istunnot täsmäävät tallennettuihin ääniisi automaattisesti, ja reaaliaikaisen API:n istunto tunnistaa vain ne äänet, jotka luettelet kohdassa identifyVoices.
Tallennettu ääni on biometristä dataa: sillä voi tunnistaa henkilön missä tahansa tallenteessa, ja VocalStackissa se toimii myös kloonina, joka voi lukea hänen repliikkinsä ääneen. Hallintapaneeli pyytää vahvistamaan, että sinulla on henkilön lupa ennen kuin tallennat äänen, ja äänen voi poistaa milloin tahansa.
Kaikki tämä olettaa, että haluat tunnisteet lainkaan. Usein et halua.
Pelkkä luennoitsija ei tarvitse ”Puhuja 1” -merkintää jokaisen rivin edessä. Yleisö tietää jo, kenellä on mikrofoni. Puhujatunnisteiden asetuksella on siksi kolme asentoa, ja ne ovat samat reaaliaikaisessa istunnossa, lähetyksessä, litteroinnissa ja tallenteessa.
auto API:ssa). Rivit merkitään puhujallaan, kun useampi kuin yksi ääni on kuultu; yhden puhujan tallenne pysyy pelkkänä tekstinä, ja myöhemmin liittyvä toinen ääni tunnistetaan silti. Hallintapaneelin uusi suoran litteroinnin lomake alkaa tästä asennosta.Tiedostolataus ottaa saman speakerLabels-asetuksen, ja reaaliaikainen API antaa vaihtaa sen kesken virran; yksityiskohdat ovat API-viitteessä. Puhujien erottelu ja nimeäminen eivät koskaan lisää laskua (hinnoittelusivulla on hintataulukko), joten valinta koskee sitä, mitä lukijan pitäisi nähdä, ei sitä, mitä se maksaa.
Päälle kytkettynä diarisointi on hyvä, mutta ei taikaa. Kaksi tilannetta voittaa sen yhä.
Ensimmäinen on päällekkäinen puhe. Kun kaksi ihmistä puhuu yhtä aikaa, yhdessä äänijaksossa on kaksi ääntä. Päällekkäisyyden huomioivia diarisoijia on tutkimuksessa ja yhä useammin tuotteissa; esimerkiksi end-to-end-neuraalinen diarisointi (EEND) käsittelee kysymystä ”kuka puhuu” joukkona samanaikaisia kyllä–ei-kysymyksiä eikä yhtenä vastauksena. Useimmat tuotantojärjestelmät antavat kuitenkin yhä yhden puhujan jaksoa kohden, ja niiden päällä oleva tunnistin litteroi kerrallaan yhden äänen. Kiihkeän paneelikeskustelun päällekkäispuhe on alan vaikeinta ääntä, ja kaikkien valmistajien tunnisteet heikkenevät siellä varmasti. Se on myös juuri se osa, jonka kaikki haluavat myöhemmin lainata.
Toinen on hyvin samankaltaiset äänet. Sisarukset voivat tuottaa upotuksia, jotka ovat liian lähellä toisiaan erottuakseen luotettavasti, varsinkin kun he vaihtavat lyhyitä vuoroja tunnin ajan. Puhelinääni pahentaa tätä kaikille: kapeakaistainen linja näytteistetään 8 kHz:llä ja välittää vain noin 3.4 kHz:iin asti, vaikka suuri osa siitä, mikä erottaa yhden äänen toisesta, on tuon rajan yläpuolella. Kaksi ihmistä samassa puhelinlinjassa kuulostaa diarisoijalle samankaltaisemmalta kuin sinulle.
Käytännöllisin korjaus molempiin on ennen mitään mallia: anna jokaiselle henkilölle oma mikrofoni. Kun kanava on jokaista puhujaa kohden, diarisointi supistuu kysymykseksi siitä, mikä kanava on kovaäänisin, päällekkäinen puhe muuttuu kahdeksi puhtaaksi raidaksi yhden sotkuisen sijaan, eikä upotuksia tarvitse pyytää tekemään vaikeinta osaa. Yksi pöytämikrofoni on halvempi ja melkein aina se, mitä sinulla on, minkä vuoksi loppu tästä artikkelista on olemassa.
Kumpikaan raja ei sinun tarvitse ulottua lukijalle sellaisenaan. Koska tunnisteet ovat kerros sanojen päällä, väärä tunniste ei koskaan maksa tekstiä: puhujien nimiä voi asettaa tai tyhjentää tallenteelta milloin tahansa, ja reaaliaikaisessa litteroinnissa isäntä voi kirjoittaa minkä tahansa sanan tai rivin uudelleen vielä kesken ajon, ja jokainen korjaus merkitään ja voidaan kumota.
Sanojen puolelta mitä sanavirhesuhde (WER) mittaa ja mitä se jättää huomaamatta kertoo korjauskerroksista tarkemmin; WER on tunnistimelle sitä, mitä DER on diarisoijalle, ja litteraatin täytyy pitää molemmat alhaalla.