Una transcripció amb etiquetes necessita que les dues respostes siguin correctes, i com que les etiquetes van per sobre de les paraules, una d'errònia es pot corregir sense tocar el text.
Una transcripció d'una reunió respon dues preguntes alhora: què es va dir i qui ho va dir. Un lector en veu una sola tasca, un nom al costat d'una línia. Per sota hi ha dos problemes, cadascun amb les seves entrades i les seves maneres de fallar.
El reconeixement de la parla escolta les paraules. Converteix l'àudio en text i, quan ho fa bé, indica l'hora d'inici i de fi de cada paraula. No li importa si la veu canvia a mitja frase; la seva feina és encertar la frase.
La diarització de parlants escolta les veus. No coneix les paraules. La seva feina és dividir la línia de temps en torns i dir quins torns pertanyen a la mateixa persona: Parlant 1, Parlant 2. La paraula ve de «diari», i és una bona imatge de la sortida: un registre de qui ha tingut la paraula i quan.
Hi ha tres termes veïns que es confonen amb ella. La diarització diu qui parla quan, sense saber qui és ningú. La identificació de parlants diu a quina persona coneguda pertany un fragment de parla, triant d'entre un conjunt de veus enregistrades. La verificació de parlants respon una pregunta de sí o no: és aquesta veu realment la persona X? Les afirmacions dels proveïdors són més fàcils de llegir quan es mantenen separats els tres, perquè «les etiquetes de parlant» poden voler dir des d'una estimació aproximada dels límits de torn fins a noms que segueixen una persona d'una gravació a la següent. Per veure què poden prometre aquestes etiquetes, i què no, cal mirar a dins del diaritzador.
La majoria de sistemes de diarització funcionen en tres passos, cap dels quals no depèn del llenguatge.
Cada pas pot fallar pel seu compte. Un parlant baix es perd. Dues veus semblants es fusionen. Una persona que passa de calma a animada es divideix en dues.
El camp puntua tot això amb la taxa d'error de diarització, DER: la proporció del temps de parla que es va perdre, que es va detectar falsament com a parla, o que es va atribuir al parlant equivocat, normalment amb un marge de tolerància («collar») d'un quart de segon al voltant de cada límit. El marge existeix perquè ningú, ni humà ni màquina, no pot situar un canvi de parlant amb precisió de mil·lisegons. Aquesta tolerància és acceptable per puntuar un diaritzador per si sol. No ho és per a una transcripció, on un límit que està un quart de segon fora cau sobre una paraula.
Aquí és on es troben els dos problemes, i on es decideix la qualitat d'una transcripció amb etiquetes. Un diaritzador situa els seus límits amb una certa imprecisió, sovint una fracció de segon en un sentit o en l'altre. Un reconeixedor situa les paraules en la mateixa línia de temps. Si es superposen els dos de manera ingènua, un límit cau dins d'una paraula, i la meitat de «demà» pertany al Parlant 1 i l'altra meitat al Parlant 2.
Les etiquetes també poden estar equivocades durant una estona abans d'encertar-les. Un diaritzador es fa més segur dels seus grups com més àudio ha escoltat, de manera que una etiqueta inicial pot semblar errònia segons el que arribarà més tard. En una transcripció en directe, una etiqueta es pot revisar després de mostrar la línia: l'API en temps real de VocalStack envia un frame transcript.amended que corregeix el text o el parlant d'una línia ja confirmada, de manera que el lector veu la revisió i no una contradicció.
Fins i tot una etiqueta perfectament situada i estable continua sent només un número. Un número és suficient per seguir una conversa; un nom és el que la gent vol llegir.
Una etiqueta es converteix en un nom de dues maneres, que es recolzen una sobre l'altra.
La primera és posar nom dins d'una mateixa gravació. Cada parlant que troba una transcripció rep un índex, comptat des de 0. Qualsevol persona amb accés pot posar nom a cada parlant durant o després de la gravació. El nom és una capa sobre les paraules, de manera que es pot establir, canviar o esborrar sense tocar el text. Per l'API, això és PUT /v1/recordings/{id}/speakers/{idx} amb un name; un nom buit l'esborra. Una línia amb speaker igual a -1 no té etiqueta, ja sigui perquè les etiquetes estaven desactivades o, en un esborrany en directe, perquè encara no s'ha atribuït la línia.
La segona és el reconeixement entre gravacions, el problema d'identificació de la primera secció. Un diaritzador només pot dir que dues veus són diferents, mai qui són. Per passar de «diferent» a «aquesta és l'Ana», el sistema necessita una referència: una veu desada, presa d'una gravació d'aquella persona. Trenta segons de parla neta és el mínim, i uns quants minuts és millor. La mostra també hauria de sonar com les gravacions amb les quals es compararà: la mateixa persona amb un micròfon de portàtil i amb un micròfon d'escenari pot sonar menys semblant per a una màquina que dues desconegudes gravades de la mateixa manera. Un cop desada una veu, cada parlant que escolta una transcripció es compara amb ella, i una coincidència porta el nom a la transcripció. A VocalStack això viu a Voices; les transcripcions de fitxers i les sessions en directe del tauler coincideixen amb les teves veus desades automàticament, i una sessió de l'API en temps real només reconeix les veus que enumeres a identifyVoices.
Una veu desada és una dada biomètrica: pot reconèixer una persona en qualsevol gravació i, a VocalStack, també fa de clon que pot llegir les seves frases en veu alta. El tauler et demana que confirmis que tens el permís de la persona abans de desar-ne una, i una veu es pot esborrar en qualsevol moment.
Tot això suposa que vols etiquetes. Sovint no les vols.
Una sola persona que llegeix una conferència no necessita «Parlant 1» davant de cada línia. El públic ja sap qui té el micròfon. Per això l'opció d'etiquetes de parlant té tres posicions, i són les mateixes en una sessió en temps real, una emissió, una transcripció i una gravació.
auto a l'API). Les línies s'etiqueten amb el seu parlant quan se n'escolta més d'una veu; una gravació d'un sol parlant es queda en text pla, i una segona veu que s'afegeix tard encara es detecta. El formulari nou de transcripció en directe del tauler comença en aquesta posició.Una pujada de fitxer accepta la mateixa opció speakerLabels, i l'API en temps real et deixa canviar-la a mig flux; els detalls són a la referència de l'API. La separació i la posada de nom dels parlants mai no suma al cost (la pàgina de preus té la taula de tarifes), de manera que la decisió es refereix a què ha de veure el lector, no a quant costa.
Amb la diarització activada, és bona però no màgica. Hi ha dues situacions que encara la superen.
El primer és la superposició. Quan dues persones parlen alhora, un fragment d'àudio porta dues veus. Hi ha diaritzadors que tenen en compte la superposició, en la recerca i, cada cop més, en productes: la diarització neuronal d'extrem a extrem (EEND), per exemple, tracta «qui parla» com un conjunt de preguntes simultànies de sí o no en lloc d'una sola resposta. Tanmateix, la majoria de sistemes de producció encara assignen un sol parlant a cada fragment, i el reconeixedor que hi ha a sobre transcriu una veu cada vegada. Les discussions creuades en un panell acalorat són l'àudio més difícil del camp, i les etiquetes de cada proveïdor empitjoren allà. També és, de manera fiable, la part que tothom vol citar després.
El segon és que hi ha veus molt semblants. Els germans poden produir incrustacions massa properes per separar-les de manera fiable, més encara quan intercanvien torns curts durant una hora. L'àudio telefònic ho empitjora per a tothom: una línia de banda estreta es mostreja a 8 kHz i només conserva fins a uns 3,4 kHz, però bona part del que distingeix una veu d'una altra es troba per sobre d'aquest límit. Dues persones en la mateixa línia telefònica sonen més semblants per a un diaritzador del que sonen per a tu.
El remei més pràctic per a tots dos és anterior a qualsevol model: donar a cada persona el seu propi micròfon. Amb un canal per parlant, la diarització es redueix a preguntar quin canal sona més fort, la superposició es converteix en dues pistes netes en lloc d'una de confusa, i mai no es demana a les incrustacions que facin la part difícil. Un micròfon de taula únic és més barat i quasi sempre és el que tens, per això la resta d'aquest article existeix.
Cap de les dues limitacions ha d'arribar al lector sense canvis. Com que les etiquetes són una capa sobre les paraules, una etiqueta errònia no et costa mai el text: els noms dels parlants es poden establir o esborrar en una gravació en qualsevol moment, i en una transcripció en directe l'amfitrió pot reescriure qualsevol paraula o línia mentre encara s'està executant, amb cada correcció marcada i reversible.
Pel que fa a les paraules, què mesura la taxa d'error de paraula i què deixa fora explica en detall les capes de correcció; la WER és per al reconeixedor el que la DER és per al diaritzador, i una transcripció necessita que tots dos siguin baixos.