A címkézett átirathoz mindkét választ helyesen kell megadni, és mivel a címkék a szavak fölött ülnek, egy téves címke a szöveg érintése nélkül javítható.
Egy megbeszélés átirata két kérdésre ad választ egyszerre: mi hangzott el, és ki mondta. Az olvasó egyetlen feladatot lát: egy nevet a sor mellett. Alatta azonban két probléma húzódik, mindegyiknek megvannak a maga bemenetei és a maga hibázási módjai.
A beszédfelismerés a szavakra figyel. Hangfelvételből szöveget készít, és jó működés esetén minden szóhoz megadja a kezdő és a befejező időpontot. Nem törődik azzal, ha a hang félmondatban megváltozik; a feladata az, hogy a mondat szövege pontos legyen.
A beszélőszétválasztás (diarizáció) a hangokra figyel. Szavakat nem ismer. Feladata, hogy az idővonalat fordulókraossza, és megmondja, mely fordulók tartoznak ugyanahhoz a személyhez: 1. beszélő, 2. beszélő. A szó a „diary” (napló) szóból származik, és a kimenetet jól írja le: napló arról, ki és mikor vette át a szót.
Három rokon fogalom is összekeveredik vele. A diarizáció azt mondja meg, ki mikor beszélt, anélkül hogy bárkit ismerne. A beszélőazonosítás azt mondja meg, hogy a beszéd egy szakasza a regisztrált hangok közül melyik ismert személyhez tartozik. A beszélőverifikáció egy igen-nem kérdésre felel: valóban X személy hangja ez? A szolgáltatók állításai könnyebben értelmezhetők, ha e hármat szétválasztjuk, mert a „beszélőcímke” jelentheti a fordulóhatárok durva becslését is, de olyan neveket is, amelyek egy személyt több felvételen át követnek. Hogy lássuk, mit tudnak és mit nem tudnak ezek a címkék, nézzünk bele a diarizálóba.
A legtöbb diarizációs rendszer három lépésben dolgozik, és egyik sem használ nyelvet.
Minden lépés külön-külön is hibázhat. Egy halk beszélő kimarad. Két hasonló hang összeolvad. Egy személy, aki nyugodtról lelkesre vált, kettéválik.
A terület mindezt a diarizációs hibaaránnyal (DER) méri: annak a beszédidőnek az arányával, amely kimaradt, tévesen beszédnek minősült, vagy rossz beszélőhöz került. Ehhez általában minden határ körül mintegy negyedmásodperces megbocsátási sávot (forgiveness collar) használnak. A sávra azért van szükség, mert senki, sem ember, sem gép, nem tudja a beszélőváltást ezredmásodperc pontossággal kijelölni. Ez a tűrés elfogadható, ha a diarizálót önmagában értékeljük. Átiratnál viszont nem, mert ott a negyedmásodperccel eltolt határ egy szóra esik.
Itt találkozik a két probléma, és itt dől el egy címkézett átirat minősége. A diarizáló a határait némi pontatlansággal helyezi el, gyakran a másodperc töredékével előre vagy hátra. A felismerő a szavakat ugyanarra az idővonalra teszi. Ha a kettőt naivan egymásra helyezzük, a határ egy szón belülre esik, és a „holnap” szó egyik fele az 1. beszélőé lesz, a másik fele a 2. beszélőé.
A címkék egy ideig tévesek is lehetnek, mielőtt helyesek lennének. A diarizáló annál biztosabb a csoportjaiban, minél több hangot hallott, így egy korai címke a későbbi tudás fényében hibásnak tűnhet. Élő átiratnál a címke azután is módosulhat, hogy egy sor már megjelent: a VocalStack valós idejű API-ja egy transcript.amended keretet küld, amely a már véglegesített sor szövegét vagy beszélőjét helyben javítja, így az olvasó módosítást lát, nem ellentmondást.
Még a tökéletesen elhelyezett, tökéletesen stabil címke is csak szám. Egy szám elég ahhoz, hogy követni lehessen a beszélgetést; az emberek viszont nevet akarnak olvasni.
A címkéből kétféleképpen lesz név, és ezek egymásra épülnek.
Az első a névadás egy felvételen belül. Minden beszélő, akit az átírás talál, kap egy indexet, 0-tól számolva. Bárki, akinek hozzáférése van, a felvétel közben vagy után elnevezheti az egyes beszélőket. A név a szavak fölötti réteg, így anélkül állítható be, módosítható vagy törölhető, hogy a szöveghez hozzányúlnánk. Az API-n ezt a PUT /v1/recordings/{id}/speakers/{idx} hívás végzi egy name mezővel; az üres név törli a nevet. Az a sor, amelynek speaker értéke -1, nincs címkézve: vagy azért, mert a címkézés ki volt kapcsolva, vagy élő piszkozatban azért, mert a sort még nem rendelték beszélőhöz.
A második a felismerés több felvétel között, az első szakaszban említett azonosítási probléma. A diarizáló csak azt tudja megmondani, hogy két hang különbözik, azt soha, hogy kié. Ahhoz, hogy a „különbözik” helyett azt tudjuk, hogy „ez Ana”, a rendszernek referenciára van szüksége: elmentett hangra, amely arról az egy személyről készült felvételből származik. Legalább harminc másodpercnyi tiszta beszéd kell, de néhány perc jobb. A mintának hasonlítania kell arra a felvételre is, amelyhez majd illesztik: ugyanaz a személy egy laptop mikrofonján és egy színpadi mikrofonon egy gép számára kevésbé hasonlíthat egymásra, mint két idegen, akiket azonos módon vettek fel. Ha egy hang el van mentve, minden beszélőt, akit az átirat hall, összehasonlítanak vele, és az egyezés átviszi a nevet az átiratba. A VocalStackben ez a Hangok alatt érhető el; a fájlátiratok és a Dashboard élő munkamenetei automatikusan illesztik a mentett hangjaidat, a valós idejű API-munkamenet pedig csak az identifyVoices mezőben felsorolt hangokat ismeri fel.
Az elmentett hang biometrikus adat: bármely felvételen fel tud ismerni egy személyt, a VocalStackben pedig klónként is működhet, amely a személy sorait fel tudja olvasni. A Dashboard megkérdezi, hogy megvan-e a személy engedélye a mentés előtt, az elmentett hang pedig bármikor törölhető.
Mindez feltételezi, hogy egyáltalán kell-e címke. Gyakran nem kell.
Egy előadást tartó személynek nem kell minden sor elé „Beszélő 1”-et írni. A közönség tudja, ki van a mikrofonnál. Ezért a beszélőcímkézési beállításnak három állása van, és ugyanazok valós idejű munkamenetnél, közvetítésnél, átiratnál és felvételnél.
auto az API-ban). A sorok a beszélőjükkel együtt vannak címkézve, amint egynél több hang hallatszik; egy beszélős felvétel egyszerű szöveg marad, de a később csatlakozó második hang is észrevétetik. A Dashboard új élő átírási űrlapja ebben az állapotban indul.A fájlfeltöltés ugyanazt a speakerLabels opciót használja, a valós idejű API pedig folyamatban is megengedi a változtatást; a részleteket az API-referencia tartalmazza. A beszélők szétválasztása és elnevezése soha nem növeli a számlát (a díjszabást az árak oldala tartalmazza), így a választás arról szól, mit lásson az olvasó, nem arról, mennyibe kerül.
Bekapcsolva a diarizáció jó, de nem csodaszer. Két helyzetben még így is alulmarad.
Az első az átfedés. Ha két ember egyszerre beszél, a hangsáv egy szakasza két hangot hordoz. Léteznek átfedésre érzékeny diarizálók a kutatásban, és egyre inkább a termékekben is: az end-to-end neurális diarizáció (EEND) például a „ki beszél” kérdést egymással egyidejű igen-nem kérdések halmazaként kezeli, nem egyetlen válaszként. A legtöbb éles rendszer azonban még mindig szakaszonként egy beszélőt rendel hozzá, a rájuk épülő felismerő pedig egyszerre egy hangot ír át. Egy heves panelbeszélgetés keresztbeszéde a terület legnehezebb hanganyaga, és minden szállító címkéi ott romlanak. Ez az a rész is, amelyet mindenki utólag biztosan idézni akar.
A második a nagyon hasonló hangok. A testvérek hangbeágyazásai túl közel eshetnek egymáshoz ahhoz, hogy megbízhatóan szét lehessen őket választani, főleg ha egy órán át rövid fordulókat váltanak. A telefonhang mindenkinek rosszabb: a keskenysávú vonal 8 kHz-en mintavételez, és nagyjából 3.4 kHz fölött nem visz át semmit, pedig egy hang megkülönböztető jegyeinek jó része éppen e határ fölött van. Két ember ugyanazon a telefonvonalon egy diarizáló számára jobban hasonlít egymásra, mint neked.
A legpraktikusabb orvosság mindkettőre a modellen túl, még azelőtt adódik: adj minden személynek saját mikrofont. Csatornánként egy beszélővel a diarizáció annyira egyszerűsödik, hogy csak azt kell eldönteni, melyik csatorna hangos; az átfedés két tiszta sáv lesz egy zavaros helyett; és a beágyazásoknak sosem kell a nehéz munkát elvégezniük. Egyetlen asztali mikrofon olcsóbb, és majdnem mindig az van a kezünkben, ezért íródott a cikk többi része is.
Egyik korlát sem kell, hogy változatlanul elérje az olvasót. Mivel a címkék a szavak fölötti réteg, egy téves címke sosem jelenti a szöveg elvesztését: a beszélők neve bármikor beállítható vagy törölhető egy felvételen, élő átírásnál pedig a házigazda bármely szót vagy sort átírhat, miközben az még fut; minden javítás jelölve és visszavonható.
A szavak oldalát illetően a Mit mér a szóhibaarány, és mit hagy ki a javítási rétegeket részletesen tárgyalja; a szóhibaarány (WER) a felismerőnek az, ami a DER a diarizálónak, és egy átirathoz mindkettőnek alacsonynak kell lennie.