Nakala yenye lebo inahitaji majibu yote mawili kuwa sahihi, na kwa kuwa lebo zinakaa juu ya maneno, lebo yenye makosa inaweza kurekebishwa bila kugusa maandishi.
Nakala ya mkutano hujibu maswali mawili kwa wakati mmoja: nini kilisemwa, na nani alikisema. Msomaji anaona kazi moja tu, jina pembeni ya mstari. Chini yake kuna matatizo mawili, kila moja likiwa na ingizo lake na njia zake za kushindwa.
Utambuzi wa usemi husikiliza maneno. Hugeuza sauti kuwa maandishi na, likifanywa vizuri, hutoa muda wa mwanzo na mwisho kwa kila neno. Halijali kama sauti ilibadilika katikati ya sentensi; kazi yake ni kupata sentensi sahihi.
Utambuzi wa wazungumzaji (speaker diarization) husikiliza sauti. Halijui maneno yoyote. Kazi yake ni kugawanya muda wa mazungumzo katika zamu na kusema ni zamu zipi ni za mtu mmoja: Mzungumzaji 1, Mzungumzaji 2. Neno hilo limetokana na "diary" (shajara) ya Kiingereza, na hiyo ni picha ya haki ya matokeo yake: kumbukumbu ya nani alishika sakafu, na lini.
Maneno mengine matatu yanayofanana nalo mara nyingi huchanganywa nalo. Diarization inasema nani alizungumza lini, bila kumjua mtu yeyote. Utambuzi wa mzungumzaji (speaker identification) unasema ni mtu gani anayejulikana anayemiliki sehemu fulani ya usemi, kwa kuchagua kutoka kwenye seti ya sauti zilizosajiliwa. Uthibitishaji wa mzungumzaji (speaker verification) hujibu swali la ndiyo au hapana: je, sauti hii ni kweli ya mtu X? Madai ya wauzaji yanaeleweka vizuri zaidi mara tu haya matatu yanapotenganishwa, kwa sababu "lebo za wazungumzaji" zinaweza kumaanisha chochote, kuanzia makisio ya mipaka ya zamu hadi majina yanayomfuata mtu kutoka rekodi moja hadi nyingine. Ili kuona lebo hizo zinaweza kuahidi nini na zisichoweza kuahidi nini, angalia ndani ya diarizer.
Mifumo mingi ya diarization hufanya kazi katika hatua tatu, bila kuhusisha lugha yoyote.
Kila hatua inaweza kwenda vibaya yenyewe. Mzungumzaji mtulivu anakosekana. Sauti mbili zinazofanana zinaunganishwa. Mtu mmoja anayebadilika kutoka utulivu hadi msisimko anagawanywa mara mbili.
Uwanja huu hupima yote haya kwa kiwango kiitwacho diarization error rate, DER: sehemu ya muda wa usemi ambayo ilikosekana, iliyogunduliwa kimakosa kuwa usemi, au kuhusishwa na mzungumzaji asiye sahihi, kwa kawaida pamoja na "collar" ya msamaha ya takriban robo ya sekunde kuzunguka kila mpaka. Collar hiyo ipo kwa sababu hakuna mtu, wa binadamu wala mashine, anayeweza kuweka mabadiliko ya mzungumzaji kwa millisecond. Uvumilivu huo unafaa kwa kupima diarizer peke yake. Hauwezi kufaa kwa nakala, ambapo mpaka ulio mbali kwa robo ya sekunde unatua juu ya neno.
Hapa ndipo matatizo mawili yanapokutana, na hapa ndipo ubora wa nakala yenye lebo unapoamuliwa. Diarizer huweka mipaka yake kwa kiwango fulani cha kutokuwa sahihi, mara nyingi sehemu ya sekunde kwa upande wowote. Mtambuzi wa usemi huweka maneno kwenye muda uleule. Yakiwekwa juu ya mengine bila mpangilio, mpaka unaingia ndani ya neno, hivyo nusu ya "kesho" ni ya Mzungumzaji 1 na nusu nyingine ni ya Mzungumzaji 2.
Lebo pia zinaweza kuwa si sahihi kwa muda kabla ya kuwa sahihi. Diarizer hupata uhakika zaidi kuhusu vikundi vyake kadiri inavyosikia sauti nyingi, kwa hiyo lebo ya awali inaweza kuonekana si sahihi kwa viwango vya kile kinachofuata. Katika nakala ya moja kwa moja, lebo inaweza kurekebishwa baada ya mstari kuonyeshwa: API ya wakati halisi ya VocalStack hutuma fremu ya transcript.amended inayosahihisha maandishi au mzungumzaji wa mstari uliokwisha kuthibitishwa papo hapo, hivyo msomaji anaona marekebisho badala ya mgongano.
Hata lebo iliyowekwa vizuri na thabiti kabisa bado ni namba tu. Namba inatosha kufuatilia mazungumzo; jina ndilo watu wanalotaka kusoma.
Lebo inageuka kuwa jina kwa njia mbili, na zote mbili zinajengana.
Ya kwanza ni kutaja ndani ya rekodi moja. Kila mzungumzaji ambaye unukuzi unamgundua hupewa faharasa, akihesabiwa kuanzia 0. Mtu yeyote mwenye ufikiaji anaweza kumtaja kila mzungumzaji wakati wa rekodi au baadaye. Jina ni safu juu ya maneno, kwa hiyo linaweza kuwekwa, kubadilishwa au kufutwa bila kugusa maandishi. Kupitia API hiyo ni PUT /v1/recordings/{id}/speakers/{idx} yenye name; jina tupu hufuta lebo. Mstari ambao speaker yake ni -1 hauna lebo, ama kwa sababu lebo zilizimwa au, katika rasimu ya moja kwa moja, kwa sababu mstari bado haujahusishwa na mzungumzaji.
Ya pili ni utambuzi kwenye rekodi nyingi, tatizo la utambulisho kutoka sehemu ya kwanza. Diarizer inaweza tu kusema kwamba sauti mbili ni tofauti, si ni akina nani. Ili kufika kutoka "tofauti" hadi "huyu ni Ana", mfumo unahitaji rejeleo: sauti iliyohifadhiwa, iliyochukuliwa kutoka rekodi ya mtu huyo mmoja. Sekunde thelathini za usemi safi ndicho kiwango cha chini, na dakika chache ni bora zaidi. Sampuli pia inapaswa kusikika kama rekodi zitakazolinganishwa nayo: mtu yule yule kwenye kipaza sauti cha kompyuta ndogo na kwenye kipaza sauti cha jukwaani anaweza kusikika kwa mashine kuwa tofauti zaidi kuliko wageni wawili waliorekodiwa kwa njia sawa. Sauti ikishahifadhiwa, kila mzungumzaji ambaye unukuzi unamsikia analinganishwa nayo, na mechi inabeba jina hadi kwenye nakala. Katika VocalStack hili linapatikana chini ya Sauti; unukuzi wa faili na vikao vya moja kwa moja vya Dashibodi hulinganisha sauti zako zilizohifadhiwa kiotomatiki, na kipindi cha API ya wakati halisi kinatambua tu sauti unazoorodhesha katika identifyVoices.
Sauti iliyohifadhiwa ni data ya kibiometriki: inaweza kumtambua mtu katika rekodi yoyote, na katika VocalStack pia hufanya kazi kama sauti iliyonakiliwa inayoweza kusoma mistari yake kwa sauti. Dashibodi inakuomba uthibitishe kuwa una ruhusa ya mtu huyo kabla ya kuhifadhi sauti, na sauti inaweza kufutwa wakati wowote.
Haya yote yanadhania kwamba unataka lebo kabisa. Mara nyingi hutaki.
Mtu mmoja anayesoma hotuba hahitaji "Mzungumzaji 1" mbele ya kila mstari. Hadhira tayari inajua nani ana kipaza sauti. Kwa hiyo mpangilio wa lebo za wazungumzaji una nafasi tatu, na ni zilezile kwenye kipindi cha wakati halisi, matangazo, unukuzi na rekodi.
auto kwenye API). Mistari huwekewa lebo ya mzungumzaji mara tu zaidi ya sauti moja inaposikika; rekodi ya mzungumzaji mmoja inabaki maandishi tupu, na sauti ya pili inayojiunga baadaye bado inanaswa. Fomu mpya ya unukuzi mubashara ya Dashibodi huanzia hapa.Upakiaji wa faili unachukua chaguo hilohilo speakerLabels, na API ya wakati halisi inakuruhusu kubadilisha mpangilio huu katikati ya mtiririko; maelezo yako kwenye marejeo ya API. Kutenganisha na kutaja wazungumzaji hakuongezi bili kamwe (ukurasa wa bei una jedwali la viwango), kwa hiyo chaguo linahusu kile msomaji anapaswa kuona, si gharama.
Ikiwashwa, diarization ni nzuri lakini si ya kichawi. Hali mbili bado zinaishinda.
Ya kwanza ni mwingiliano. Watu wawili wanapozungumza kwa wakati mmoja, sehemu moja ya sauti hubeba sauti mbili. Diarizer zinazozingatia mwingiliano zipo katika utafiti na, kwa kasi zaidi, katika bidhaa: diarization ya neva ya mwisho-hadi-mwisho (EEND), kwa mfano, hushughulikia "nani anazungumza" kama seti ya maswali ya ndiyo-au-hapana yanayoulizwa kwa wakati mmoja badala ya jibu moja. Hata hivyo mifumo mingi ya uzalishaji bado huweka mzungumzaji mmoja kwa kila sehemu ya sauti, na mtambuzi aliye juu yake hunukuu sauti moja kwa wakati mmoja. Mazungumzo yanayogongana katika jopo lenye joto ndiyo sauti ngumu zaidi katika uwanja huu, na lebo za kila muuzaji huzorota huko. Ni pia, kwa uhakika, sehemu ambayo kila mtu anataka kuinukuu baadaye.
La pili ni sauti zinazofanana sana. Ndugu wanaweza kutoa embeddings zilizo karibu mno kutenganishwa kwa uhakika, hasa wanapobadilishana zamu fupi kwa saa nzima. Sauti ya simu inazidisha hili kwa kila mtu: laini ya simu ya upana mdogo (narrowband) huchukuliwa sampuli kwa 8 kHz na haibebi chochote juu ya takriban 3.4 kHz, ilhali sehemu kubwa ya kinachotofautisha sauti moja na nyingine iko juu ya mpaka huo. Watu wawili kwenye laini moja ya simu wanasikika kwa diarizer kuwa wanafanana zaidi kuliko wanavyosikika kwako.
Suluhisho la vitendo zaidi kwa yote mawili liko kabla ya modeli yoyote: mpe kila mtu kipaza sauti chake. Kukiwa na kituo kimoja kwa kila mzungumzaji, diarization inapunguzwa hadi kuuliza kituo kipi kina sauti kubwa, mwingiliano unageuka kuwa nyimbo mbili safi badala ya moja chafu, na embeddings hazilazimishwi kamwe kufanya kazi ngumu. Kipaza sauti kimoja cha meza ni cha bei nafuu na mara nyingi ndicho ulicho nacho, ndiyo maana sehemu nyingine ya makala hii ipo.
Mipaka hii yote miwili hailazimiki kumfikia msomaji bila kubadilika. Kwa kuwa lebo ni safu juu ya maneno, lebo mbaya haikugharimu maandishi kamwe: majina ya wazungumzaji yanaweza kuwekwa au kufutwa kwenye rekodi wakati wowote, na katika unukuzi wa moja kwa moja mwenyeji anaweza kuandika upya neno lolote au mstari wowote wakati bado unaendelea, huku kila marekebisho yakiwekwa alama na kuweza kutenduliwa.
Kwa upande wa maneno, makala kuhusu kile kipimo cha makosa ya maneno, WER, kinachopima na kisichopima yanaeleza kwa kina tabaka za marekebisho; WER ni kwa mtambuzi wa usemi kile DER kilivyo kwa diarizer, na nakala inahitaji vyote viwili kuwa vya chini.