Պիտակավորված տեքստը պահանջում է երկու պատասխանի ճշտություն, և քանի որ պիտակները բառերի վրա են, սխալ պիտակը կարելի է ուղղել՝ առանց տեքստին դիպչելու։
Մեկ հանդիպման տառադարձությունը միաժամանակ պատասխանում է երկու հարցի՝ ինչ ասվեց և ով ասաց։ Ընթերցողը տեսնում է մեկ խնդիր՝ անունը տողի կողքին։ Դրա տակ կան երկու խնդիր, որոնցից յուրաքանչյուրն ունի իր մուտքերը և իր սխալվելու եղանակները։
Խոսքի ճանաչումը լսում է բառերը։ Այն ձայնագրությունը վերածում է տեքստի և, լավ աշխատելու դեպքում, յուրաքանչյուր բառի համար տալիս է սկզբի և վերջի ժամանակը։ Նրան չի հետաքրքրում, արդյոք ձայնը փոխվել է նախադասության կեսին. նրա խնդիրն է ճիշտ գրել նախադասությունը։
Խոսնակի տարանջատումը (speaker diarization) լսում է ձայները։ Այն բառեր չգիտի։ Նրա խնդիրն է ժամանակագիծը բաժանել հերթափոխների և ասել, թե որ հերթափոխներն են պատկանում նույն մարդուն՝ Speaker 1, Speaker 2։ Բառը փոխառված է «diary» (օրագիր) բառից, և դա ճիշտ պատկեր է ելքի համար. մատյան, թե ում ձեռքում էր խոսքի իրավունքը և երբ։
Դրան մոտ երեք հարակից տերմին հաճախ խառնում են։ Diarization-ը ասում է, թե ով և երբ է խոսել՝ առանց որևէ մեկին ճանաչելու։ Խոսնակի նույնականացումը (speaker identification) ընտրում է խոսքի հատվածը՝ գրանցված ձայների բազայից։ Խոսնակի ստուգումը (speaker verification) պատասխանում է այո կամ ոչ հարցին. արդյո՞ք այս ձայնն իրոք X անձինն է։ Մատակարարների պնդումները ավելի հեշտ են հասկանալ, երբ այս երեքը տարբերվում են, քանի որ «խոսնակի պիտակները» կարող են նշանակել ամեն ինչ՝ հերթափոխների սահմանների կոպիտ գնահատումից մինչև անուններ, որոնք մի ձայնագրությունից մյուսը հետևում են մարդուն։ Որպեսզի պարզ լինի, թե ինչ կարող են և ինչ չեն կարող խոստանալ այս պիտակները, պետք է նայել դիարիզատորի ներսը։
Դիարիզացիայի համակարգերի մեծ մասն աշխատում է երեք քայլով, որոնցից և ոչ մեկը չի ներառում լեզու։
Յուրաքանչյուր քայլ կարող է սխալվել առանձին։ Հանգիստ խոսնակը բաց է թողնվում։ Երկու նման ձայն միաձուլվում են։ Մեկ մարդ, ով հանգստից անցնում է ոգևորության, բաժանվում է երկու մասի։
Ոլորտն այս ամենը գնահատում է diarization error rate՝ DER-ով. խոսքի ժամանակի այն մասը, որը բաց է թողնվել, սխալմամբ համարվել խոսք կամ վերագրվել սխալ խոսնակի, սովորաբար հաշվվում է յուրաքանչյուր սահմանի շուրջ մոտ քառորդ վայրկյանի ներման գոտիով (forgiveness collar)։ Այդ գոտին գոյություն ունի, որովհետև ոչ ոք՝ ոչ մարդը, ոչ մեքենան, չի կարող խոսնակի փոփոխությունը տեղադրել մինչև միլիվայրկյան։ Այդ հանդուրժողականությունը նորմալ է դիարիզատորը առանձին գնահատելու համար։ Տառադարձության համար այն նորմալ չէ, որովհետև քառորդ վայրկյանով տեղից դուրս եկած սահմանը տեքստում հայտնվում է բառի վրա։
Հենց այստեղ են հանդիպում երկու խնդիրները, և հենց այստեղ է որոշվում պիտակավորված տեքստի որակը։ Դիարիզատորն իր սահմանները տեղադրում է որոշակի անճշտությամբ, հաճախ վայրկյանի մի մասով այս կամ այն կողմ։ Ճանաչիչը բառերը տեղադրում է նույն ժամանակագծի վրա։ Եթե երկուսը պարզապես դնենք իրար վրա, սահմանը կարող է ընկնել բառի մեջ, և «վաղը» բառի կեսը պատկանում է Speaker 1-ին, մյուս կեսը՝ Speaker 2-ին։
Պիտակները կարող են որոշ ժամանակ սխալ լինել, նախքան ճիշտ դառնալը։ Դիարիզատորն ավելի վստահ է դառնում իր խմբերի նկատմամբ, որքան շատ ձայն է լսել, ուստի վաղ պիտակը կարող է սխալ թվալ հետագա չափանիշներով։ Ուղիղ տառադարձության ժամանակ պիտակը կարող է վերանայվել տողը ցուցադրվելուց հետո. VocalStack-ի realtime API-ն ուղարկում է transcript.amended ֆրեյմ, որը տեղում ուղղում է հաստատված տողի տեքստը կամ խոսնակը, այնպես որ ընթերցողը տեսնում է վերանայում, ոչ թե հակասություն։
Նույնիսկ ճիշտ տեղադրված և կայուն պիտակը միայն թիվ է։ Թիվը բավարար է զրույցը հետևելու համար. անունն է, որ մարդիկ ուզում են կարդալ։
Պիտակը անվան է վերածվում երկու եղանակով, որոնք իրար վրա են կառուցված։
Առաջինը անվանումն է ձայնագրության ներսում։ Տառադարձության մեջ գտնված յուրաքանչյուր խոսնակ ստանում է ինդեքս՝ 0-ից սկսած։ Ով ունի մուտք, կարող է անվանել յուրաքանչյուր խոսնակի՝ ձայնագրության ընթացքում կամ հետո։ Անունը բառերի վրա գտնվող շերտ է, ուստի այն կարելի է դնել, փոխել կամ ջնջել՝ առանց տեքստին դիպչելու։ API-ի միջոցով դա PUT /v1/recordings/{id}/speakers/{idx} է nameդաշտով. դատարկ անունը ջնջում է այն։ Տողը, որիspeakerարժեքը-1` է, պիտակ չունի. կամ որովհետև պիտակները անջատված էին, կամ, ուղիղ նախնական տարբերակում, որովհետև տողը դեռ չի վերագրվել։
Երկրորդը ճանաչումն է ձայնագրությունների միջև՝ առաջին բաժնի նույնականացման խնդիրը։ Դիարիզատորը կարող է ասել միայն, որ երկու ձայն տարբեր են, երբեք՝ թե ովքեր են դրանք։ «Տարբերից» մինչև «սա Անան է» անցնելու համար համակարգին պետք է հղում՝ պահված ձայն, որը վերցված է այդ մարդու ձայնագրությունից։ Նվազագույնը երեսուն վայրկյան մաքուր խոսք է պետք, իսկ մի քանի րոպեն ավելի լավ է։ Նմուշը պետք է հնչի այնպես, ինչպես այն ձայնագրությունները, որոնց հետ պետք է համեմատվի. նույն մարդը նոութբուքի խոսափողով և բեմի խոսափողով մեքենային կարող է ավելի քիչ նման թվալ, քան երկու օտարականներ, որոնք նույն կերպ են ձայնագրված։ Երբ ձայնը պահված է, յուրաքանչյուր խոսնակ, որին լսում է տառադարձությունը, համեմատվում է դրա հետ, և համընկնումը անունը բերում է տեքստի մեջ։ VocalStack-ում դա գտնվում է Voices բաժնում. ֆայլային տառադարձությունները և Dashboard-ի ուղիղ սեսիաները ավտոմատ համեմատում են պահված ձայները, իսկ realtime API սեսիան ճանաչում է միայն այն ձայները, որոնք թվարկել եք identifyVoices-ում։
Պահված ձայնը կենսաչափական տվյալ է. այն կարող է ճանաչել մարդուն ցանկացած ձայնագրության մեջ, և VocalStack-ում այն միաժամանակ գործում է որպես կլոն, որը կարող է բարձրաձայն կարդալ նրա տեքստը։ Dashboard-ը պահպանելուց առաջ խնդրում է հաստատել, որ ունեք անձի թույլտվությունը, և ձայնը կարելի է ջնջել ցանկացած պահի։
Այս ամենը ենթադրում է, որ ընդհանրապես պիտակներ ուզում եք։ Հաճախ չեք ուզում։
Մեկ մարդ, որը դասախոսություն է կարդում, յուրաքանչյուր տողի առաջ «Speaker 1» պիտակի կարիք չունի։ Լսարանն արդեն գիտի, թե ով ունի խոսափողը։ Ուստի խոսնակի պիտակների կարգավորումն ունի երեք դիրք, և դրանք նույնն են ուղիղ սեսիայի, հեռարձակման, տառադարձության և ձայնագրության դեպքում։
auto)։ Տողերը պիտակավորվում են խոսնակով, երբ լսվում է ավելի քան մեկ ձայն. մեկ խոսնակով ձայնագրությունը մնում է սովորական տեքստ, իսկ երկրորդ ձայնը, որը միանում է ուշ, դեռ նկատվում է։ Dashboard-ի ուղիղ տառադարձության նոր ձևը սկսում է այս դիրքից։Ֆայլի վերբեռնումն ընդունում է նույն speakerLabels ընտրանքը, իսկ realtime API-ն թույլ է տալիս փոխել այն հոսքի ընթացքում. մանրամասները կան API reference-ում։ Խոսնակների տարանջատումն ու անվանումը երբեք չեն ավելացնում հաշիվը (pricing page-ում կա սակագնային աղյուսակը), ուստի ընտրությունը կախված է նրանից, թե ինչ պետք է տեսնի ընթերցողը, ոչ թե նրանից, թե ինչ արժե։
Միացված վիճակում դիարիզացիան լավն է, բայց հրաշք չէ։ Երկու իրավիճակ դեռ դժվար են դրա համար։
Առաջինը համընկումն է (overlap). երբ երկու մարդ միաժամանակ է խոսում, ձայնագրության մի հատվածը կրում է երկու ձայն։ Համընկումը գիտակցող դիարիզատորներ կան հետազոտություններում և աստիճանաբար նաև արտադրանքներում. օրինակ, end-to-end neural diarization (EEND)-ը «ով է խոսում» հարցը դիտարկում է որպես միաժամանակ տրվող այո կամ ոչ հարցերի բազմություն, այլ ոչ թե մեկ պատասխան։ Սակայն արտադրական համակարգերի մեծ մասը դեռ յուրաքանչյուր հատվածի համար մեկ խոսնակ է նշանակում, իսկ դրա վրա գտնվող ճանաչիչը տառադարձում է մեկ ձայն միաժամանակ։ Ջերմ վեճի ժամանակ խառնաձայնությունը ոլորտի ամենադժվար աուդիոն է, և յուրաքանչյուր մատակարարի պիտակներ այնտեղ ավելի վատ են աշխատում. ու հենց դա է, որ բոլորն ուզում են հետո մեջբերել։
Երկրորդը շատ նման ձայներն են. քույր ու եղբայրները կարող են էմբեդինգներ արտադրել, որոնք չափազանց մոտ են, որպեսզի հուսալիորեն բաժանվեն, մանավանդ երբ ժամը մեկ կարճ հերթափոխներով են փոխանակվում։ Հեռախոսային աուդիոն բոլորի համար ավելի է վատթարացնում դա. նեղ շերտի գիծը նմուշառվում է 8 կՀց-ով և մոտ 3,4 կՀց-ից վեր ոչինչ չի պարունակում, բայց ձայները իրարից տարբերող շատ բան հենց այդ սահմանից վեր է։ Նույն հեռախոսագծի երկու մարդ դիարիզատորին ավելի նման են հնչում, քան քեզ։
Ամենագործնական միջոցը երկուսի համար էլ գտնվում է ցանկացած մոդելից առաջ. յուրաքանչյուր մարդու համար առանձին խոսափող։ Յուրաքանչյուր խոսնակի մեկ ալիքի դեպքում դիարիզացիան վերածվում է այն հարցի, թե որ ալիքն է բարձր, համընկումը դառնում է երկու մաքուր հետք՝ մեկ պղտոր հետքի փոխարեն, և էմբեդինգներին երբեք չի պահանջվում անել դժվար մասը։ Մեկ սեղանի խոսափողն ավելի էժան է և գրեթե միշտ այն է, ինչ ունեք, ու հենց դրա համար գոյություն ունի այս հոդվածի մնացած մասը։
Ոչ մի սահմանափակում պարտադիր չէ, որ անփոփոխ հասնի ընթերցողին։ Քանի որ պիտակները բառերի վրա գտնվող շերտ են, սխալ պիտակը երբեք չի արժեցնում ձեզ տեքստը. խոսնակների անունները կարելի է դնել կամ ջնջել ձայնագրության վրա ցանկացած պահի, իսկ ուղիղ տառադարձության ժամանակ հոստը կարող է վերաշարադրել ցանկացած բառ կամ տող, մինչ այն դեռ աշխատում է, և յուրաքանչյուր ուղղում նշված է և կարող է հետ բերվել։
Բառերի կողմի համար՝ Ինչ է չափում բառի սխալի մակարդակը և ինչ է բաց թողնում հոդվածը մանրամասն ներկայացնում է ուղղման շերտերը. WER-ը ճանաչիչի համար այն է, ինչ DER-ը դիարիզատորի համար, և տառադարձությունը պետք է ունենա երկուսն էլ ցածր։