பேச்சாளர் டையரைசேஷன் மற்றும் பேச்சு அறிதல்: யார் சொன்னார், என்ன சொன்னார்

லேபிளிடப்பட்ட டிரான்ஸ்கிரிப்ட்டுக்கு இரண்டு கேள்விகளுக்கும் சரியான பதில் தேவை; லேபிள்கள் சொற்களின் மேல் அமர்வதால், தவறான லேபிளை உரையைத் தொடாமலேயே சரிசெய்யலாம்.

இரண்டு கேள்விகள்: என்ன சொல்லப்பட்டது, யார் சொன்னார்

ஒரு கூட்டத்தின் டிரான்ஸ்கிரிப்ட் ஒரே நேரத்தில் இரண்டு கேள்விகளுக்குப் பதில் சொல்கிறது: என்ன சொல்லப்பட்டது, யார் சொன்னார்கள். வாசகருக்கு ஒரே வேலையாகத் தெரிவது, ஒரு வரிக்கு அருகில் ஒரு பெயர். ஆனால் அதன் அடியில் இரண்டு பிரச்சினைகள் உள்ளன; ஒவ்வொன்றுக்கும் அதற்கே உரிய உள்ளீடுகளும், அது தோல்வியடையும் வழிகளும் உள்ளன.

பேச்சு அறிதல் சொற்களைக் கேட்கிறது. அது ஒலியை உரையாக மாற்றுகிறது, நன்றாகச் செய்யப்பட்டால், ஒவ்வொரு சொல்லுக்கும் தொடக்க, முடிவு நேரத்தையும் தருகிறது. ஒரு வாக்கியத்தின் நடுவில் குரல் மாறியதா என்பது அதற்குப் பொருட்டல்ல; அதன் வேலை வாக்கியத்தைச் சரியாக எழுதுவது.

பேச்சாளர் டையரைசேஷன் குரல்களைக் கேட்கிறது. அதற்கு சொற்கள் தெரியாது. நேரக்கோட்டைப் பேச்சுத் திருப்பங்களாகப் பிரித்து, எந்தத் திருப்பங்கள் ஒரே நபருடையவை என்று சொல்வதே அதன் வேலை: பேச்சாளர் 1, பேச்சாளர் 2. "diarization" என்ற சொல் "diary" (நாட்குறிப்பு) என்பதிலிருந்து வந்தது; அதன் வெளியீட்டுக்கு அது நல்ல உவமை: யார் எப்போது பேசும் உரிமை பெற்றார் என்ற பதிவு.

இதனுடன் அடிக்கடி குழப்பிக்கொள்ளப்படும் மூன்று தொடர்புடைய சொற்கள் உண்டு. டையரைசேஷன் யார் எப்போது பேசினார் என்று சொல்கிறது, ஆனால் அவர் யார் என்று தெரியாது. பேச்சாளர் அடையாளம் என்பது, பதிவுசெய்யப்பட்ட குரல்களின் தொகுப்பிலிருந்து, ஒரு பேச்சுப் பகுதி எந்த அறியப்பட்ட நபருடையது என்று சொல்வது. பேச்சாளர் சரிபார்ப்பு ஒரு ஆம்-இல்லை கேள்விக்கு பதில் சொல்கிறது: இந்தக் குரல் உண்மையிலேயே X நபருடையதா? "பேச்சாளர் லேபிள்கள்" என்பது திருப்பங்களின் எல்லைகள் பற்றிய தோராயமான ஊகத்திலிருந்து, ஒரு நபரின் பெயரை ஒரு பதிவிலிருந்து அடுத்த பதிவுக்கு எடுத்துச்செல்வது வரை எதையும் குறிக்கலாம் என்பதால், மூன்றையும் பிரித்துப் பார்த்தால் விற்பனையாளர்களின் கூற்றுகளைப் புரிந்துகொள்வது எளிது. அந்த லேபிள்கள் எதை உறுதியளிக்க முடியும், எதை முடியாது என்பதைப் பார்க்க, டையரைசரின் உள்ளே பார்க்க வேண்டும்.

டையரைசேஷன் எளிய முறையில் எப்படி வேலை செய்கிறது

பெரும்பாலான டையரைசேஷன் அமைப்புகள் மூன்று படிகளில் வேலை செய்கின்றன; அவற்றில் எதற்கும் மொழி தொடர்புடையதல்ல.

1. பேச்சைக் கண்டறி. குரல் செயல்பாடு கண்டறிதல் (voice activity detection) ஆடியோவில் எந்தப் பகுதிகளில் ஒருவர் பேசுகிறார், எவை மௌனம், இசை அல்லது அறையின் இரைச்சல் என்று குறிக்கிறது.
2. ஒவ்வொரு குரலையும் விவரி. பேச்சின் குறுகிய சாளரங்கள் speaker embeddings ஆக மாற்றப்படுகின்றன: ஒரு குரல் எப்படி ஒலிக்கிறது என்பதைப் பிடிக்கும், நிலையான நீளமுள்ள எண்பட்டியல்கள்; அது என்ன சொல்கிறது என்பதல்ல. இன்று இந்த embeddings-கள், ஆயிரக்கணக்கான பேச்சாளர்களை வேறுபடுத்த பயிற்சி பெற்ற நரம்பியல் வலைப்பின்னல்களிலிருந்து வருகின்றன; ஆய்வு இலக்கியம் அவற்றை x-vectors என்றும், சமீபத்தில் ECAPA-TDNN embeddings என்றும் அழைக்கிறது. ஒரே நபரின் இரண்டு சாளரங்கள் அருகருகே விழும்; இரு வேறு நபர்களின் சாளரங்கள் இன்னும் தூரமாக விழும்.
3. குரல்களைக் குழுவாக்கு. கிளஸ்டரிங் embeddings-களை ஒரு பேச்சாளருக்கு ஒன்றாக குழுக்களாகச் சேர்க்கிறது. பொதுவான முறைகள்: agglomerative clustering (அடுத்த இணைப்பு மிக அதிக தூரமாகும் வரை இரண்டு நெருங்கிய குழுக்களை இணைத்தல்) மற்றும் spectral clustering (சாளரங்கள் எப்படி இணைகின்றன என்பதிலிருந்து இயற்கையான கிளஸ்டர் எண்ணிக்கையைக் கண்டறிதல்). அறையில் எத்தனை பேர் இருக்கிறார்கள் என்று அமைப்புக்குச் சொல்லப்படுவதில்லை; embeddings எப்படி விழுகின்றன என்பதிலிருந்து அது எண்ணிக்கையைக் கணக்கிடுகிறது. அதனால்தான் ஒரு "நேர்காணல்" மூன்று பேச்சாளர்களுடன் திரும்பி வரக்கூடும்.

ஒவ்வொரு படியும் தனித்தனியாகத் தவறலாம். அமைதியான பேச்சாளர் தவறவிடப்படலாம். ஒத்த இரண்டு குரல்கள் ஒன்றாக இணைக்கப்படலாம். அமைதியிலிருந்து உற்சாகத்துக்கு மாறும் ஒரே நபர் இரண்டாகப் பிரிக்கப்படலாம்.

இந்தத் துறை இவை அனைத்தையும் diarization error rate, DER மூலம் மதிப்பிடுகிறது: பேச்சு நேரத்தில் தவறவிடப்பட்ட பகுதி, தவறாகப் பேச்சு என்று கண்டறியப்பட்ட பகுதி, அல்லது தவறான பேச்சாளருக்குக் காரணமான பகுதி; வழக்கமாக ஒவ்வொரு எல்லையைச் சுற்றியும் கால் வினாடி அளவிலான forgiveness collar உடன். அந்த collar இருப்பது ஏனென்றால், மனிதனோ இயந்திரமோ, ஒரு பேச்சாளர் மாற்றத்தை ஒரு மில்லிவினாடி துல்லியத்தில் வைக்க முடியாது. ஒரு டையரைசரை மட்டும் மதிப்பிடுவதற்கு அந்தச் சகிப்புத்தன்மை சரி. ஆனால் ஒரு டிரான்ஸ்கிரிப்ட்டுக்கு அது சரியல்ல; அங்கே கால் வினாடி தள்ளிப்போன எல்லை ஒரு சொல்லின் மீது விழுகிறது.

இரண்டும் சந்திக்குமிடம்

இங்குதான் இரண்டு பிரச்சினைகளும் சந்திக்கின்றன; லேபிளிடப்பட்ட டிரான்ஸ்கிரிப்ட்டின் தரம் இங்கேதான் முடிவாகிறது. டையரைசர் தனது எல்லைகளை ஒரு அளவு தடுமாற்றத்துடன் வைக்கிறது, பெரும்பாலும் ஒரு வினாடியின் ஒரு பகுதி இருபுறமும். ரெகக்னைசர் சொற்களை அதே நேரக்கோட்டில் வைக்கிறது. இரண்டையும் அப்படியே ஒன்றின் மேல் ஒன்றாக வைத்தால், ஒரு எல்லை ஒரு சொல்லுக்குள் விழும்; "நாளை" என்ற சொல்லின் பாதி பேச்சாளர் 1-க்கும், மற்ற பாதி பேச்சாளர் 2-க்கும் சேர்ந்துவிடும்.

சில நேரங்களில் லேபிள்கள் சரியாவதற்கு முன் சிறிது நேரம் தவறாகவே இருக்கும். டையரைசர் அதிக ஆடியோவைக் கேட்கக் கேட்க அதன் குழுக்களைப் பற்றி மேலும் உறுதியாகிறது; அதனால் பின்னர் வருபவற்றின் அடிப்படையில் ஆரம்ப லேபிள் தவறாகத் தோன்றலாம். நேரலை டிரான்ஸ்கிரிப்ட்டில், ஒரு வரி காட்டப்பட்ட பிறகு லேபிள் திருத்தப்படலாம்: VocalStack-இன் realtime API, உறுதிசெய்யப்பட்ட ஒரு வரியின் உரையையோ பேச்சாளரையோ இடத்திலேயே திருத்தும் transcript.amended ஃப்ரேமை அனுப்புகிறது; அதனால் வாசகர் முரண்பாட்டை அல்ல, திருத்தத்தைக் காண்கிறார்.

சரியாக வைக்கப்பட்ட, முற்றிலும் நிலையான லேபிளும் ஒரு எண்ணே. ஓர் உரையாடலைப் பின்தொடர எண் போதும்; வாசகர்கள் விரும்புவது பெயரை.

"பேச்சாளர் 1"-இலிருந்து ஒரு பெயர் வரை

ஒரு லேபிள் இரண்டு வழிகளில் பெயராக மாறுகிறது; அவை ஒன்றின் மேல் ஒன்று கட்டப்படுகின்றன.

முதலாவது, ஒரு பதிவுக்குள் பெயரிடுதல். டிரான்ஸ்கிரிப்ஷன் கண்டறியும் ஒவ்வொரு பேச்சாளருக்கும் 0-இல் தொடங்கும் ஒரு குறியீடு வழங்கப்படுகிறது. அணுகல் உள்ள எவரும் பதிவின்போதோ அதன் பின்னரோ ஒவ்வொரு பேச்சாளருக்கும் பெயரிடலாம். அந்தப் பெயர் சொற்களின் மேல் உள்ள ஓர் அடுக்கு; உரையைத் தொடாமலேயே அதை அமைக்கலாம், மாற்றலாம் அல்லது அழிக்கலாம். API வழியாக அது PUT /v1/recordings/{id}/speakers/{idx} உடன் name ஆக இருக்கும்; காலியான பெயர் லேபிளை அழிக்கும். speaker மதிப்பு -1 உள்ள வரிக்கு லேபிள் இல்லை; லேபிள்கள் அணைக்கப்பட்டிருந்தாலோ அல்லது நேரலை வரைவில் அந்த வரி இன்னும் யாருக்கும் ஒதுக்கப்படாததாலோ அப்படி இருக்கும்.

இரண்டாவது, பதிவுகளுக்கு இடையே அடையாளம் காண்பது; இது முதல் பகுதியில் உள்ள அடையாளப் பிரச்சினை. டையரைசர் இரு குரல்கள் வேறுபட்டவை என்று மட்டுமே சொல்ல முடியும், அவர்கள் யார் என்று சொல்ல முடியாது. "வேறுபட்டவை" என்பதிலிருந்து "இது Ana" என்பதற்குச் செல்ல ஒரு குறிப்பு தேவை: அந்த ஒரு நபரின் பதிவிலிருந்து எடுக்கப்பட்ட, சேமிக்கப்பட்ட ஒரு குரல். குறைந்தபட்சம் முப்பது வினாடி தெளிவான பேச்சு தேவை; சில நிமிடங்கள் சிறந்தது. ஒப்பிடப்படும் பதிவுகளைப் போலவே அந்த மாதிரியும் ஒலிக்க வேண்டும்: ஒரே நபர் மடிக்கணினி மைக்கிலும் மேடை மைக்கிலும் பதிவானால், ஒரே மாதிரி பதிவான இரு அந்நியர்களைவிட இயந்திரத்துக்கு அவர்கள் குறைவாக ஒத்திருக்கலாம். குரல் சேமிக்கப்பட்டவுடன், டிரான்ஸ்கிரிப்ஷன் கேட்கும் ஒவ்வொரு பேச்சாளரும் அதனுடன் ஒப்பிடப்படுகிறார்; பொருத்தம் கிடைத்தால் பெயர் டிரான்ஸ்கிரிப்ட்டுக்குள் வருகிறது. VocalStack-இல் இது குரல்கள் பகுதியின் கீழ் உள்ளது; கோப்பு டிரான்ஸ்கிரிப்ஷன்களும் டாஷ்போர்டு நேரலை அமர்வுகளும் உங்கள் சேமித்த குரல்களைத் தானாகப் பொருத்துகின்றன; realtime API அமர்வு identifyVoices-இல் நீங்கள் பட்டியலிடும் குரல்களை மட்டுமே அடையாளம் காணும்.

சேமிக்கப்பட்ட குரல் ஒரு உயிரியல் தரவு: அது எந்தப் பதிவிலும் ஒரு நபரை அடையாளம் காண முடியும், மேலும் VocalStack-இல் அது அவர்களின் வரிகளை உரக்கப் படிக்கக்கூடிய குளோன் செய்த குரலாகவும் செயல்படும். ஒன்றைச் சேமிப்பதற்கு முன், அந்த நபரின் அனுமதி உள்ளது என்பதை உறுதிசெய்யுமாறு டாஷ்போர்டு கேட்கும்; குரலை எந்த நேரத்திலும் நீக்கலாம்.

இதெல்லாம் உங்களுக்கு லேபிள்கள் வேண்டும் என்று வைத்துக்கொள்கிறது. பெரும்பாலும் வேண்டாம்.

பேச்சாளர் சுவிட்சின் மூன்று நிலைகள்: Off, When Needed, On

ஒரே நபர் ஒரு விரிவுரையை வாசிக்கும்போது ஒவ்வொரு வரிக்கும் முன் "பேச்சாளர் 1" தேவையில்லை. மைக்ரோஃபோன் யாரிடம் இருக்கிறது என்பது பார்வையாளர்களுக்கே தெரியும். அதனால் பேச்சாளர் லேபிள் அமைப்புக்கு மூன்று நிலைகள் உள்ளன; அவை நேரலை அமர்வு, ஒளிபரப்பு, டிரான்ஸ்கிரிப்ஷன் மற்றும் பதிவு ஆகிய அனைத்திலும் ஒரே மாதிரியானவை.

• Off. லேபிள்கள் இல்லாத சாதாரண உரை; எதுவும் பிரிக்கப்படாது, எதுவும் லேபிளிடப்படாது. விருப்பம் அமைக்கப்படாதபோது, realtime API-யிலும் கணக்கு அமைப்புகளிலும் இதுவே இயல்பு நிலை.
• When Needed (API-இல் auto). ஒன்றுக்கும் மேற்பட்ட குரல் கேட்கப்பட்டவுடன் வரிகள் தங்கள் பேச்சாளருடன் லேபிளிடப்படும்; ஒரு பேச்சாளர் மட்டுமுள்ள பதிவு சாதாரண உரையாகவே இருக்கும், பின்னர் சேரும் இரண்டாவது குரலும் பிடிக்கப்படும். டாஷ்போர்டின் புதிய நேரலை டிரான்ஸ்கிரிப்ஷன் படிவம் இங்கிருந்து தொடங்கும்.
• On. ஒருவர் மட்டுமே பேசினாலும், ஒவ்வொரு வரியும் அதன் பேச்சாளருடன் லேபிளிடப்படும்.

கோப்புப் பதிவேற்றமும் அதே speakerLabels விருப்பத்தை ஏற்கும்; realtime API ஓட்டத்தின் நடுவே இதை மாற்ற அனுமதிக்கிறது; விவரங்கள் API குறிப்பில் உள்ளன. பேச்சாளர் பிரிப்பும் பெயரிடுதலும் பில்லுக்கு ஒருபோதும் சேர்வதில்லை (விலைப் பக்கத்தில் கட்டண அட்டவணை உள்ளது); எனவே தேர்வு என்பது வாசகர் எதைப் பார்க்க வேண்டும் என்பதைப் பற்றியது, அது எவ்வளவு செலவாகும் என்பது பற்றியது அல்ல.

இயக்கப்பட்டால், டையரைசேஷன் நல்லது, ஆனால் மாயம் அல்ல. இரண்டு சூழ்நிலைகள் இன்னும் அதை வெல்கின்றன.

டையரைசேஷனால் இன்னும் செய்ய முடியாதவை, திருத்தங்கள் எப்படி உதவுகின்றன

முதலாவது ஒன்றுடன் ஒன்று பேசுதல் (overlap). இருவர் ஒரே நேரத்தில் பேசும்போது, ஒரு ஒலிப் பகுதியில் இரண்டு குரல்கள் இருக்கும். ஒன்றுடன் ஒன்று பேசுவதைக் கையாளும் டையரைசர்கள் ஆய்வில் உள்ளன, படிப்படியாகத் தயாரிப்புகளிலும் வருகின்றன: எடுத்துக்காட்டாக end-to-end neural diarization (EEND) "யார் பேசுகிறார்" என்பதை ஒரே பதிலாக அல்லாமல், ஒரே நேரத்தில் கேட்கப்படும் ஆம்-இல்லை கேள்விகளின் தொகுப்பாகக் கையாளுகிறது. ஆனாலும் பெரும்பாலான உற்பத்தி அமைப்புகள் ஒரு பகுதிக்கு ஒரு பேச்சாளரையே ஒதுக்குகின்றன; அவற்றின் மேல் உள்ள ரெகக்னைசர் ஒரு நேரத்தில் ஒரு குரலையே எழுதுகிறது. சூடான விவாதத்தில் குறுக்குப் பேச்சுதான் துறையின் கடினமான ஆடியோ; ஒவ்வொரு விற்பனையாளரின் லேபிள்களும் அங்கே மோசமாகும். அதுவே பின்னர் அனைவரும் மேற்கோள் காட்ட விரும்பும் பகுதியும் கூட.

இரண்டாவது மிக ஒத்த குரல்கள். சகோதர சகோதரிகளின் குரல்கள் நம்பகமாகப் பிரிக்க முடியாத அளவுக்கு ஒன்றுக்கொன்று நெருங்கிய embeddings-களை உருவாக்கலாம்; ஒரு மணிநேரம் குறுகிய திருப்பங்களை மாற்றிக்கொள்ளும்போது இன்னும் அதிகமாக. தொலைபேசி ஒலி எல்லோருக்கும் இதை மோசமாக்குகிறது: narrowband இணைப்பு 8 kHz-இல் மாதிரி எடுக்கப்படுகிறது, சுமார் 3.4 kHz-க்கு மேலே எதையும் கொண்டு செல்லாது; ஆனால் ஒரு குரலை மற்றொன்றிலிருந்து வேறுபடுத்துவதில் பெரும்பகுதி அந்த வரம்புக்கு மேலேதான் உள்ளது. ஒரே தொலைபேசி இணைப்பில் உள்ள இருவர் டையரைசருக்கு, உங்களுக்குத் தோன்றுவதைவிட அதிகமாக ஒத்திருப்பதாகத் தெரிவார்கள்.

இரண்டுக்கும் மிகவும் நடைமுறைத் தீர்வு, எந்த மாதிரிக்கும் முன்னால் உள்ளது: ஒவ்வொருவருக்கும் தனி மைக்ரோஃபோன் கொடுங்கள். பேச்சாளருக்கு ஒரு சேனல் இருந்தால், டையரைசேஷன் "எந்தச் சேனல் சத்தமாக இருக்கிறது" என்று கேட்பதாகக் குறைகிறது; ஒன்றுடன் ஒன்று பேசுதல் ஒரு குழப்பமான ஒற்றை ஒலிக்குப் பதிலாக இரண்டு சுத்தமான பாதைகளாகிறது; embeddings-களிடம் கடினமான பகுதியைச் செய்யச் சொல்லப்படுவதே இல்லை. ஒரு மேசை மைக்ரோஃபோன் மலிவானது, பெரும்பாலும் உங்களிடம் இருப்பதும் அதுவே; அதனால்தான் இந்தக் கட்டுரையின் மீதிப் பகுதி இருக்கிறது.

இவற்றில் எந்த வரம்பும் வாசகரைச் சென்றடையத் தேவையில்லை. லேபிள்கள் சொற்களின் மேல் உள்ள அடுக்கு என்பதால், தவறான லேபிள் ஒருபோதும் உரையை இழக்கச் செய்யாது: ஒரு பதிவில் பேச்சாளர் பெயர்களை எந்த நேரத்திலும் அமைக்கலாம் அல்லது அழிக்கலாம்; நேரலை டிரான்ஸ்கிரிப்ஷனில் நடத்துபவர் ஓடிக்கொண்டிருக்கும்போதே எந்தச் சொல்லையோ வரியையோ மீண்டும் எழுதலாம்; ஒவ்வொரு திருத்தமும் குறிக்கப்பட்டு, திரும்பப் பெறக்கூடியதாக இருக்கும்.

சொற்களின் பக்கத்துக்கு, சொல் பிழை விகிதம் எதை அளக்கிறது, எதைத் தவறவிடுகிறது என்ற கட்டுரை திருத்த அடுக்குகளை விரிவாக விளக்குகிறது; WER ரெகக்னைசருக்கு எதுவோ, DER டையரைசருக்கு அதுவே; ஒரு டிரான்ஸ்கிரிப்ட்டுக்கு இரண்டும் குறைவாக இருக்க வேண்டும்.