ஒரு தவறான பெயரையும், தவறான எண்ணையும், விடுபட்ட "not"-ஐயும், விடுபட்ட "the"-வைப் போலவே WER சமமாக மதிப்பிடுகிறது. ஒரு டிரான்ஸ்கிரிப்ஷன் அமைப்பை அதன் தலைப்பு எண்ணால் அல்ல, அது எந்தப் பிழைகளைப் பிடிக்கிறது, அதன் திருத்தங்களைப் பார்க்க முடியுமா என்பதால் மதிப்பிடுங்கள்.
சொல் பிழை விகிதம் (Word error rate, WER) பேச்சு அறிதலுக்கான நிலையான அளவுகோல். ஒரு நபர் சரிபார்த்த குறிப்புப் பிரதியை எடுத்து, இயந்திரத்தின் வெளியீட்டை சொல்லுக்குச் சொல் வரிசையாக வைத்து, மூன்று வகையான தவறுகளை எண்ணுங்கள்: மாற்றீடுகள் (தவறான சொல்), சேர்ப்புகள் (சொல்லப்படாத ஒரு சொல்) மற்றும் நீக்கங்கள் (விடுபட்ட சொல்). இவற்றைக் கூட்டி, குறிப்பில் உள்ள மொத்தச் சொற்களின் எண்ணிக்கையால் வகுக்கவும்.
WER = (மாற்றீடுகள் + சேர்ப்புகள் + நீக்கங்கள்) / குறிப்பில் உள்ள சொற்கள்
இந்த வரிசைப்படுத்தல் கண்ணால் பார்த்துச் செய்யப்படுவதில்லை. இரண்டு பிரதிகளும் குறைந்தபட்ச திருத்தத் தொலைவு (Levenshtein தொலைவு, எழுத்துகளுக்குப் பதிலாகச் சொற்களுக்குப் பயன்படுத்தப்பட்டது) மூலம் சீரமைக்கப்படுகின்றன: வெளியீட்டைக் குறிப்புடன் இணைப்பதற்கான அனைத்து வழிகளிலும், குறைந்தபட்ச திருத்தங்கள் தேவைப்படும் வழியை மதிப்பீட்டாளர் தேர்ந்தெடுத்து அவற்றை எண்ணுகிறார். சேர்ப்புகள் எண்ணப்படுவதாலும், வகுப்பான் குறிப்பின் நீளமாக இருப்பதாலும், WER 100 சதவீதத்தையும் தாண்டலாம்: அமைதியான ஒரு நிமிடத்தை உரையால் நிரப்பும் மாதிரி, எதுவுமே எழுதாத மாதிரியை விடக் குறைவாக மதிப்பெண் பெறும்.
குறிப்பு "we will meet Dr Okafor at nine on Thursday" என்பது ஒன்பது சொற்கள் என்றும், இயந்திரம் "we will meet the doctor at nine on Tuesday" என்று எழுதுகிறது என்றும் வைத்துக்கொள்ளுங்கள். அது மூன்று மாற்றீடுகள் (Dr, Okafor, Thursday) ஒன்பது சொற்களுக்கு மேல்: 33 சதவீத WER. சொற்களில் மூன்றில் இரண்டு பங்கு சரியாக உள்ளது, ஆனாலும் நீங்கள் தவறான நாளில், தவறான சந்திப்புக்குத்தான் சென்றுகொண்டிருக்கிறீர்கள். "Thursday" மட்டும் தவறாக இருந்தால், மதிப்பெண் 11 சதவீதமாக இருக்கும். ஒவ்வொரு சொல்லும் சரியாக இருந்து, யாரும் சொல்லாத ஒரு "um" மட்டும் சேர்ந்திருக்கும் பதிப்பும் 11 சதவீதமே பெறும், ஏனெனில் ஒரு சேர்ப்பும் ஒரு மாற்றீட்டைப் போலவே எண்ணப்படும்.
எண்ணுவதற்கு முன், இரண்டு உரைகளும் பொதுவாக இயல்பாக்கப்படுகின்றன (normalised), அங்கு எடுக்கப்படும் தேர்வுகள் மாதிரியைப் போலவே மதிப்பெண்ணை நகர்த்துகின்றன. "Dr" என்பதும் "Doctor" என்பதும் ஒரே சொல்லா? "nine" என்பதும் "9" என்பதும் ஒன்றா? எழுத்தின் பெரிய/சிறிய நிலையும் நிறுத்தக்குறிகளும் கணக்கில் வருமா? கடுமையான மதிப்பீடு "Dr"-ஐ "Doctor"-உடன் ஒப்பிட்டு ஒரு மாற்றீடாகக் குறிக்கும். வெளியிடப்படும் பெரும்பாலான மதிப்பெண்கள் ஒப்பிடுவதற்கு முன் எல்லாவற்றையும் சிறிய எழுத்தாக்கி, நிறுத்தக்குறிகளை நீக்கி, எண்களை ஒரே விதமாக - சொற்களாகவோ இலக்கங்களாகவோ - எழுதுகின்றன. எனவே ஒரு விற்பனையாளரின் எண்ணிக்கை, நீங்கள் பார்க்க முடியாத ஓர் இயல்பாக்கியைச் சார்ந்தே அமைகிறது. சொற்களுக்கு இடையே இடைவெளி இல்லாமல் எழுதப்படும் சீன, ஜப்பானிய மற்றும் தாய் மொழிகளில் எண்ணுவதற்குத் தெளிவான சொல் எல்லை இல்லை; எனவே அவை எழுத்துப் பிழை விகிதம் (character error rate, CER) மூலம் மதிப்பிடப்படுகின்றன: அதே சூத்திரம், ஆனால் எழுத்துகளின் மீது.
இதிலிருந்து இரண்டு விஷயங்கள் தெரிகின்றன. முதலாவது, 5 சதவீத WER என்பது இருபது சொற்களில் ஒன்று; ஒரு மணி நேரப் பேச்சில் இது பல நூறு சொற்களாகும். ஒப்பிட்டுப் பார்க்க, மனித டிரான்ஸ்கிரைபர்கள் உரையாடல் பேச்சில் சுமார் 4 முதல் 5 சதவீதம் வரை என்று பெரும்பாலும் குறிப்பிடப்படுகிறார்கள்; 2017 ஆம் ஆண்டு Switchboard தொலைபேசித் தொகுப்பில் அடிக்கடி மேற்கோள் காட்டப்படும் முடிவு, ஓர் இயந்திரம் சுமார் 5.1 சதவீதம் என்று காட்டியது. இரண்டு எண்களும் ஒலியையும் மதிப்பீட்டு விதிகளையும் பொறுத்தவை. இரண்டாவது, எண் முழுவதுமாகச் சோதனை ஒலியைச் சார்ந்தது: தெளிவான வாசிப்புப் பேச்சு ஒரு எண்ணைத் தருகிறது, உச்சரிப்புகளும் ஒன்றுக்கொன்று மேலே பேசுவதும் உள்ள சத்தமான குழு உரையாடல் வேறு, மிகவும் மாறுபட்ட எண்ணைத் தருகிறது. தலைப்பில் காட்டப்படும் WER, விற்பனையாளரின் அமைப்பை எவ்வளவு விவரிக்கிறதோ அதே அளவுக்கு, அவர்களின் சோதனைத் தொகுப்பையும் விவரிக்கிறது.
இதுவே எண்ணிக்கை. அது விட்டுவிடுவது, ஒவ்வொரு பிழையும் படிக்கும் வாசகருக்கு ஏற்படுத்தும் விலை.
WER ஒவ்வொரு சொல்லையும் சமமாகக் கருதுகிறது. வாசகர்கள் அப்படிக் கருதுவதில்லை:
இவை ஒவ்வொன்றும் WER நெடுவரிசையில் ஒன்றோ இரண்டோ பிழைகள் மட்டுமே. வாசகரின் நெடுவரிசையில் இவை ஒன்றுமே இல்லாததிலிருந்து, வேறொரு நாளில் வேறொரு சந்திப்பு வரை இருக்கலாம். எனவே கேள்வி "பிழை விகிதம் என்ன" என்பது மட்டுமல்ல, "எந்த வகையான பிழைகள், அவற்றை எது பிடிக்கிறது" என்பதும்தான்.
பல அடுக்குகள் அங்கீகாரம் தவறவிடுவதைப் பிடிக்கின்றன, ஒவ்வொரு மாற்றமும் பதிவு செய்யப்படுவதால் அதை ஆய்வு செய்யவும் திரும்பப் பெறவும் முடியும். நேரடி டிரான்ஸ்கிரிப்ஷனில் இது உரை இன்னும் வந்துகொண்டிருக்கும்போதே நடக்கிறது: ஒவ்வொரு வரியும் முதலில் மாறக்கூடிய வரைவாகத் தோன்றி, பின்னர் இறுதியானதாகிறது (நேரடி மொழிபெயர்ப்புத் தாமதம், விளக்கம் இது ஏன் என்பதை விளக்குகிறது).
சில தவறுகள் ஒலிக்குப் பொருந்தும், ஆனால் வாக்கியத்துக்குப் பொருந்தாது: வாக்கியத்திற்கு "there" தேவைப்படும் இடத்தில் "their". இவற்றைச் சூழலிலிருந்து பிடிக்கலாம், மேலும் ஒரு திருத்தம் வாசகர்களுக்கு அமைதியான மறு எழுத்தாக இல்லாமல், தெரியும் புதுப்பிப்பாக (API-யில் transcript.amended) சென்றடைகிறது. முன்கூட்டியே கணிக்கக்கூடிய சொற்களில் சூழல் நல்லது. கணிக்க முடியாதவற்றில் அதனால் உதவ முடியாது.
சூழலால் சரிசெய்ய முடியாத பிழைகள் பெயர்களும் தொழில்நுட்பச் சொற்களும்தான், ஏனெனில் ஒரு பெயர் பெரும்பாலும் ஒரு முறை மட்டுமே வருகிறது, அதைக் கணிப்பதற்கு சுற்றிலும் எதுவும் இருக்காது. குறிப்பு ஸ்கிரிப்ட் இதைத் தீர்க்கிறது: பேச்சு, ஸ்லைடுகள் அல்லது பெயர்கள் மற்றும் சொற்களின் பட்டியலை தொடங்குவதற்கு முன் அமைப்புக்குக் கொடுங்கள்; அதன் சொற்கள், இயந்திரம் தவறாகக் கேட்டதை விட முன்னுரிமை பெறும். பதிவின்போது ஸ்கிரிப்ட் டிரான்ஸ்கிரிப்டை டெலிப்ராம்ப்டர் போலப் பின்தொடர்கிறது, இதனால் இயந்திரம் எவ்வளவு தூரம் வந்துவிட்டது என்பதை தொகுப்பாளர் பார்க்க முடியும். ஸ்கிரிப்ட் நீங்கள் முன்கூட்டியே கணிக்கக்கூடிய சொற்களை உள்ளடக்குகிறது; சத்தமான ஒலியும் உச்சரிப்புகளும் கணிக்க முடியாதவற்றை உருவாக்குகின்றன.
சில பிழைகளை அறையில் உள்ள ஒரு நபர் மட்டுமே பார்க்க முடியும். கைமுறைத் திருத்தங்கள் தொகுப்பாளர் டிரான்ஸ்கிரிப்ஷன் நேரடியாக நடக்கும்போதே எந்தச் சொல்லையும் அல்லது வரியையும் மீண்டும் எழுத அனுமதிக்கின்றன, மேலும் ஒளிபரப்பில் உள்ள ஒவ்வொரு கேட்பவரும் மாற்றத்தைப் பார்ப்பார். அமைப்பு சாத்தியமான வேட்பாளர்களைத் தொகுப்பாளருக்குச் சுட்டிக்காட்டுகிறது: இயந்திரம் உறுதியில்லாத சொற்களை வண்ணமிட்டுக் கோடிடலாம், மேலும் தொகுப்பாளர் முழு டிரான்ஸ்கிரிப்டையும் மீண்டும் படிப்பதற்குப் பதிலாக, நிச்சயமற்ற பகுதிகளை ஒவ்வொன்றாகக் கடந்து செல்லலாம். API மூலம், GET /v1/recordings/{id}/corrections ஒரு பதிவின் திருத்தங்களைப் பட்டியலிடுகிறது, POST /v1/corrections/{id}/revert ஒன்றைத் திரும்பப் பெறுகிறது; API குறிப்பு பார்க்கவும். ஆனாலும், அறையில் இருக்கும் ஒரு நபரால்கூட, யாரும் கேட்க முடியாத வரியைத் திருத்த முடியாது.
கடைசி அடுக்கு சில ஒலிகளை மீட்க முடியாது என்பதை ஏற்றுக்கொள்கிறது. ஒரு வரி டிரான்ஸ்கிரிப்ஷனின் நம்பகத்தன்மை வரம்பான confidence.hideBelow (இயல்பாக 0.60) க்குக் கீழே மதிப்பெண் பெறும்போது, கேட்பவர்கள் ஒரு யூகத்திற்குப் பதிலாக அதன் இடத்தில் "ஆடியோ தெளிவாக இல்லை" என்பதைப் பார்க்கிறார்கள், மேலும் அந்த வரி ஒருபோதும் சத்தமாகப் படிக்கப்படுவதில்லை. வாசகர்கள் ஒரு வரியை இழக்கிறார்கள்; புனையப்பட்ட ஒன்றைப் பெறுவதில்லை.
இந்தக் கேள்விகள் இந்த அடுக்குகளை வடிவமைத்தன; அவை எந்தவொரு விற்பனையாளரின் துல்லியக் கூற்றுக்கும் பொருந்தும், நம்முடையதற்கும் சேர்த்து.
எந்தவொரு துல்லியக் கூற்றையும் படிப்பதற்கான சுருக்கமான பட்டியல்:
மேலே சொன்ன முதல் காரணத்துக்காக VocalStack உள் WER எண்ணை வெளியிடுவதில்லை: அது எங்கள் சோதனைத் தொகுப்பை விவரிக்கும், உங்கள் ஒலியை அல்ல. நாங்கள் துல்லியத்தை தொடர்ந்து அளவிடுகிறோம். மற்ற அமைப்புகளை ஒப்பிடும்போது, வெளியிடப்பட்ட சுயாதீன அளவுகோல்களையும் விற்பனையாளர் வெளியிட்ட எண்களையும் பயன்படுத்துகிறோம், தனிப்பட்ட சோதனைகளை ஒருபோதும் பயன்படுத்துவதில்லை. மீதமுள்ளதை உங்கள் சொந்த ஒலி தீர்மானிக்கட்டும்.
