WER चुकीच्या नावाला, चुकीच्या संख्येला आणि गहाळ झालेल्या "not" ला, गाळलेल्या "the" इतकाच दंड देतो. ट्रान्सक्रिप्शन प्रणालीचे मूल्यमापन तिच्या मुख्य आकड्यावरून नाही, तर ती कोणत्या चुका पकडते आणि तिच्या दुरुस्त्या तुम्हाला दिसतात का, यावरून करा.
शब्द त्रुटी दर (word error rate, WER) हा स्पीच रेकग्निशनसाठी मानक मापदंड आहे. एका तपासलेल्या संदर्भ ट्रान्सक्रिप्टला घ्या, मशीनच्या आउटपुटला त्याच्याशी शब्दानुशब्द जुळवा, आणि तीन प्रकारच्या चुका मोजा: बदललेले शब्द (substitutions), जोडलेले शब्द (insertions) आणि गाळलेले शब्द (deletions). त्या सर्व बेरीज करा आणि संदर्भातील एकूण शब्दांनी भागा.
WER = (बदललेले + जोडलेले + गाळलेले) / संदर्भातील शब्द
शब्दांची जुळवणी डोळ्याने केली जात नाही. दोन ट्रान्सक्रिप्ट्स किमान एडिट डिस्टन्सने (Levenshtein distance, अक्षरांऐवजी शब्दांवर लागू केलेले) जुळवल्या जातात: आउटपुटला संदर्भाशी जोडण्याच्या सर्व मार्गांपैकी, स्कोअरर सर्वात कमी बदल असलेला मार्ग निवडतो आणि ते बदल मोजतो. जोडलेले शब्द मोजले जातात आणि भाजक हा संदर्भाची लांबी असल्यामुळे, WER शंभर टक्क्यांपेक्षाही जास्त होऊ शकतो: शांत मिनिटभर मजकूर भरणारे मॉडेल काहीही न लिहिणाऱ्या मॉडेलपेक्षा वाईट गुण मिळवते.
समजा संदर्भ आहे "we will meet Dr Okafor at nine on Thursday", म्हणजे नऊ शब्द, आणि मशीन लिहिते "we will meet the doctor at nine on Tuesday". हे तीन बदल आहेत (Dr, Okafor, Thursday) नऊ शब्दांवर: म्हणजे 33 टक्के WER. दोन-तृतीयांश शब्द बरोबर आहेत, तरीही तुम्ही चुकीच्या दिवशी, चुकीच्या बैठकीत आहात. जर फक्त "Thursday" चुकले असते, तर गुण 11 टक्के झाला असता. जर प्रत्येक शब्द बरोबर असता पण कुणी न म्हटलेला एक अतिरिक्त "um" जोडला असता, तर तोही 11 टक्केच गुण झाला असता, कारण जोडलेला शब्द बदललेल्या शब्दाइतकाच मोजला जातो.
मोजणी करण्यापूर्वी दोन्ही मजकूर सहसा सामान्यीकृत (normalised) केले जातात, आणि तिथे घेतलेले निर्णय मॉडेलइतकेच स्कोअर हलवतात. "Dr" हा "Doctor" सारखाच शब्द आहे का? "nine" आणि "9" सारखे आहेत का? केस आणि विरामचिन्हे मोजली जातात का? कडक स्कोअरिंग "Dr" आणि "Doctor" यांना बदलाची चूक मानेल. बहुतेक प्रकाशित स्कोअर तुलना करण्यापूर्वी सर्व अक्षरे लहान करतात, विरामचिन्हे काढतात आणि सर्व संख्या एकाच पद्धतीने लिहितात, शब्दांत किंवा अंकांत. त्यामुळे विक्रेत्याचा आकडा तुम्हाला न दिसणाऱ्या normaliser वर शांतपणे अवलंबून असतो. शब्दांदरम्यान जागा नसलेल्या भाषा, जसे की चिनी, जपानी आणि थाई, यांना मोजण्यासाठी स्वच्छ शब्द-सीमा नसते, म्हणून त्या वर्ण त्रुटी दर (character error rate, CER) ने स्कोअर केल्या जातात: तोच सूत्र, पण अक्षरांवर लागू केलेला.
याचे दोन परिणाम आहेत. पहिला: 5 टक्के WER म्हणजे वीसपैकी एक शब्द, आणि एका तासाच्या भाषणात हे अनेक शेकडो शब्द होतात. तुलनेसाठी, मानवी ट्रान्सक्रिप्शनर्सचा दर संभाषणी भाषणावर साधारणपणे 4 ते 5 टक्के असल्याचे सांगितले जाते, आणि 2017 मधील एक बहुचर्चित निकाल, Switchboard टेलिफोन कॉर्पसवर, मशीनसाठी सुमारे 5.1 टक्के दाखवतो, जरी दोन्ही आकडे ऑडिओ आणि स्कोअरिंगच्या नियमांवर अवलंबून असतात. दुसरा: संख्या पूर्णपणे चाचणी ऑडिओवर अवलंबून असते. स्वच्छ वाचलेले भाषण एक आकडा देते, आणि उच्चार व एकमेकांवर बोलणे असलेला गोंगाटमय पॅनेल खूप वेगळा आकडा देतो. मुख्य WER जितके विक्रेत्याच्या प्रणालीचे वर्णन करतो, तितकेच त्याच्या चाचणी संचाचेही वर्णन करतो.
हा मोजमापाचा भाग झाला. यात न दिसणारी गोष्ट म्हणजे वाचणाऱ्याला प्रत्येक चुकीची किंमत.
WER प्रत्येक शब्दाला समान मानतो. वाचक तसा विचार करत नाहीत:
यातील प्रत्येक गोष्ट WER स्तंभात एक-दोन चुका असते. वाचकाच्या स्तंभात त्या शून्यापासून ते वेगळ्या दिवशी, वेगळ्या बैठकीपर्यंत काहीही असू शकतात. म्हणून प्रश्न फक्त "त्रुटी दर किती आहे" असा नाही, तर "कोणत्या प्रकारच्या चुका, आणि त्या काय पकडतात" असा आहे.
ओळख प्रक्रिया चुकते त्या अनेक गोष्टी पकडण्यासाठी काही स्तर काम करतात, आणि प्रत्येक बदल नोंदवला जातो, जेणेकरून तो तपासता व उलटवता येतो. थेट ट्रान्सक्रिप्शनवर हे मजकूर अजून येत असतानाच घडते: प्रत्येक ओळ आधी ड्राफ्ट म्हणून दिसते, जी अजून बदलू शकते, आणि मग अंतिम होते (लाइव्ह भाषांतर विलंब, स्पष्टीकरणासह हे का ते सांगते).
काही चुका आवाजाशी जुळतात पण वाक्याशी जुळत नाहीत: वाक्याला "there" हवे असताना "their" येते. या चुका संदर्भावरून पकडता येतात, आणि वाचकांपर्यंत सुधारणा दृश्य अपडेट म्हणून पोहोचते (API मध्ये transcript.amended), शांतपणे पुन्हा लिहिलेली नाही. संदर्भ ज्या शब्दांचा अंदाज वाक्य लावू शकते त्यावर चांगला काम करतो. ज्या शब्दांचा अंदाज वाक्य लावू शकत नाही त्यांवर तो काहीच करू शकत नाही.
नावे आणि तांत्रिक संज्ञा या त्या चुका आहेत ज्या संदर्भ दुरुस्त करू शकत नाही, कारण नाव अनेकदा एकदाच येते, आणि त्याचा अंदाज बांधता येईल असे आजूबाजूला काहीच नसते. संदर्भ स्क्रिप्ट ही अडचण सोडवते: बोलणे, स्लाइड्स किंवा नावे व संज्ञांची यादी सुरुवातीपूर्वीच प्रणालीला द्या, आणि तिचे शब्द इंजिनने ऐकलेल्या चुकीच्या शब्दांपेक्षा प्राधान्य घेतात. रेकॉर्डिंगदरम्यान स्क्रिप्ट टेलिप्रॉम्प्टरप्रमाणे ट्रान्सक्रिप्टसोबत पुढे सरकते, त्यामुळे होस्टला इंजिन किती पुढे आले आहे ते दिसते. स्क्रिप्ट तुम्ही अंदाज लावू शकता ते शब्द कव्हर करते; गोंगाटमय ऑडिओ आणि उच्चार बाकीचे शब्द तयार करतात.
काही चुका फक्त खोलीतील व्यक्तीलाच दिसतात. मॅन्युअल सुधारणा होस्टला ट्रान्सक्रिप्शन अजून थेट सुरू असतानाच कोणताही शब्द किंवा ओळ पुन्हा लिहिण्याची परवानगी देतात, आणि ब्रॉडकास्टवरील प्रत्येक श्रोत्याला बदल दिसतो. सिस्टम होस्टला संभाव्य उमेदवारांकडे निर्देश करते: इंजिनला ज्या शब्दांबद्दल खात्री नव्हती ते रंगीत आणि अधोरेखित दाखवता येतात, आणि होस्ट संपूर्ण ट्रान्सक्रिप्ट पुन्हा वाचण्याऐवजी अनिश्चित भाग एक-एक करून पाहू शकतो. API द्वारे, GET /v1/recordings/{id}/corrections रेकॉर्डिंगच्या सुधारणा यादी करते आणि POST /v1/corrections/{id}/revert एक सुधारणा उलटवते; पाहा API संदर्भ. तरीही, खोलीतील व्यक्तीलाही ज्या ओळीचा आवाज कुणालाच ऐकू गेला नाही ती दुरुस्त करता येत नाही.
शेवटचा स्तर मान्य करतो की काही ऑडिओ पुनर्प्राप्त करता येत नाही. जेव्हा एखादी ओळ ट्रान्सक्रिप्शनच्या कॉन्फिडन्स थ्रेशोल्डपेक्षा कमी स्कोअर करते (confidence.hideBelow, डीफॉल्ट 0.60), तेव्हा श्रोत्यांना अंदाजाऐवजी त्या जागी "Audio unclear" दिसते, आणि ती ओळ कधीही मोठ्याने वाचली जात नाही. वाचक एक ओळ गमावतात; त्यांना बनवलेली ओळ मिळत नाही.
हेच प्रश्न हे स्तर घडवण्यामागे होते, आणि ते कोणत्याही विक्रेत्याच्या अचूकतेच्या दाव्यावर लागू होतात, आमच्यावरही.
कोणत्याही अचूकतेच्या दाव्याचे वाचन करण्यासाठी एक छोटी चेकलिस्ट:
VocalStack त्याचा अंतर्गत WER आकडा प्रसिद्ध करत नाही, वर दिलेल्या पहिल्या कारणामुळे: तो आमच्या चाचणी संचाचे वर्णन करेल, तुमच्या ऑडिओचे नाही. आम्ही अचूकता सतत मोजतो. इतर प्रणालींची तुलना करताना, आम्ही प्रकाशित स्वतंत्र बेंचमार्क आणि विक्रेत्यांनी प्रकाशित केलेले आकडे वापरतो, खाजगी चाचण्या कधीही नाहीत. बाकीचे ठरवायला तुमचा स्वतःचा ऑडिओ पुरेसा आहे.
