WER एक गलत नाम, एक गलत संख्या और एक छूटे "not" को उतना ही तौलता है जितना छूटे "the" को। किसी ट्रांसक्रिप्शन सिस्टम को उसकी मुख्य संख्या से नहीं, बल्कि इस बात से परखिए कि वह कौन सी गलतियाँ पकड़ता है और क्या आप उसके सुधार देख सकते हैं।
शब्द त्रुटि दर (word error rate) स्पीच रिकग्निशन के लिए मानक पैमाना है। किसी व्यक्ति के जाँचे हुए संदर्भ ट्रांसक्रिप्ट को लीजिए, मशीन के आउटपुट को शब्द-दर-शब्द उसके सामने रखिए, और तीन तरह की गलतियाँ गिनिए: प्रतिस्थापन (substitutions, यानी गलत शब्द), अतिरिक्त शब्द (insertions, यानी ऐसा शब्द जो कहा ही नहीं गया) और छूटे शब्द (deletions, यानी गायब शब्द)। इन्हें जोड़िए और संदर्भ में मौजूद शब्दों की संख्या से भाग दीजिए।
WER = (प्रतिस्थापन + अतिरिक्त शब्द + छूटे शब्द) / संदर्भ में शब्दों की संख्या
यह मिलान आँख से नहीं किया जाता। दोनों ट्रांसक्रिप्ट को न्यूनतम एडिट डिस्टेंस (Levenshtein distance, जो अक्षरों की जगह शब्दों पर लागू होती है) से मिलाया जाता है: आउटपुट को संदर्भ से जोड़ने के सभी तरीकों में से स्कोरर वह तरीका चुनता है जिसमें सबसे कम बदलाव लगें, और उन्हीं बदलावों को गिनता है। चूँकि अतिरिक्त शब्द गिने जाते हैं और भाजक संदर्भ की लंबाई है, WER 100 प्रतिशत से ऊपर भी जा सकता है: जो मॉडल एक शांत मिनट को भी टेक्स्ट से भर देता है, वह उस मॉडल से बुरा स्कोर पाता है जो कुछ लिखता ही नहीं।
मान लीजिए संदर्भ है "we will meet Dr Okafor at nine on Thursday", यानी नौ शब्द, और मशीन लिखती है "we will meet the doctor at nine on Tuesday"। यहाँ तीन प्रतिस्थापन हैं (Dr, Okafor, Thursday), जो नौ शब्दों पर 33 प्रतिशत WER देते हैं। दो-तिहाई शब्द सही हैं, फिर भी आप गलत मीटिंग में गलत दिन पर हैं। अगर सिर्फ़ "Thursday" गलत होता, तो स्कोर 11 प्रतिशत होता। और वह संस्करण जिसमें हर शब्द सही है, पर कोई "um" जोड़ दिया गया है जो किसी ने कहा नहीं, वह भी 11 प्रतिशत स्कोर करता है, क्योंकि अतिरिक्त शब्द उतना ही गिना जाता है जितना प्रतिस्थापन।
गिनती से पहले दोनों टेक्स्ट आम तौर पर नॉर्मलाइज़ किए जाते हैं, और वहाँ लिए गए फ़ैसले स्कोर को उतना ही हिला देते हैं जितना मॉडल। क्या "Dr" और "Doctor" एक ही शब्द हैं? क्या "nine" और "9" एक हैं? क्या अक्षरों का केस और विराम-चिह्न गिने जाते हैं? सख़्त स्कोरिंग "Dr" और "Doctor" को प्रतिस्थापन गिनेगी। ज़्यादातर प्रकाशित स्कोर तुलना से पहले सब कुछ लोअरकेस करते हैं, विराम-चिह्न हटाते हैं, और हर संख्या को एक ही रूप में लिखते हैं, या शब्दों में या अंकों में। इसलिए किसी विक्रेता का आँकड़ा चुपचाप ऐसे नॉर्मलाइज़र पर निर्भर करता है जिसे आप देख नहीं सकते। जिन भाषाओं में शब्दों के बीच खाली जगह नहीं होती, जैसे चीनी, जापानी और थाई, उनमें गिनने के लिए साफ़ शब्द-सीमा नहीं होती, इसलिए उन्हें character error rate (CER) से मापा जाता है: वही सूत्र, पर शब्दों की जगह अक्षरों पर लागू।
इसके दो मतलब हैं। पहला, 5 प्रतिशत का WER यानी बीस में से एक शब्द, और एक घंटे की बातचीत में यह कई सौ शब्द बनते हैं। तुलना के लिए, इंसानी ट्रांसक्राइबर अक्सर बातचीत वाली बोली पर लगभग 4 से 5 प्रतिशत बताए जाते हैं, और 2017 के Switchboard टेलीफ़ोन कॉर्पस पर एक बहुचर्चित नतीजे में मशीन लगभग 5.1 प्रतिशत पर थी, हालाँकि दोनों आँकड़े ऑडियो और स्कोरिंग नियमों पर निर्भर करते हैं। दूसरा, संख्या पूरी तरह टेस्ट ऑडियो पर निर्भर है: साफ़ पढ़ी गई बोली एक आँकड़ा देती है, और लहजों व एक-दूसरे पर बोलने वालों वाला शोर भरा पैनल बिल्कुल अलग। हेडलाइन WER जितना वर्णन करता है, उससे ज़्यादा वह विक्रेता के टेस्ट सेट का वर्णन करता है।
यह गिनती है। यह नहीं बताती कि पढ़ने वाले के लिए हर गलती की क़ीमत कितनी है।
WER हर शब्द को बराबर मानता है। पाठक ऐसा नहीं करते:
इनमें से हर एक WER वाले कॉलम में एक या दो गलतियाँ है। पाठक के कॉलम में ये कुछ भी न होने से लेकर एक अलग मीटिंग, अलग दिन तक हो सकती हैं। इसलिए सवाल सिर्फ़ यह नहीं कि "गलती दर क्या है", बल्कि यह भी कि "किस तरह की गलतियाँ, और उन्हें कौन पकड़ता है"।
कई परतें वह पकड़ती हैं जो पहचान में ग़लत हो जाता है, और हर बदलाव दर्ज होता है ताकि उसे जाँचा और पलटा जा सके। लाइव ट्रांसक्रिप्शन पर यह तब होता है जब टेक्स्ट अभी आ ही रहा होता है: हर पंक्ति पहले एक ड्राफ़्ट के रूप में दिखती है जो अभी बदल सकती है, और फिर अंतिम हो जाती है (लाइव अनुवाद की देरी, समझाई गई बताता है कि ऐसा क्यों है)।
कुछ गलतियाँ आवाज़ से तो मेल खाती हैं, पर वाक्य से नहीं: जहाँ वाक्य में "there" चाहिए वहाँ "their" लिख जाना। इन्हें संदर्भ से पकड़ा जा सकता है, और पाठकों तक यह एक दिखने वाले अपडेट के रूप में पहुँचता है (API में transcript.amended), चुपचाप लिखा गया बदलाव नहीं। संदर्भ उन शब्दों के लिए अच्छा है जिन्हें वाक्य पहले से भाँप सकता है। जिन शब्दों का अनुमान वाक्य नहीं लगा सकता, उनके आगे वह लाचार है।
नाम और तकनीकी शब्द वे गलतियाँ हैं जिन्हें संदर्भ नहीं सुधार सकता, क्योंकि कोई नाम अक्सर सिर्फ़ एक बार आता है, और उसके आसपास ऐसा कुछ नहीं होता जिससे उसका अनुमान लगाया जा सके। एक रेफ़रंस स्क्रिप्ट इसका हल है: रिकॉर्डिंग शुरू करने से पहले सिस्टम को बोली, स्लाइड या नामों और शब्दों की सूची दीजिए, और उसके शब्द उन शब्दों पर प्राथमिकता पाते हैं जो इंजन ने ग़लत सुने। रिकॉर्डिंग के दौरान स्क्रिप्ट टेलीप्रॉम्प्टर की तरह ट्रांसक्रिप्ट के साथ चलती है, ताकि होस्ट देख सके कि इंजन कहाँ तक पहुँचा है। स्क्रिप्ट उन शब्दों को कवर करती है जिनका अनुमान लगाया जा सकता है; शोर भरा ऑडियो और लहजे वे शब्द पैदा करते हैं जिनका अनुमान नहीं लगाया जा सकता।
कुछ गलतियाँ सिर्फ़ कमरे में बैठा व्यक्ति देख सकता है। मैनुअल सुधार होस्ट को लाइव ट्रांसक्रिप्शन चलते हुए भी किसी भी शब्द या पंक्ति को फिर से लिखने देते हैं, और ब्रॉडकास्ट पर हर श्रोता बदलाव देखता है। सिस्टम होस्ट को संभावित उम्मीदवारों की ओर इशारा करता है: जिन शब्दों पर इंजन को भरोसा कम था, उन्हें रंग और अंडरलाइन मिल सकते हैं, और होस्ट पूरे ट्रांसक्रिप्ट को दोबारा पढ़ने के बजाय अनिश्चित हिस्सों में एक-एक करके आगे बढ़ सकता है। API के ज़रिए, GET /v1/recordings/{id}/corrections किसी रिकॉर्डिंग के सुधार सूचीबद्ध करता है और POST /v1/corrections/{id}/revert एक सुधार को पलटता है; देखें API reference। फिर भी, कमरे में बैठा व्यक्ति भी उस पंक्ति को ठीक नहीं कर सकता जिसे किसी ने सुना ही नहीं।
आख़िरी परत यह मानती है कि कुछ ऑडियो वापस नहीं पाया जा सकता। जब कोई पंक्ति ट्रांसक्रिप्शन की कॉन्फ़िडेंस सीमा (confidence.hideBelow, डिफ़ॉल्ट 0.60) से नीचे आती है, तो श्रोताओं को अनुमान की जगह उसकी जगह "ऑडियो साफ़ नहीं है" दिखता है, और उस पंक्ति को कभी ज़ोर से नहीं पढ़ा जाता। पाठक एक पंक्ति खोते हैं; वे कोई गढ़ी हुई पंक्ति नहीं पाते।
जिन सवालों ने इन परतों को आकार दिया, वे किसी भी विक्रेता के सटीकता दावे पर लागू होते हैं, हमारे अपने पर भी।
किसी भी सटीकता दावे को पढ़ने के लिए एक छोटी जाँच-सूची:
VocalStack कोई आंतरिक WER आँकड़ा प्रकाशित नहीं करता, पहले कारण के लिए: वह हमारे टेस्ट सेट का वर्णन करेगा, आपके ऑडियो का नहीं। हम सटीकता को लगातार मापते हैं। जहाँ हम दूसरे सिस्टमों की तुलना करते हैं, वहाँ स्वतंत्र सार्वजनिक बेंचमार्क और विक्रेताओं द्वारा प्रकाशित आँकड़े इस्तेमाल करते हैं, कभी निजी टेस्ट नहीं। बाकी का फ़ैसला आपका अपना ऑडियो करे।
