WER ले गलत नाम, गलत संख्या र छुटेको “not” लाई छुटेको “the” जत्तिकै बराबर गन्छ। ट्रान्सक्रिप्शन प्रणालीलाई त्यसको मुख्य संख्याले होइन, त्यसले कुन गल्ती समात्छ र त्यसका सुधारहरू देख्न सकिन्छ कि भन्ने कुराले जाँच्नुहोस्।
शब्द त्रुटि दर (WER) भाषा पहिचानको मानक मापन हो। व्यक्तिले जाँचेको एउटा सन्दर्भ ट्रान्सक्रिप्ट लिनुहोस्, मेसिनको आउटपुटलाई त्यसको सामु शब्दशः मिलाउनुहोस्, र तीन प्रकारका गल्ती गन्नुहोस्: प्रतिस्थापन (गलत शब्द), सन्निवेश (कहिल्यै नभनिएको शब्द) र लोप (छुटेको शब्द)। तिनीहरूको जोड निकाल्नुहोस् र सन्दर्भमा भएका शब्दहरूको संख्याले भाग गर्नुहोस्।
WER = (substitutions + insertions + deletions) / words in the reference
शब्दहरू मिलाउने काम आँखाले हेरेर गरिँदैन। दुई ट्रान्सक्रिप्टलाई न्यूनतम सम्पादन दूरी (Levenshtein distance, अक्षरको सट्टा शब्दमा लागू गरिएको) द्वारा मिलाइन्छ: आउटपुट र सन्दर्भलाई जोड्ने सबै तरिकामध्ये, स्कोररले सबैभन्दा कम सम्पादन भएको तरिका छान्छ र ती सम्पादनहरू गन्छ। सन्निवेशहरू गनिने र भाजक सन्दर्भको लम्बाइ हुने हुनाले, WER ले 100 प्रतिशत नाघ्न सक्छ: शान्त मिनेटलाई पाठले भर्ने मोडेलले केही नलेख्ने मोडेलभन्दा खराब स्कोर पाउँछ।
मानौं सन्दर्भ हो "we will meet Dr Okafor at nine on Thursday", जसमा नौ शब्द छन्, र मेसिनले "we will meet the doctor at nine on Tuesday" लेख्छ। त्यो नौ शब्दमध्ये तीनवटा प्रतिस्थापन (Dr, Okafor, Thursday) हो: 33 प्रतिशत WER। शब्दहरूको दुई-तिहाइ सही छन्, तर तपाईं अझै गलत भेटमा, गलत दिनमा हुनुहुन्छ। यदि केवल "Thursday" मात्र गलत भएको भए, स्कोर 11 प्रतिशत हुन्थ्यो। हरेक शब्द सही तर कसैले नभनेको "um" थपिएको संस्करणले पनि 11 प्रतिशत स्कोर पाउँछ, किनभने सन्निवेश प्रतिस्थापनजस्तै गनिन्छ।
गन्नु अघि, दुवै पाठलाई सामान्यतया सामान्यीकृत (normalised) गरिन्छ, र त्यहाँ गरिएका छनोटहरूले मोडेल जत्तिकै स्कोर सार्छन्। के "Dr" र "Doctor" एउटै शब्द हुन्? के "nine" र "9" एउटै हुन्? के अक्षरको आकार र विराम चिह्न गनिन्छ? कडा स्कोरिङले “Dr” लाई “Doctor” सँग तुलना गरी प्रतिस्थापन ठान्छ। धेरैजसो प्रकाशित स्कोरहरूले सबै अक्षर सानो बनाउँछन्, विराम चिह्न हटाउँछन् र तुलना गर्नु अघि सबै संख्यालाई एउटै ढाँचामा लेख्छन्, शब्दमा वा अंकमा। यसैले विक्रेताको आँकडा तपाईंले नदेख्न सकिने सामान्यकर्ताअनुसार लुकेर फेरिन्छ। शब्दबीच खाली ठाउँ नहुने भाषाहरू, जस्तै चिनियाँ, जापानी र थाई, मा गन्न मिल्ने स्पष्ट शब्द सीमा हुँदैन, त्यसैले तिनीहरूलाई वर्ण त्रुटि दर (CER) द्वारा स्कोर गरिन्छ: उही सूत्र, तर वर्णमा लागू गरिएको।
यसबाट दुई कुरा निस्कन्छन्। पहिलो, 5 प्रतिशत WER भनेको बीसमा एउटा शब्द हो, जुन एक घण्टाको कुरामा सयौं शब्द हुन्छ। तुलनाको लागि, मानव ट्रान्सक्रिप्शनरहरूलाई कुराकानीमा लगभग 4 देखि 5 प्रतिशत भनिन्छ, र सन् 2017 मा Switchboard टेलिफोन कर्पसमा भएको एउटा व्यापक उद्धृत नतिजाले मेसिनलाई लगभग 5.1 प्रतिशतमा राख्यो, यद्यपि दुवै आँकडा अडियो र स्कोरिङ नियममा निर्भर गर्छन्। दोस्रो, संख्या पूर्ण रूपमा परीक्षण अडियोमा निर्भर गर्छ: सफा पढाइले एउटा आँकडा दिन्छ, र लवज र एकैसाथ बोल्ने मानिसहरू भएको हल्लीखल्ली प्यानलले धेरै फरक आँकडा दिन्छ। शीर्षक WER ले विक्रेताको प्रणालीभन्दा विक्रेताको परीक्षण सेटलाई धेरै वर्णन गर्छ।
यही गणना हो। यसले छोड्ने कुरा भनेको पढ्ने व्यक्तिका लागि प्रत्येक गल्तीको लागत हो।
WER ले हरेक शब्दलाई बराबर मान्छ। पाठकहरू त्यसो गर्दैनन्:
यी प्रत्येक WER स्तम्भमा एक वा दुई गल्ती हुन्। पाठकको स्तम्भमा तिनीहरू केही पनि नहुने देखि फरक बैठक, फरक दिनसम्मका हुन्छन्। त्यसैले प्रश्न केवल "त्रुटि दर कति हो" मात्र होइन, "कस्ता प्रकारका गल्ती हुन्, र तिनलाई के पत्ता लगाउँछ" भन्ने पनि हो।
धेरै तहहरूले पहिचानले गल्ती गरेका कुराहरू समात्छन्, र हरेक परिवर्तन निरीक्षण र उल्टाउन सकिने गरी रेकर्ड गरिन्छ। लाइभ ट्रान्सक्रिप्शनमा यो पाठ अझै आइरहेको बेलामै हुन्छ: हरेक लाइन पहिले ड्राफ्ट का रूपमा देखिन्छ, जुन अझै परिवर्तन हुन सक्छ, र त्यसपछि अन्तिम बन्छ (लाइभ अनुवादमा ढिलाइ, व्याख्यासहित ले किन यस्तो हुन्छ भन्ने कुरा बताउँछ)।
केही गल्ती ध्वनिसँग मिल्छ तर वाक्यसँग मिल्दैन: वाक्यमा “there” चाहिँदा “their” लेखिनु। यस्ता कुरा सन्दर्भबाट समात्न सकिन्छ, र सुधार पाठकसम्म एउटा देखिने अद्यावधिक (API मा transcript.amended) का रूपमा पुग्छ, मौन पुनर्लेखनका रूपमा होइन। सन्दर्भ वाक्यले अनुमान गर्न सक्ने शब्दहरूमा राम्रो हुन्छ। वाक्यले अनुमान गर्न नसक्ने शब्दहरूमा यो केही काम गर्दैन।
नाम र प्राविधिक शब्दहरू त्यस्ता गल्ती हुन् जुन सन्दर्भले सुधार्न सक्दैन, किनभने नाम प्रायः एकपटक मात्र आउँछ, र त्यसको वरिपरि अनुमान गर्ने कुरा केही हुँदैन। सन्दर्भ स्क्रिप्ट ले यो समस्या समाधान गर्छ: सुरु गर्नु अघि प्रणालीलाई बोली, स्लाइड वा नाम र शब्दहरूको सूची दिनुहोस्, र यसका शब्दहरूले इन्जिनले गलत सुनेका कुरामाथि प्राथमिकता पाउँछन्। रेकर्डिङ चलिरहँदा स्क्रिप्टले टेलिप्रम्प्टरजस्तै ट्रान्सक्रिप्टलाई पछ्याउँछ, ताकि होस्टले इन्जिन कहाँसम्म पुगेको छ देख्न सक्छ। स्क्रिप्टले तपाईंले अनुमान गर्न सक्ने शब्दहरू समेट्छ; बिग्रिएको अडियो र लवजले भने अनुमान नलाग्ने शब्दहरू उत्पादन गर्छन्।
केही गल्तीहरू कोठामा रहेको व्यक्तिले मात्र देख्न सक्छ। म्यानुअल सुधार ले होस्टलाई लाइभ ट्रान्सक्रिप्शन चलिरहँदा जुनसुकै शब्द वा लाइन पुनः लेख्न दिन्छ, र प्रसारणमा रहेका हरेक श्रोताले परिवर्तन देख्छन्। प्रणालीले होस्टलाई सम्भावित उम्मेद्वारहरू देखाउँछ: इन्जिनलाई अनिश्चित लागेका शब्दहरूलाई रङ दिन र रेखांकन गर्न सकिन्छ, र होस्टले सम्पूर्ण पाठ फेरि नपढी अनिश्चित खण्डहरू एक-एक गरी जाँच्न सक्छ। API मार्फत, GET /v1/recordings/{id}/corrections ले रेकर्डिङका सुधारहरू सूचीबद्ध गर्छ, र POST /v1/corrections/{id}/revert ले एउटा सुधार उल्टाउँछ; हेर्नुहोस् API सन्दर्भ। तर कोठामा बसेको व्यक्तिले पनि कसैले नसुनेको लाइन सुधार्न सक्दैन।
अन्तिम तहले केही अडियो पुनःप्राप्त गर्न नसकिने कुरालाई स्वीकार्छ। जब लाइनले ट्रान्सक्रिप्शनको विश्वास सीमा (confidence.hideBelow, पूर्वनिर्धारित 0.60) भन्दा तल स्कोर गर्छ, श्रोताले अनुमानको सट्टा त्यसको ठाउँमा “अडियो अस्पष्ट” देख्छन्, र त्यो लाइन कहिल्यै ठूलो स्वरमा पढिँदैन। पाठकले एउटा लाइन गुमाउँछन्; तर कल्पित लाइन पाउँदैनन्।
यी तहहरू आकार दिने प्रश्नहरूले कुनै पनि विक्रेताको शुद्धता दाबीमा काम गर्छन्, हाम्रो दाबीमा समेत।
कुनै पनि शुद्धता दाबी पढ्दा प्रयोग गर्न छोटो सूची:
VocalStack ले आन्तरिक WER आँकडा प्रकाशित गर्दैन, पहिलो कारणका लागि: त्यसले हाम्रो परीक्षण सेटलाई वर्णन गर्छ, तपाईंको अडियोलाई होइन। हामी शुद्धता निरन्तर नापिरहेका छौं। अरू प्रणालीसँग तुलना गर्दा, हामी स्वतन्त्र प्रकाशित बेन्चमार्क र विक्रेताले प्रकाशित गरेका आँकडा प्रयोग गर्छौं, कहिल्यै निजी परीक्षण होइन। बाँकी कुरा तपाईंको आफ्नै अडियोले निर्णय गर्न छोडिएको छ।
