WER ให้คะแนนชื่อที่ผิด ตัวเลขที่ผิด และคำว่า not ที่หายไป เท่ากับคำว่า the ที่ตกหล่น ดังนั้นควรประเมินระบบถอดเสียงจากข้อผิดพลาดที่มันจับได้ และจากการที่คุณเห็นการแก้ไขของมันได้หรือไม่ ไม่ใช่จากตัวเลขหลักเพียงตัวเดียว
อัตราความผิดพลาดของคำ (Word error rate หรือ WER) คือเกณฑ์มาตรฐานสำหรับการรู้จำเสียงพูด เอาข้อความอ้างอิงที่มนุษย์ตรวจทานแล้วมาเทียบกับผลลัพธ์ของเครื่องทีละคำ แล้วนับข้อผิดพลาดสามประเภท ได้แก่ การแทนที่ (คำที่ผิด) การแทรก (คำที่ไม่มีใครพูด) และ การลบ (คำที่หายไป) จากนั้นนำผลรวมไปหารด้วยจำนวนคำในข้อความอ้างอิง
WER = (จำนวนการแทนที่ + การแทรก + การลบ) / จำนวนคำในข้อความอ้างอิง
การจับคู่บรรทัดของทั้งสองข้อความไม่ได้ทำด้วยสายตา ข้อความทั้งสองถูกจับคู่ด้วยระยะห่างการแก้ไขขั้นต่ำ (Levenshtein distance ที่ใช้กับคำแทนที่จะใช้กับตัวอักษร) จากทุกวิธีในการจับคู่ผลลัพธ์กับข้อความอ้างอิง ตัวให้คะแนนจะเลือกวิธีที่ต้องแก้ไขน้อยที่สุดแล้วนับเฉพาะวิธีนั้น เพราะการแทรกถูกนับด้วยและตัวหารคือความยาวของข้อความอ้างอิง WER จึงเกิน 100 เปอร์เซ็นต์ได้ โมเดลที่เติมข้อความลงไปในช่วงเงียบหนึ่งนาทีจะได้คะแนนแย่กว่าโมเดลที่ไม่เขียนอะไรเลย
สมมติว่าข้อความอ้างอิงคือ "we will meet Dr Okafor at nine on Thursday" ซึ่งมีเก้าคำ และเครื่องเขียนว่า "we will meet the doctor at nine on Tuesday" นั่นคือการแทนที่สามครั้ง (Dr, Okafor, Thursday) จากเก้าคำ ได้ WER 33 เปอร์เซ็นต์ คำกว่าสองในสามถูกต้อง แต่คุณก็ยังไปผิดนัดประชุม และผิดวันอยู่ดี ถ้ามีเพียงคำว่า Thursday ที่ผิด คะแนนจะเป็น 11 เปอร์เซ็นต์ และฉบับที่ทุกคำถูกต้องแต่มีคำว่า "um" ที่ไม่มีใครพูดแทรกเข้ามา ก็ได้ 11 เปอร์เซ็นต์เช่นกัน เพราะการแทรกนับเท่ากับการแทนที่
ก่อนนับ ข้อความทั้งสองมักถูก ทำให้เป็นมาตรฐาน (normalised) และการเลือกตรงนี้ทำให้คะแนนเปลี่ยนไม่น้อยไปกว่าตัวโมเดลเลย "Dr" เหมือนกับ "Doctor" หรือไม่ "nine" เหมือนกับ "9" หรือไม่ ตัวพิมพ์และเครื่องหมายวรรคตอนนับหรือไม่ การให้คะแนนแบบเข้มงวดจะนับ "Dr" เทียบกับ "Doctor" เป็นการแทนที่ ผลที่เผยแพร่ส่วนใหญ่จึงแปลงทุกอย่างเป็นตัวพิมพ์เล็ก ตัดเครื่องหมายวรรคตอนออก และเขียนตัวเลขทุกตัวในรูปแบบเดียวกัน ทั้งเป็นคำหรือเป็นตัวเลข คะแนนของผู้ขายจึงขึ้นอยู่กับตัวทำให้เป็นมาตรฐานที่คุณมองไม่เห็นอย่างเงียบ ๆ ภาษาที่เขียนโดยไม่เว้นวรรคระหว่างคำ เช่น จีน ญี่ปุ่น และไทย ไม่มีขอบเขตคำที่ชัดเจนให้นับ จึงให้คะแนนด้วย อัตราความผิดพลาดของอักขระ (CER) แทน ซึ่งเป็นสูตรเดียวกันแต่นับระดับอักขระ
ผลที่ตามมามีสองข้อ ประการแรก WER 5 เปอร์เซ็นต์คือหนึ่งคำในยี่สิบ ซึ่งเท่ากับหลายร้อยคำในการพูดหนึ่งชั่วโมง เพื่อเทียบกัน มนุษย์ผู้ถอดเสียงมักถูกอ้างถึงที่ราว 4 ถึง 5 เปอร์เซ็นต์ในการสนทนาทั่วไป และผลการวิจัยปี 2017 ที่ถูกอ้างถึงบ่อยมาก บนชุดข้อมูลโทรศัพท์ Switchboard ระบุว่าเครื่องทำได้ราว 5.1 เปอร์เซ็นต์ แม้ตัวเลขทั้งสองจะขึ้นอยู่กับเสียงและกฎการให้คะแนน ประการที่สอง ตัวเลขขึ้นกับเสียงทดสอบทั้งหมด เสียงอ่านที่สะอาดให้ตัวเลขหนึ่ง ส่วนแผงเสวนาที่มีสำเนียงและเสียงซ้อนทับให้ตัวเลขที่ต่างกันมาก WER ที่โฆษณาจึงบอกเรื่องชุดทดสอบของผู้ขายพอ ๆ กับบอกเรื่องระบบของผู้ขาย
นั่นคือการนับ สิ่งที่มันไม่บอกคือต้นทุนของแต่ละข้อผิดพลาดต่อผู้อ่าน
WER ถือว่าทุกคำเท่ากัน แต่ผู้อ่านไม่ได้คิดแบบนั้น:
แต่ละข้อนี้คือข้อผิดพลาดหนึ่งหรือสองครั้งในคอลัมน์ WER แต่ในคอลัมน์ของผู้อ่าน ความเสียหายมีตั้งแต่ไม่มีผลเลย ไปจนถึงการประชุมคนละครั้งในวันที่ต่างกัน ดังนั้นคำถามจึงไม่ใช่แค่ "อัตราความผิดพลาดเท่าไร" แต่คือ "ข้อผิดพลาดแบบไหน และอะไรเป็นตัวจับมัน"
หลายชั้นช่วยจับสิ่งที่การรู้จำทำผิด และทุกการเปลี่ยนแปลงจะถูกบันทึกไว้เพื่อให้ตรวจสอบและย้อนกลับได้ ในการถอดเสียงสด สิ่งนี้เกิดขึ้นขณะที่ข้อความยังไหลเข้ามา แต่ละบรรทัดจะปรากฏก่อนในรูป ฉบับร่าง ซึ่งยังเปลี่ยนได้ แล้วจึงกลายเป็นฉบับสุดท้าย (ความหน่วงของการแปลสด อธิบายแบบเข้าใจง่าย อธิบายว่าเหตุใด)
ข้อผิดพลาดบางอย่างฟังเข้ากับเสียงแต่ไม่เข้ากับประโยค เช่น "their" ในตำแหน่งที่ประโยคต้องการ "there" ข้อเหล่านี้จับได้จากบริบท และการแก้ไขจะไปถึงผู้อ่านในรูปของการอัปเดตที่มองเห็นได้ (transcript.amended ใน API) ไม่ใช่การเขียนทับแบบเงียบ ๆ บริบทเก่งกับคำที่ประโยคทำนายได้ แต่ช่วยอะไรไม่ได้กับคำที่ทำนายไม่ได้
ชื่อและคำศัพท์เฉพาะทางเป็นข้อผิดพลาดที่บริบทแก้ไม่ได้ เพราะชื่อมักปรากฏเพียงครั้งเดียว โดยไม่มีอะไรรอบข้างให้ทำนาย สคริปต์อ้างอิง แก้ปัญหานี้ได้ โดยให้ระบบได้รับเสียงพูด สไลด์ หรือรายการชื่อและคำศัพท์ก่อนเริ่ม แล้วคำเหล่านั้นจะมีลำดับความสำคัญเหนือสิ่งที่เอนจินได้ยินผิด ระหว่างการบันทึก สคริปต์จะไล่ตามการถอดเสียงเหมือนเครื่องพรอมต์เตอร์ ทำให้ผู้จัดรายการเห็นว่าเอนจินไปถึงไหนแล้ว สคริปต์ครอบคลุมคำที่คาดเดาได้ ส่วนเสียงรบกวนและสำเนียงจะสร้างคำที่คาดเดาไม่ได้
ข้อผิดพลาดบางอย่างมีเพียงคนในห้องที่มองเห็น การแก้ไขด้วยตนเอง ให้ผู้จัดรายการเขียนทับคำหรือบรรทัดใดก็ได้ ขณะที่การถอดเสียงยังสดอยู่ และผู้ฟังทุกคนในการถ่ายทอดจะเห็นการเปลี่ยนแปลงนั้น ระบบชี้แนะผู้จัดรายการไปยังตัวเลือกที่น่าจะเป็นไปได้ คำที่เอนจินไม่มั่นใจสามารถถูกระบายสีและขีดเส้นใต้ได้ และผู้จัดรายการไล่ดูส่วนที่ไม่แน่นอนทีละส่วนได้ แทนที่จะอ่านการถอดเสียงทั้งหมดซ้ำ ผ่าน API GET /v1/recordings/{id}/corrections จะแสดงรายการการแก้ไขของการบันทึก และ POST /v1/corrections/{id}/revert ย้อนการแก้ไขหนึ่งรายการ ดูได้ที่ เอกสารอ้างอิง API อย่างไรก็ตาม แม้แต่คนในห้องก็แก้บรรทัดที่ไม่มีใครได้ยินไม่ได้
ชั้นสุดท้ายยอมรับว่าเสียงบางส่วนกู้คืนไม่ได้ เมื่อบรรทัดให้คะแนนต่ำกว่าเกณฑ์ความมั่นใจของการถอดเสียง (confidence.hideBelow ค่าเริ่มต้น 0.60) ผู้ฟังจะเห็น "Audio unclear" แทนที่จะเป็นการเดา และบรรทัดนั้นจะไม่ถูกอ่านออกเสียง ผู้อ่านเสียไปหนึ่งบรรทัด แต่ไม่ได้รับบรรทัดที่ถูกสร้างขึ้นมา
คำถามที่กำหนดชั้นเหล่านี้ใช้ได้กับคำอ้างความแม่นยำของผู้ขายทุกราย รวมถึงของเราด้วย
รายการตรวจสั้น ๆ สำหรับอ่านคำอ้างความแม่นยำใด ๆ:
เราไม่เผยแพร่ตัวเลข WER ภายในของ VocalStack ด้วยเหตุผลข้อแรกข้างต้น เพราะมันจะอธิบายชุดทดสอบของเรา ไม่ใช่เสียงของคุณ เราวัดความแม่นยำอย่างต่อเนื่อง เมื่อเราเปรียบเทียบกับระบบอื่น เราใช้เกณฑ์มาตรฐานอิสระที่เผยแพร่แล้วและตัวเลขที่ผู้ขายเผยแพร่เอง ไม่ใช่การทดสอบส่วนตัว ส่วนที่เหลือให้เสียงของคุณเองเป็นผู้ตัดสิน
