ความแม่นยำของการแปลสดส่วนใหญ่ถูกกำหนดก่อนที่โมเดลจะทำงานเสียอีก ขึ้นอยู่กับตำแหน่งของไมโครโฟน นำเสียงมาจากโต๊ะมิกซ์ ไม่ใช่จากที่นั่งแถวที่ 12 ถอดเสียงเพียงครั้งเดียว แล้วความผิดพลาดจะกลายเป็นบรรทัดเดียวที่ทุกคนแก้ไขได้
แอปแปลภาษาที่มากับโทรศัพท์เป็นผลงานที่น่าชื่นชมจริง ๆ โดยทั่วไปแอปเหล่านี้รันโมเดลการรู้จำเสียงพูดที่มีขนาดเล็กพอจะอยู่ในเครื่องและใช้แบตเตอรี่ได้ (บางแอปส่งเสียงไปยังเซิร์ฟเวอร์เมื่อมีการเชื่อมต่อ) และสำหรับประโยคสั้น ชัดเจน ในชีวิตประจำวัน แอปเหล่านี้ทำงานได้ดี ไม่ว่าจะเป็นการถามทาง อ่านเมนู หรือพูดคุยกันที่เคาน์เตอร์
ห้องที่มีคนนั่งฟังผู้พูดคนเดียวเป็นปัญหาอีกแบบหนึ่ง สิ่งที่ผิดพลาดในการพูดจริงคือสิ่งที่โมเดลขนาดเล็กทำได้แย่ที่สุด ได้แก่ คำที่ไม่ค่อยพบ ชื่อคน คำที่ออกเสียงคล้ายกัน ("their" กับ "there" หรือ "sail" กับ "sale") ศัพท์เทคนิค สำเนียง คนที่พูดแทรกกันเอง และเสียงรบกวนรอบข้าง ที่สโมสรเรือใบ โมเดลที่ได้ยินคำว่า "sale" ก็เดาได้อย่างมีเหตุผล แต่เป็นการเดาที่ผิดอย่างมั่นใจ
โมเดลขนาดเล็กเดาได้มากกว่าโมเดลขนาดใหญ่ด้วยสองเหตุผล ประการแรก โมเดลถูกบีบอัดให้พอดีกับโทรศัพท์ จึงรู้คำศัพท์และวิธีพูดคำเหล่านั้นน้อยลง เมื่อเจอนามสกุลที่ไม่เคยเห็นมาก่อน มันก็ประมาณจากเสียงเท่านั้น ประการที่สอง การรู้จำแบบสดต้องเลือกคำให้เสร็จก่อนที่ประโยคที่เหลือจะมาถึง โมเดลจึงใช้สิ่งที่จะช่วยตัดสินว่าเป็น "sail" หรือ "sale" ไม่ได้ นั่นคือคำที่ตามมาทีหลัง หรือสคริปต์ที่บอกว่าการพูดนั้นเกี่ยวกับอะไร ในการรู้จำเสียงพูด "บริบท" หมายถึงสองสิ่งนี้เท่านั้น คือคำรอบข้าง และสิ่งที่รู้ล่วงหน้า
เมื่อโมเดลไม่แน่ใจ มันก็จะเดา การแปลที่ตามมาจึงสร้างบนการเดานั้น และผู้อ่านไม่มีทางรู้ได้เลย ไม่มีใครในห้องเห็นว่าบรรทัดไหนผิด ยิ่งแก้ไขไม่ได้ใหญ่ไปกว่านั้น และห้องหนึ่งห้องไม่ได้มีผู้ฟังคนเดียว แต่มีห้าสิบคน
โทรศัพท์ฟังห้อง ไม่ได้ฟังผู้พูด ระยะทางคือเหตุผล ไมโครโฟนปกเสื้อหรือไมโครโฟนบนโต๊ะอยู่ห่างจากปากเพียงไม่กี่เซนติเมตร ส่วนโทรศัพท์ที่วางอยู่แถวที่ 12 อยู่ห่างสิบเมตรขึ้นไป และเสียงส่วนใหญ่ที่ไปถึงมันก็สะท้อนจากผนัง เพดาน และพนักเก้าอี้มาก่อน เสียงสะท้อนมาถึงช้าและเบลอ นอกจากนี้โทรศัพท์ยังรับเสียงคนไอสองแถวข้างหน้า เสียงกระซิบของคนข้างเคียง และสิ่งที่ลำโพงทำกับเสียงพูดระหว่างทางไปทั่วห้อง ที่นั่งทุกที่จึงได้บันทึกเสียงที่ต่างกันเล็กน้อย และได้ข้อความถอดเสียงที่ต่างกันเล็กน้อยด้วย
โทรศัพท์ยังแปลให้คนเดียว ผู้เข้าร่วมห้าสิบคนที่ยกโทรศัพท์ห้าสิบเครื่องขึ้นจะได้ข้อความถอดเสียงห้าสิบชุดจากการบรรยายเดียวกัน แต่ละชุดมีความผิดพลาดของตัวเอง ถ้าสองคนมาเทียบบันทึกกันทีหลัง ก็จะไม่ตรงกันว่าพูดอะไรไป ส่วนผู้พูดก็กำลังพูดกับกำแพงของโทรศัพท์ที่ยกขึ้นเต็มห้อง ซึ่งเป็นฝูงชนที่อ่านได้ยากเหลือเกิน
สำหรับบางคนในห้อง นี่ไม่ใช่แค่ความไม่สะดวก แต่เป็นสิ่งที่ตัดสินว่าพวกเขาจะติดตามการบรรยายได้หรือไม่ ผู้เข้าร่วมที่มีปัญหาการได้ยิน หรือคนที่ฟังเป็นภาษาที่สาม ต้องการข้อความกลางที่ถูกต้องชุดเดียวที่ทุกคนใช้ร่วมกัน ไม่ใช่ความพยายามที่ดีที่สุดห้าสิบชุด นั่นหมายถึงการถอดเสียงผู้พูดเพียงครั้งเดียวแล้วให้ทุกคนได้ผลลัพธ์เดียวกัน การถอดเสียงครั้งเดียวจะคุ้มค่าก็ต่อเมื่อทำได้ดี และนั่นเริ่มจากที่มาของเสียง
ข้อความถอดเสียงดีได้เท่ากับเสียงที่นำมาทำ ดังนั้นการตัดสินใจแรกจึงไม่ใช่ว่าจะใช้โมเดลตัวไหน แต่คือจะป้อนสัญญาณใดให้โมเดล และการตัดสินใจที่สองคือจะบอกอะไรให้โมเดลรู้ก่อนเริ่ม
การถอดเสียงแบบสดจะดึงเสียงจากจุดที่มีสัญญาณสะอาดอยู่แล้ว:
VocalStack ดึงสตรีมจาก URL ด้วยตัวเอง จึงไม่มีอะไรต้องรันฝั่งคุณ ส่วนฟีด RTMP กลับทางกัน คือตัวเข้ารหัสของคุณเป็นฝ่ายส่งเข้ามา ระบบตรวจจับภาษาของผู้พูดโดยอัตโนมัติ และผู้พูดสลับภาษาได้ตลอดเวลา หากคุณรู้ภาษาอยู่แล้ว และการบันทึกมีเสียงรบกวนหรือสำเนียงหนัก การระบุภาษาจะช่วยให้แม่นยำขึ้น
เสียงที่สะอาดกำจัดความผิดพลาดที่เกิดจากห้องได้ แต่ไม่ช่วยอะไรกับความผิดพลาดจากคำศัพท์ ซึ่งต้องการความช่วยเหลือแบบอื่น
โทรศัพท์ไม่รู้เลยว่าใครกำลังพูดหรือการบรรยายเกี่ยวกับอะไร ชื่อผลิตภัณฑ์หรือนามสกุลจึงเป็นเพียงเสียงอีกเสียงให้ต้องเดา แต่การถ่ายทอดสามารถบอกล่วงหน้าได้ว่าจะได้ยินอะไร
ถ้าคุณเพิ่มสคริปต์หรือสไลด์ก่อนเริ่ม ชื่อและคำศัพท์ในนั้นจะชนะเหนือสิ่งที่เอนจินได้ยินผิด ระหว่างการบันทึก แท็บ Script จะตามผู้พูดเหมือนเครื่องช่วยจำ นี่คือการเพิ่มความแม่นยำที่มากที่สุดเพียงอย่างเดียวสำหรับการพูดแบบที่เต็มไปด้วยการประชุมและการบรรยาย ซึ่งหนาแน่นด้วยคำนามเฉพาะและศัพท์ที่โมเดลทั่วไปไม่เคยได้ยินบ่อยพอ
เสียงที่ดีและพจนานุกรมกำจัดความผิดพลาดส่วนใหญ่ได้ คำถามคือจะเกิดอะไรขึ้นกับความผิดพลาดที่เหลืออยู่
แม้จะมีเสียงที่ดีและสคริปต์ บางบรรทัดก็ยังผิดอยู่ ความต่างอยู่ที่สิ่งที่เกิดขึ้นต่อไป
บนโทรศัพท์ ไม่มีอะไรเกิดขึ้น บรรทัดที่ผิดก็เลื่อนผ่านไป และการแปลที่สร้างจากบรรทัดนั้นก็หายไปด้วย
ในการถ่ายทอด บรรทัดที่ไม่ชัดเจนจนไม่คุ้มค่าที่จะแสดง จะถูกซ่อนจากผู้ฟังเป็น "Audio unclear" แทนที่จะปล่อยให้ดูเหมือนเป็นข้อเท็จจริง
จากนั้นก็มีผู้จัดการ ซึ่งมีแท็บ Fix คำที่เอนจินไม่แน่ใจสามารถถูกไฮไลต์และขีดเส้นใต้ได้ การคลิกเปิดบรรทัดเพื่อตรวจสอบ และสามารถเขียนคำหรือบรรทัดใหม่ได้ขณะที่การถอดเสียงยังดำเนินอยู่ ผู้ฟังทุกคนเห็นการแก้ไขในภาษาของตนเอง และทุกการแก้ไขจะถูกทำเครื่องหมายและย้อนกลับได้
ประเด็นไม่ใช่ว่าเซิร์ฟเวอร์จะไม่ทำผิดพลาดเลย แต่คือความผิดพลาดมองเห็นได้ มีผู้รับผิดชอบอยู่ในห้อง และได้รับการแก้ไขครั้งเดียวเพื่อทุกคน
การแก้ไขปรับเฉพาะสิ่งที่ผู้ฟังอ่าน ผู้ฟังที่อยากฟังการบรรยายมากกว่าก็จะได้ข้อความที่แก้แล้วชุดเดียวกัน แต่เป็นเสียงพูด
ผู้ฟังที่อยากฟังมากกว่าอ่านสามารถให้อ่านแต่ละบรรทัดที่แปลแล้วออกเสียงได้ โดยค่าเริ่มต้น ผู้พูดแต่ละคนจะได้เสียงสำเร็จรูปที่ต่างกันตามเพศที่ตรงกัน ทำให้คณะผู้อภิปรายยังฟังดูเป็นคณะผู้อภิปราย คุณสามารถกำหนดเสียงให้ผู้พูดแต่ละคน หรือปิดเสียงของคนใดคนหนึ่งได้
ด้วยการอนุญาตของผู้พูด คุณสามารถไปได้ไกลกว่านั้น โดยโคลนเสียงของเขาจากคำพูดเพียงสามสิบวินาที อัปโหลดเป็นคลิปหรือดึงจากผู้พูดในการบันทึกก็ได้ และถ้าใช้เวลาไม่กี่นาทีผลลัพธ์จะดีขึ้น จากนั้นการแปลจะถูกอ่านด้วยเสียงของผู้พูดเองในทุกภาษา ผู้พูดที่มีเสียงที่บันทึกไว้ยังสามารถถูกจดจำได้ในการบันทึกครั้งต่อไป แม้ระบบจะเลือกที่จะไม่ระบุชื่อผู้พูดเลยดีกว่าระบุชื่อคนผิด
สองกฎนี้ตั้งขึ้นโดยตั้งใจ เสียงที่โคลนแล้วเป็นข้อมูลชีวมิติ จึงทำขึ้นเฉพาะเมื่อผู้พูดยินยอมอย่างชัดแจ้ง และลบได้ทุกเมื่อ ส่วนเสียงจะพูดได้เฉพาะข้อความถอดเสียงหรือคำแปลของมันเท่านั้น จะไม่ถูกบังคับให้พูดสิ่งที่เจ้าของไม่เคยพูด
ทุกอย่างที่กล่าวมาเกิดขึ้นขณะที่ผู้พูดกำลังพูด ความต่างประการสุดท้ายจะปรากฏหลังจากเขาหยุดพูด
ข้อความถอดเสียงห้าสิบชุดจากโทรศัพท์จะหายไปเมื่อแอปปิด การถ่ายทอดจะเก็บการบันทึกไว้ในคลังของคุณ ทั้งเสียง และข้อความถอดเสียงพร้อมการแก้ไขและคำแปลทุกรายการ ที่นั่นสามารถเล่นซ้ำทีละบรรทัด ค้นหาได้ในทุกภาษา และส่งออกได้ ขั้นตอนการใช้งานคลังอยู่ใน ลิงก์เดียว ทุกภาษา ผู้ฟังไม่มีค่าใช้จ่าย ไม่ว่าจะมีกี่คน คุณจ่ายตามเสียงที่ถูกถอดเสียง ในอัตรา $0.60 ต่อชั่วโมงสำหรับการสด โดยขั้นต่ำ 5 นาทีต่อการถอดเสียงหนึ่งครั้ง และหน้าราคา มีตารางอัตราทั้งหมด
โทรศัพท์ที่อยู่ในมือทุกคนยังเป็นตัวสำรองที่ดีสำหรับบทสนทนาในทางเดิน แต่สำหรับห้องที่ต้องเข้าใจผู้พูดหนึ่งคนไปพร้อมกัน ควรถอดเสียงผู้พูดเพียงครั้งเดียวจากต้นทาง และมีคนที่แก้ไขสิ่งที่ผิดพลาดได้ คุณสามารถดูว่าเป็นอย่างไรได้ในเดโมแบบโต้ตอบบนหน้าแรก
