อธิบายการถอดเสียงและแปลแบบเรียลไทม์: เสียงพูดเป็นข้อความสดทำงานอย่างไร ช้ากว่าผู้พูดแค่ไหน อะไรส่งผลต่อความแม่นยำ และมีค่าใช้จ่ายเท่าไร
การถอดเสียงแบบเรียลไทม์เปลี่ยนเสียงพูดเป็นข้อความขณะที่คนยังพูดอยู่ คำปรากฏบนหน้าจอเพียงชั่วครู่หลังจากถูกพูด ตกผลึกเป็นบรรทัดสุดท้าย และทุกคนที่ติดตามอ่านได้ เมื่อเพิ่มการแปลแบบเรียลไทม์ ผู้อ่านแต่ละคนติดตามคำพูดเดียวกันเป็นภาษาของตนได้ ทั้งแบบข้อความหรืออ่านออกเสียง
คู่มือนี้ครอบคลุมการถอดเสียงและแปลแบบเรียลไทม์จากทั้งสองด้าน: ผู้ฟังเห็นอะไร เสียงมาจากไหนได้บ้าง อะไรกำหนดความแม่นยำ นักพัฒนาได้อะไรจาก API และมีค่าใช้จ่ายเท่าไร
การถอดเสียงแบบเรียลไทม์ หรือเรียกว่าการถอดเสียงสดหรือเสียงพูดเป็นข้อความสด คือการจดจำเสียงพูดที่ทำงานขณะที่เสียงยังเข้ามา ไฟล์ที่บันทึกไว้ถอดเสียงได้โดยมีการบันทึกทั้งหมดอยู่ในมือ การถอดเสียงสดต้องตัดสินใจเลือกคำโดยมีเพียงไม่กี่วินาทีล่าสุดให้อ้างอิง และต้องตามผู้พูดให้ทันตราบที่เขาพูดอยู่
คำบรรยายสดคือสิ่งเดียวกันที่แสดงเป็นบรรทัดสั้นๆ ทับวิดีโอหรือบนหน้าจอ
บน VocalStack การถอดเสียงสดฟังได้ใน 100 ภาษา ตรวจจับภาษาที่พูดได้เอง และตามผู้พูดไปถ้าเขาเปลี่ยนภาษา ซึ่งการตรวจจับภาษาอัตโนมัติทำงานอย่างไร อธิบายไว้ รวมถึงเวลาที่ควรระบุภาษาล่วงหน้า
ข้อความมาในสองขั้น คำล่าสุดปรากฏก่อนเป็นฉบับร่าง ซึ่งยังเปลี่ยนได้เมื่อมีเสียงเข้ามาเพิ่ม ครู่ต่อมาฉบับร่างตกผลึกเป็นบรรทัดสุดท้ายที่ไม่เปลี่ยนอีก
ฉบับร่างมีอยู่เพราะระบบจดจำตัดสินคำส่วนหนึ่งจากคำที่ตามมา "Ice cream" กับ "I scream" ฟังคล้ายกันจนกว่าคำถัดไปจะมา การแสดงคำเดาตั้งแต่เนิ่นๆ คือสิ่งที่ทำให้ข้อความถอดเสียงรู้สึกว่าสด
ข้อความช้ากว่าผู้พูดแค่ไหนขึ้นอยู่กับขั้น:
ความหน่วงสองอย่างอยู่นอกห่วงโซ่นั้น เมื่อแหล่งที่มาเป็นสตรีมสาธารณะแทนไมโครโฟน สตรีมเองก็ล้าหลังขอบสดอยู่แล้ว หนึ่งถึงสามวินาทีสำหรับสตรีมวิทยุอินเทอร์เน็ตธรรมดา และตั้งแต่หลายวินาทีจนถึงครึ่งนาทีสำหรับ HLS และบน Pay as you go การถอดเสียงสดอาจใช้เวลาถึง 15 วินาทีในการเริ่ม รายละเอียดทั้งหมด รวมถึงโหมดความหน่วง Auto, Fast และ Accuracy อยู่ในความหน่วงของการแปลสด อธิบายครบ
การแปลทำงานอยู่บนข้อความถอดเสียง การถอดเสียงสดแปลเป็นได้ถึง 10 ภาษาพร้อมกัน เลือกจาก 100 ภาษา ผู้ฟังแต่ละคนเลือกหนึ่งภาษาในอุปกรณ์ของตนและเปลี่ยนได้ทุกเมื่อ ข้อความถอดเสียงที่ผ่านมาจะแสดงอีกครั้งในภาษาใหม่
ทุกภาษาแปลจากข้อความถอดเสียงเดียวกัน ผู้ฟังทุกคนจึงได้คำเดียวกัน และการแก้ไขไปถึงทุกคน
ผู้ฟังที่อยากฟังมากกว่าอ่านให้อ่านแต่ละบรรทัดที่แปลออกเสียงได้ โดยค่าเริ่มต้น ผู้พูดแต่ละคนได้เสียงสำเร็จรูปที่แตกต่างกันและตรงกับเพศ แผงผู้ร่วมเสวนาจึงยังฟังเหมือนหลายคน เมื่อผู้พูดยินยอม ผู้จัดโคลนเสียงของผู้พูดคนนั้นจากการพูดตามลำพังราว 30 วินาที แล้วคำแปลจะถูกอ่านด้วยเสียงของเขาเอง
กฎสำหรับเสียงแคบโดยตั้งใจ เสียงอ่านเฉพาะสิ่งที่คนคนเดียวกันพูด แปลเป็นภาษาที่ผู้ฟังเลือก ไม่เคยอ่านข้อความที่ใครพิมพ์เข้ามา และไม่เคยอ่านคำพูดของผู้พูดคนหนึ่งด้วยเสียงของอีกคน
วิธีที่ระบบนี้ทำงานกับห้องทั้งห้อง ตั้งแต่การตั้งค่าของผู้จัดจนถึงผู้ฟังที่มาสาย อยู่ในหนึ่งลิงก์ ทุกภาษา
การถอดเสียงสดต้องมีแหล่งเสียง ต่อไปนี้คือแหล่งที่ VocalStack รับในปัจจุบัน:
คำบรรยายในตัวเล่นของ YouTube เอง ผ่านปุ่ม CC กำลังจะมา จนกว่าจะถึงตอนนั้น ผู้ชมสตรีม YouTube ติดตามคำบรรยายที่ลิงก์การถ่ายทอดสด
ถ้าคุณต้องการการถอดเสียงสดบน Windows วันนี้ ส่วนขยาย Chrome หรือ Edge ปลั๊กอิน OBS และแดชบอร์ดในเบราว์เซอร์ใช้ได้ทั้งหมด
การถ่ายทอดสดคือวิธีที่คนอื่นติดตามการถอดเสียงสด มันเป็นลิงก์เดียวและคิวอาร์โค้ด ผู้ฟังเปิดในเบราว์เซอร์ เลือกภาษา และอ่านตาม ไม่ต้องมีบัญชี ไม่ต้องติดตั้งอะไร และไม่มีค่าใช้จ่าย ค่าบริการไม่เปลี่ยนตามจำนวนผู้ฟังหรือภาษา
การถ่ายทอดสดเป็นสาธารณะโดยค่าเริ่มต้นและป้องกันด้วยรหัสผ่านได้ ถ้าคุณเปลี่ยนชื่อลิงก์ ลิงก์เดิมยังใช้ได้ คิวอาร์โค้ดที่พิมพ์ไว้บนโปรแกรมจึงไม่ล้าสมัย การถ่ายทอดสดหนึ่งรายการรองรับการถอดเสียงสดได้หลายรายการ สองเวทีจึงใช้ลิงก์เดียวกันได้
ผู้ฟังที่มาสายเห็นทุกอย่างที่พูดก่อนที่เขาเข้ามา แล้วตามสด หลังจากนั้นมุมมอง Audience แสดงว่าใครฟัง ในภาษาใด และเข้าร่วมเมื่อไร
สำหรับงานอีเวนต์ รายการตรวจสอบการประชุมหลายภาษา ครอบคลุมเสียง เวที และงบประมาณ และการถอดเสียงสดสำหรับโบสถ์ ห้องบรรยาย และห้องประชุมสภา ครอบคลุมเวอร์ชันประจำสัปดาห์ของการตั้งค่าเดียวกัน
ทุกอย่างข้างต้นทำได้จากโค้ด สำหรับเสียงสดในแอปของคุณเอง API มีเซสชันเรียลไทม์ เซิร์ฟเวอร์ของคุณเรียก POST /v1/realtime/sessions หนึ่งครั้งพร้อมคีย์ API และได้ streamUrl อายุสั้นกลับมา ไคลเอนต์ของคุณเปิด WebSocket ไปที่มัน ส่งเสียงดิบเมื่อจับเสียงได้ และอ่านข้อความถอดเสียงกลับเป็นเฟรม JSON
เฟรมเป็นไปตามสองขั้นเดียวกับที่ผู้อ่านเห็น transcript.draft แทนที่ส่วนท้ายสด transcript.committed เพิ่มบรรทัดสุดท้าย และเมื่อเปิดการแปล ประโยคทั้งประโยคมาพร้อมคำแปลที่แนบมา ภาษาเป้าหมาย ป้ายผู้พูด และโหมดความหน่วงเปลี่ยนระหว่างเซสชันได้ด้วย session.update
เซสชันเรียลไทม์ไม่เก็บอะไรไว้ เมื่อคุณต้องการให้คำถูกเก็บ แก้ไข และแชร์กับผู้ชม คุณเผยแพร่เสียงไปยังการถอดเสียงสดและการถ่ายทอดสดแทน SDK ทางการสำหรับ TypeScript, Python และ PHP ห่อทั้งสองอย่าง และเซิร์ฟเวอร์ MCP ให้ผู้ช่วย AI ใช้บัญชีเดียวกันได้
บทช่วยสอน WebSocket สร้างมุมมองคำบรรยายที่ใช้งานได้ทีละขั้น และเอกสารอ้างอิง API มีทุกฟิลด์ การใช้ API คิดอัตราเดียวกับแดชบอร์ด
ความแม่นยำถูกกำหนดเป็นส่วนใหญ่ก่อนที่ตัวจดจำใดจะทำงาน โดยเสียงที่ป้อนให้ สี่อย่างสร้างความแตกต่างมากที่สุด:
ไมโครโฟน ไมโครโฟนใกล้ผู้พูด หรือสัญญาณจากโต๊ะมิกเซอร์ของสถานที่ นำเสียงที่มีห้องปนน้อยมาก มือถือบนโต๊ะได้ยินผู้พูดบวกเสียงสะท้อน เก้าอี้ และเสียงไอ นี่คือปัจจัยเดี่ยวที่ใหญ่ที่สุด และทำไมมือถือไม่พอสำหรับห้องประชุม อธิบายว่าทำไม
เสียงรบกวนและเสียงซ้อน เสียงรบกวนพื้นหลังทำให้คำหลุดและทำให้เกิดคำที่ไม่ได้พูด และคนสองคนพูดพร้อมกันทำให้สับสนทั้งคำและว่าใครพูด ข้อผิดพลาดในการถอดเสียง ระบุเจ็ดสาเหตุที่พบบ่อย แต่ละอย่างหน้าตาเป็นอย่างไร และแก้อย่างไร
สคริปต์อ้างอิง ชื่อและศัพท์ที่รู้จักกันดีถูกจดจำตามปกติ ชื่อผลิตภัณฑ์ของบริษัท ตัวย่อภายใน หรือนามสกุลที่ไม่คุ้นของแขกไม่อาจรู้ล่วงหน้าได้ ดังนั้นเพิ่มสคริปต์หรือสไลด์ก่อนเริ่ม แล้วชื่อและศัพท์ในนั้นจะถูกเขียนตามที่คุณสะกดไว้ทุกตัว
ป้ายผู้พูด ป้ายตั้งเป็น Off, On หรือ When Needed ได้ ซึ่งเปิดเมื่อได้ยินผู้พูดคนที่สอง การแยกผู้พูดเทียบกับการรู้จำเสียงพูด อธิบายว่าสองคำตอบ คือพูดอะไรและใครพูด แยกจากกันและแก้แยกกันอย่างไร
โหมดความหน่วงก็สำคัญ Fast ส่งข้อความออกเร็วกว่าแต่แก้ไขมากกว่า Accuracy รอนานขึ้นเล็กน้อย
ตัวเลขความแม่นยำตัวเดียวบอกน้อยกว่าที่เห็น อัตราข้อผิดพลาดของคำนับชื่อที่ผิดเท่ากับ "the" ที่ตกไป ซึ่งเป็นเหตุผลที่ อัตราข้อผิดพลาดของคำวัดอะไร และพลาดอะไรไป เสนอให้ตัดสินระบบจากข้อผิดพลาดที่มันให้คุณจับและแก้ได้
ไม่มีข้อความถอดเสียงสดใดสมบูรณ์แบบ หน้าจอของผู้จัดจึงมีแท็บ Fix มันทำเครื่องหมายคำที่ตัวจดจำไม่แน่ใจได้ และเปิดบรรทัดใดก็ได้เพื่อแก้ คนที่สองที่โต๊ะควบคุมไล่แก้ได้ขณะที่ผู้พูดพูดต่อ
เมื่อผู้จัดเขียนคำหรือบรรทัดใหม่ แม้แต่บรรทัดที่ยังพูดอยู่ ผู้ฟังทุกคนเห็นการแก้ไขในทุกภาษา บรรทัดที่ได้ยินด้วยความมั่นใจต่ำเกินไปถูกซ่อนจากผู้ฟังเป็น "Audio unclear" แทนที่จะแสดงผิด ผู้จัดยังเห็นมันอยู่
การบันทึกถูกเก็บไว้พร้อมข้อความถอดเสียง การแก้ไข และคำแปล หลังจากนั้นคุณทำได้ดังนี้:
เสียงและข้อความถอดเสียงถูกเก็บนานแค่ไหนขึ้นอยู่กับแพ็กเกจ และหน้าราคา ระบุไว้
เครื่องมือถอดเสียงสดส่วนใหญ่ดูคล้ายกันในการสาธิต ความต่างโผล่ในคำถามด้านล่าง คอลัมน์ขวาอธิบาย VocalStack ตามที่เป็นอยู่วันนี้
| คำถาม | ทำไมสำคัญ | VocalStack |
|---|---|---|
| ได้ยินภาษาอะไรบ้าง | เครื่องมือที่ถอดเสียงภาษาของผู้พูดไม่ได้ ช่วยอะไรไม่ได้ ไม่ว่าการแปลจะดีแค่ไหน | 100 ภาษา ตรวจจับอัตโนมัติ พร้อมสลับภาษากลางการพูด |
| ข้อความช้ากว่าผู้พูดแค่ไหน | ผู้อ่านสังเกตช่องว่างที่ขยายมากกว่าคำผิดนานๆ ครั้ง | ข้อความต้นฉบับช้าเสี้ยววินาที คำแปลตามมาหนึ่งถึงสองวินาที สามโหมดความหน่วง |
| แปลไหม และใครเลือกภาษา | ภาษาคำบรรยายเดียวบนหน้าจอเดียวทิ้งคนอื่นทุกคน | ถึง 10 ภาษาต่อการถอดเสียง ผู้ฟังแต่ละคนเลือกของตน |
| พูดคำแปลได้ไหม | ผู้ฟังบางคนอ่านตามไม่ได้ หรือไม่อยากอ่าน | เสียงสำเร็จรูปเป็นค่าเริ่มต้น เสียงโคลนของผู้พูดเองเมื่อเขายินยอม |
| ผู้ชมได้รับอย่างไร | แอปและบัญชีทำให้คนหลุดตั้งแต่หน้าประตู | ลิงก์เดียวและคิวอาร์โค้ด ไม่มีบัญชี รหัสผ่านเป็นตัวเลือก |
| แก้ข้อผิดพลาดสดได้ไหม | ชื่อที่ได้ยินผิดและถูกพูดซ้ำทั้งชั่วโมงสร้างความเสียหายจริง | การแก้ไขสดส่งถึงผู้ฟังทุกคน |
| เสียงมาจากไหนได้บ้าง | การตั้งค่าของคุณไม่ควรต้องเปลี่ยนเพื่อให้เข้ากับเครื่องมือ | ไมโครโฟน ส่วนขยายเบราว์เซอร์ แอปเดสก์ท็อป OBS RTMP ลิงก์สตรีม |
| มี API ไหม | คุณอาจอยากได้คำบรรยายในผลิตภัณฑ์ของคุณเอง | API แบบ REST และ WebSocket, SDK, เซิร์ฟเวอร์ MCP อัตราเดียวกับแดชบอร์ด |
| คิดราคาอย่างไร | ราคาต่อผู้ฟังหรือต่อที่นั่งโตตามผู้ชมของคุณ | ตามวินาทีของเสียง ผู้ฟังและภาษาฟรี |
บน VocalStack คุณจ่ายตามวินาทีของเสียงที่ถอด ณ เวลาที่เขียน การถอดเสียงสดราคา $0.60 ต่อชั่วโมง และไฟล์ราคา $0.20 ต่อชั่วโมง ในทุกแพ็กเกจ ทั้งในแดชบอร์ดและผ่าน API การแปล เสียง บทสรุป การถ่ายทอดสด และผู้ฟัง ไม่เคยเพิ่มค่าบริการ การพูดหนึ่งชั่วโมงที่ 200 คนอ่านเป็นห้าภาษาจึงราคา $0.60 เท่ากับที่ไม่มีใครอ่าน
แพ็กเกจต่างกันในบางเรื่อง:
ถ้าไม่มีใครต้องอ่านตามขณะที่เกิดขึ้น ให้อัปโหลดการบันทึกทีหลังด้วยอัตราไฟล์ ราคาปัจจุบัน ระยะเวลาเก็บข้อมูล และขีดจำกัดของแต่ละแพ็กเกจอยู่ในหน้าราคา
บัญชี VocalStack ใหม่มาพร้อมเครดิตสมัคร $5 และไม่ต้องใช้บัตร ที่ $0.60 ต่อชั่วโมง นั่นราวแปดชั่วโมงของการถอดเสียงสด รวมการแปลและการถ่ายทอดสด หลังจากนั้นคุณจ่ายตามวินาที ผู้ฟังฟรีเสมอ
ได้ การถอดเสียงสดแปลเป็นได้ถึง 10 ภาษาพร้อมกันขณะที่คนพูด คำแปลปรากฏหนึ่งหรือสองวินาทีหลังข้อความต้นฉบับ และผู้ฟังแต่ละคนเลือกภาษาของตน
ขึ้นอยู่กับเสียงเป็นหลัก ไมโครโฟนใกล้หรือสัญญาณจากโต๊ะมิกเซอร์ เสียงรบกวนพื้นหลังน้อย มีคนพูดทีละคน และสคริปต์อ้างอิงที่มีชื่ออยู่ให้ผลดีที่สุด การแก้ไขสดช่วยให้ผู้จัดแก้สิ่งที่ยังผิดระหว่างที่การพูดดำเนินอยู่
ข้อความภาษาต้นฉบับตามหลังผู้พูดเสี้ยววินาที และคำแปลตามมาหนึ่งหรือสองวินาที สตรีมสาธารณะเพิ่มความหน่วงของตัวเองก่อนที่เสียงจะถึง VocalStack
มี ผ่านส่วนขยาย Chrome หรือ Edge ปลั๊กอิน OBS Studio หรือแดชบอร์ดในเบราว์เซอร์ แอปเดสก์ท็อปวันนี้อยู่บน macOS โดย Windows เร็วๆ นี้
ไม่ ผู้ฟังเปิดลิงก์การถ่ายทอดสดหรือสแกนคิวอาร์โค้ดในเบราว์เซอร์ เลือกภาษา และอ่าน ไม่มีอะไรต้องติดตั้ง
เปิดแดชบอร์ด เริ่มการถอดเสียงสดจากไมโครโฟนของคุณ และเปิดลิงก์การถ่ายทอดสดของมันบนมือถือ เครดิตสมัครครอบคลุมชั่วโมงแรกๆ ของคุณ และคุณจะเห็นฉบับร่างตกผลึกและคำแปลตามมาด้วยตัวเอง