Phiên âm và dịch thời gian thực: cách chuyển giọng nói thành văn bản trực tiếp hoạt động, độ trễ, yếu tố ảnh hưởng độ chính xác và chi phí.
Phiên âm thời gian thực biến lời nói thành văn bản trong khi người đó còn đang nói. Các từ hiện lên màn hình ngay sau khi được nói, lắng xuống thành các dòng cuối cùng, và bất kỳ ai theo dõi đều đọc được. Thêm dịch thời gian thực, và mỗi người đọc có thể theo dõi cùng bài nói ấy bằng ngôn ngữ của mình, dưới dạng văn bản hoặc được đọc thành tiếng.
Hướng dẫn này nói về phiên âm và dịch thời gian thực từ cả hai phía: người nghe thấy gì, âm thanh có thể đến từ đâu, điều gì quyết định độ chính xác, nhà phát triển nhận được gì từ API, và chi phí ra sao.
Phiên âm thời gian thực, còn gọi là phiên âm trực tiếp hay chuyển giọng nói thành văn bản trực tiếp, là nhận dạng giọng nói chạy trong khi âm thanh vẫn đang đến. Một tệp đã ghi có thể được phiên âm khi đã có cả bản ghi trong tay. Một phiên âm trực tiếp phải quyết định từ chỉ dựa vào vài giây gần nhất, và theo kịp người nói chừng nào họ còn nói.
Phụ đề trực tiếp là chính điều đó, được hiển thị dưới dạng những dòng ngắn trên video hoặc trên màn hình.
Trên VocalStack, một phiên âm trực tiếp có thể nghe bằng 100 ngôn ngữ. Nó tự phát hiện ngôn ngữ được nói và theo người nói nếu họ chuyển ngôn ngữ, điều mà cách tự động phát hiện ngôn ngữ hoạt động giải thích, cùng với lúc nào nên chỉ định ngôn ngữ trước.
Văn bản đến theo hai giai đoạn. Những từ mới nhất hiện ra trước dưới dạng bản nháp, có thể còn thay đổi khi có thêm âm thanh đến. Một lát sau bản nháp lắng xuống thành một dòng cuối cùng không thay đổi nữa.
Bản nháp tồn tại vì bộ nhận dạng quyết định một từ một phần dựa vào những gì theo sau nó. "Ice cream" và "I scream" nghe giống nhau cho đến khi từ tiếp theo đến. Hiển thị phỏng đoán sớm là điều khiến bản phiên âm có cảm giác trực tiếp.
Văn bản chậm hơn người nói bao nhiêu tùy vào giai đoạn:
Hai độ trễ nằm ngoài chuỗi đó. Khi nguồn là một luồng công khai chứ không phải micro, bản thân luồng đã trễ so với mép trực tiếp của nó: một đến ba giây với luồng radio internet thông thường, và từ vài giây đến nửa phút với HLS. Và ở Pay as you go, một phiên âm trực tiếp có thể mất đến 15 giây để bắt đầu. Phân tích đầy đủ, gồm các chế độ độ trễ Auto, Fast và Accuracy, nằm trong độ trễ dịch trực tiếp, giải thích.
Bản dịch chạy phía trên bản phiên âm. Một phiên âm trực tiếp có thể được dịch cùng lúc sang tối đa 10 ngôn ngữ, chọn trong 100. Mỗi người nghe chọn một trong số đó trên thiết bị của mình và có thể đổi bất cứ lúc nào; phần phiên âm đến lúc đó hiện lại bằng ngôn ngữ mới.
Mọi ngôn ngữ được dịch từ cùng một bản phiên âm, nên mọi người nghe nhận cùng những từ, và một bản sửa đến được với tất cả.
Người nghe muốn nghe thay vì đọc có thể cho đọc to từng dòng đã dịch. Theo mặc định, mỗi người nói nhận một giọng có sẵn riêng, hợp với giới tính của họ, nên một hội thảo vẫn nghe như nhiều người. Khi người nói đồng ý, người tổ chức có thể sao chép giọng của họ từ khoảng 30 giây họ nói một mình, và bản dịch khi đó được đọc bằng giọng của chính họ.
Quy tắc cho giọng nói cố ý hẹp. Một giọng chỉ đọc những gì chính người đó đã nói, được dịch sang ngôn ngữ mà người nghe đã chọn. Nó không bao giờ đọc văn bản ai đó gõ vào, và không bao giờ đọc lời của một người nói bằng giọng của người khác.
Việc này hoạt động ra sao cho cả một căn phòng, từ phần thiết lập của người tổ chức đến người nghe vào muộn, được nêu trong Một liên kết, mọi ngôn ngữ.
Một phiên âm trực tiếp cần một nguồn âm thanh. Đây là những nguồn VocalStack nhận hiện nay:
Phụ đề bên trong trình phát YouTube, qua nút CC của nó, sắp ra mắt. Cho đến lúc đó, người xem một luồng YouTube theo dõi phụ đề tại liên kết của buổi phát sóng.
Nếu bạn cần phiên âm trực tiếp trên Windows ngay hôm nay, tiện ích Chrome hoặc Edge, plugin OBS và Dashboard trong trình duyệt đều dùng được ở đó.
Một buổi phát sóng là cách những người khác theo dõi một phiên âm trực tiếp. Đó là một liên kết và một mã QR. Người nghe mở nó trong trình duyệt, chọn ngôn ngữ và đọc theo. Họ không cần tài khoản, không cài gì và không tốn gì: hóa đơn không đổi theo số người nghe hay số ngôn ngữ.
Một buổi phát sóng mặc định là công khai và có thể được bảo vệ bằng mật khẩu. Nếu bạn đổi tên liên kết của nó, liên kết cũ vẫn dùng được, nên mã QR in trên chương trình không bị lỗi thời. Một buổi phát sóng có thể mang nhiều phiên âm trực tiếp, nên hai sân khấu có thể dùng chung một liên kết.
Người nghe đến muộn thấy mọi thứ đã nói trước khi họ vào, rồi theo dõi trực tiếp. Sau đó, chế độ xem Audience cho biết ai đã nghe, bằng ngôn ngữ nào và tham gia khi nào.
Với các sự kiện, danh sách kiểm tra hội nghị đa ngôn ngữ nói về âm thanh, sân khấu và ngân sách, còn phiên âm trực tiếp cho nhà thờ, giảng đường và phòng họp hội đồng nói về phiên bản hằng tuần của cùng cách thiết lập.
Mọi điều trên đều có thể làm từ mã. Với âm thanh trực tiếp trong ứng dụng của riêng bạn, API có các phiên thời gian thực: máy chủ của bạn thực hiện một lệnh gọi đến POST /v1/realtime/sessions với khóa API và nhận lại một streamUrl có thời hạn ngắn. Máy khách của bạn mở một WebSocket đến đó, gửi âm thanh thô khi được thu, và đọc bản phiên âm trả về dưới dạng các khung JSON.
Các khung theo cùng hai giai đoạn mà người đọc thấy. transcript.draft thay thế phần đuôi đang diễn ra, transcript.committed thêm một dòng cuối cùng, và khi bật dịch, cả câu đến kèm bản dịch của chúng. Ngôn ngữ đích, nhãn người nói và chế độ độ trễ có thể được đổi giữa phiên bằng session.update.
Một phiên thời gian thực không lưu gì. Khi bạn muốn giữ các từ, sửa chúng và chia sẻ với khán giả, bạn phát âm thanh vào một phiên âm trực tiếp và một buổi phát sóng. Các SDK chính thức cho TypeScript, Python và PHP gói cả hai, và một máy chủ MCP cho phép trợ lý AI dùng cùng tài khoản.
Hướng dẫn WebSocket xây dựng từng bước một khung nhìn phụ đề chạy được, và tài liệu tham chiếu API có mọi trường. Việc dùng API được tính theo cùng mức giá với Dashboard.
Độ chính xác được quyết định phần lớn trước khi bất kỳ bộ nhận dạng nào chạy, bởi âm thanh mà nó được đưa vào. Bốn điều tạo khác biệt nhiều nhất.
Micro. Một micro gần người nói, hoặc nguồn từ bàn mixer của địa điểm, mang giọng nói với ít âm thanh của căn phòng lẫn vào. Một điện thoại trên bàn nghe người nói cộng thêm tiếng vang, tiếng ghế và tiếng ho. Đây là yếu tố đơn lẻ lớn nhất, và vì sao điện thoại không đủ cho một căn phòng giải thích lý do.
Tiếng ồn và nói chồng lên nhau. Tiếng ồn nền gây ra từ bị bỏ sót và từ bịa ra, và hai người nói cùng lúc làm rối cả các từ lẫn ai đã nói. Lỗi phiên âm âm thanh liệt kê bảy nguyên nhân phổ biến, mỗi cái trông thế nào và cách sửa.
Reference Script. Những tên và thuật ngữ nổi tiếng được nhận ra nguyên trạng. Tên sản phẩm của một công ty, một từ viết tắt nội bộ hay họ khác thường của một khách mời không thể biết trước, nên hãy thêm kịch bản hoặc slide trước khi bắt đầu, và các tên cùng thuật ngữ trong đó được viết đúng như bạn đã đánh vần.
Nhãn người nói. Nhãn có thể là Off, On hoặc When Needed, chế độ bật chúng khi nghe thấy người nói thứ hai. Phân tách người nói so với nhận dạng giọng nói giải thích hai câu trả lời, điều gì đã được nói và ai đã nói, tách biệt nhau và được sửa riêng.
Chế độ độ trễ cũng quan trọng: Fast đưa ra văn bản sớm hơn nhưng sửa lại nhiều hơn, Accuracy chờ lâu hơn một chút.
Một con số độ chính xác duy nhất nói ít hơn vẻ ngoài của nó. Tỷ lệ lỗi từ tính một cái tên sai bằng một chữ "the" bị bỏ sót, đó là lý do tỷ lệ lỗi từ đo cái gì và bỏ sót cái gì đề nghị đánh giá một hệ thống theo những lỗi nào nó cho phép bạn bắt và sửa.
Không bản phiên âm trực tiếp nào hoàn hảo, vì vậy màn hình người tổ chức có tab Fix. Nó có thể đánh dấu những từ mà bộ nhận dạng không chắc, và bất kỳ dòng nào cũng có thể được mở ra và sửa. Một người thứ hai ở bàn có thể xử lý chúng trong khi người nói tiếp tục.
Khi người tổ chức viết lại một từ hay một dòng, kể cả dòng còn đang được nói, mọi người nghe thấy bản sửa, bằng mọi ngôn ngữ. Một dòng nghe với độ tin cậy quá thấp được ẩn khỏi người nghe dưới dạng "Audio unclear" thay vì hiển thị sai; người tổ chức vẫn thấy nó.
Bản ghi được giữ cùng bản phiên âm, các bản sửa và bản dịch. Sau đó bạn có thể:
Âm thanh và bản phiên âm được giữ bao lâu tùy vào gói, và trang giá liệt kê điều đó.
Hầu hết công cụ phiên âm trực tiếp trông giống nhau trong bản demo; khác biệt lộ ra ở các câu hỏi dưới đây. Cột bên phải mô tả VocalStack như hiện nay.
| Câu hỏi | Vì sao quan trọng | VocalStack |
|---|---|---|
| Nó nghe được những ngôn ngữ nào? | Một công cụ không phiên âm được ngôn ngữ của người nói thì không giúp được, dù dịch giỏi đến đâu. | 100 ngôn ngữ, tự động phát hiện, chuyển đổi giữa chừng khi nói |
| Văn bản chậm hơn người nói bao nhiêu? | Người đọc nhận thấy khoảng cách ngày càng rộng hơn là một từ sai thỉnh thoảng. | Văn bản gốc chậm một phần nhỏ của giây, bản dịch sau một hai giây; ba chế độ độ trễ |
| Nó có dịch không, và ai chọn ngôn ngữ? | Một ngôn ngữ phụ đề trên một màn hình bỏ sót tất cả những người khác. | Tối đa 10 ngôn ngữ cho mỗi phiên âm, mỗi người nghe chọn ngôn ngữ của mình |
| Nó có đọc to bản dịch được không? | Một số người nghe không thể đọc theo, hoặc không muốn. | Giọng có sẵn theo mặc định; giọng sao chép của chính người nói khi họ đồng ý |
| Khán giả nhận nó thế nào? | Ứng dụng và tài khoản làm mất người ngay ở cửa. | Một liên kết và mã QR, không cần tài khoản, mật khẩu tùy chọn |
| Có sửa lỗi trực tiếp được không? | Một cái tên nghe sai bị lặp suốt một giờ gây hại thật sự. | Bản sửa trực tiếp được đẩy đến mọi người nghe |
| Âm thanh có thể đến từ đâu? | Cách thiết lập của bạn không nên phải thay đổi để hợp với công cụ. | Micro, tiện ích trình duyệt, ứng dụng máy tính, OBS, RTMP, liên kết luồng |
| Có API không? | Bạn có thể muốn phụ đề ngay trong sản phẩm của mình. | API REST và WebSocket, SDK, máy chủ MCP, cùng mức giá với Dashboard |
| Giá được tính thế nào? | Giá theo người nghe hay theo ghế tăng cùng khán giả. | Theo giây âm thanh; người nghe và ngôn ngữ miễn phí |
Trên VocalStack, bạn trả theo từng giây âm thanh được phiên âm. Tại thời điểm viết bài, phiên âm trực tiếp tốn $0.60 một giờ và tệp $0.20 một giờ, ở mọi gói, trong Dashboard cũng như qua API. Bản dịch, giọng nói, bản tóm tắt, buổi phát sóng và người nghe không bao giờ làm tăng hóa đơn, nên một bài nói dài một giờ được 200 người đọc bằng năm ngôn ngữ tốn đúng $0.60 như một bài không ai đọc.
Các gói khác nhau ở vài điểm:
Nếu không ai cần đọc theo ngay lúc đó, hãy tải bản ghi lên sau với giá tệp. Giá hiện tại, thời gian lưu giữ và giới hạn của từng gói có trên trang giá.
Một tài khoản VocalStack mới có $5 tín dụng đăng ký và không cần thẻ. Với $0.60 một giờ, đó là khoảng tám giờ phiên âm trực tiếp, đã gồm dịch và phát sóng. Sau đó bạn trả theo giây. Người nghe luôn miễn phí.
Được. Một phiên âm trực tiếp có thể được dịch cùng lúc sang tối đa 10 ngôn ngữ trong khi người đó nói. Bản dịch hiện ra một hai giây sau văn bản gốc, và mỗi người nghe chọn ngôn ngữ của mình.
Phần lớn phụ thuộc vào âm thanh. Một micro gần hoặc nguồn từ bàn mixer, ít tiếng ồn nền, mỗi lúc một người nói và một reference script có các tên cho kết quả tốt nhất. Bản sửa trực tiếp cho phép người tổ chức sửa những gì còn sai trong khi bài nói diễn ra.
Văn bản ngôn ngữ gốc chậm hơn người nói một phần nhỏ của giây, và bản dịch theo sau một hai giây. Một luồng công khai tự thêm độ trễ của nó trước khi âm thanh đến VocalStack.
Được, qua tiện ích Chrome hoặc Edge, plugin OBS Studio hoặc Dashboard trong trình duyệt. Ứng dụng máy tính hiện có trên macOS, Windows sắp ra mắt.
Không. Người nghe mở liên kết buổi phát sóng hoặc quét mã QR của nó trong trình duyệt, chọn ngôn ngữ và đọc. Không có gì để cài.
Mở Dashboard, bắt đầu một phiên âm trực tiếp từ micro của bạn và mở liên kết buổi phát sóng của nó trên điện thoại. Tín dụng đăng ký đủ cho những giờ đầu tiên, và bạn tự thấy các bản nháp lắng xuống và bản dịch theo sau.