Độ chính xác của dịch trực tiếp phần lớn đã được quyết định trước khi mô hình nào chạy, bởi vị trí của micro. Hãy lấy âm thanh từ bàn trộn âm thay vì từ một chỗ ngồi ở hàng thứ mười hai, phiên âm một lần, và một lỗi sẽ trở thành một dòng mà ai đó có thể sửa cho mọi người.
Các ứng dụng dịch tích hợp sẵn trên điện thoại là một thành tựu thực sự. Chúng thường chạy một mô hình nhận dạng giọng nói đủ nhỏ để nằm gọn trên thiết bị và không tốn nhiều pin (một số ứng dụng gửi âm thanh lên máy chủ khi có kết nối), và với những câu ngắn, rõ ràng, hằng ngày, chúng làm tốt việc: hỏi đường, đọc thực đơn, một cuộc trò chuyện qua quầy.
Một căn phòng đầy người cùng nghe một người nói là một bài toán khác. Những thứ hỏng trong lời nói thực tế chính là những thứ mô hình nhỏ làm kém nhất: từ hiếm và tên riêng, các từ phát âm giống nhau ("their" và "there", "sail" và "sale"), thuật ngữ kỹ thuật, giọng vùng miền, những người nói chồng lên nhau, và tiếng ồn nền. Ở câu lạc bộ đua thuyền, một mô hình nghe thấy "sale" đã đoán một cách hợp lý, và sai một cách tự tin.
Có hai lý do khiến mô hình nhỏ đoán nhiều hơn mô hình lớn. Thứ nhất, nó đã được nén để vừa với điện thoại, nên nó biết ít từ hơn và ít cách nói các từ đó hơn; gặp một họ chưa từng thấy, nó chỉ có thể đoán gần đúng từ âm thanh. Thứ hai, nhận dạng trực tiếp phải chốt một từ trước khi phần còn lại của câu kịp đến, nên mô hình không thể dùng những thứ sẽ phân xử được "sail" hay "sale": các từ đứng sau, hoặc một kịch bản cho biết bài nói về điều gì. Trong nhận dạng giọng nói, ngữ cảnh chính xác là hai thứ đó: các từ xung quanh, và những gì đã biết trước.
Khi không chắc chắn, mô hình đoán. Bản dịch khi đó được xây trên phỏng đoán, và người đọc không có cách nào biết điều đó. Không ai trong phòng thấy được một dòng đã sai, huống chi là sửa nó. Và căn phòng không phải là một người nghe, mà là năm mươi người.
Điện thoại nghe thấy căn phòng, không nghe thấy người nói. Nguyên nhân là khoảng cách: micro cài áo hoặc micro để bàn nằm cách miệng vài centimét, trong khi chiếc điện thoại ở hàng thứ mười hai cách đó mười mét hoặc xa hơn, và phần lớn âm thanh đến được nó đã dội qua tường, trần nhà và lưng ghế trước. Âm phản xạ đến muộn và bị nhòe. Thêm vào đó, điện thoại còn thu cả tiếng ho của người ngồi cách hai hàng, tiếng thì thầm của người bên cạnh, và những gì loa phóng thanh làm với giọng nói trên đường đi qua hội trường. Mỗi chỗ ngồi thu được một bản ghi hơi khác nhau, nên mỗi chỗ ngồi có một bản phiên âm hơi khác nhau.
Điện thoại cũng chỉ dịch cho một người. Năm mươi khán giả giơ lên năm mươi chiếc điện thoại sẽ tạo ra năm mươi bản phiên âm độc lập của cùng một bài nói, với năm mươi bộ lỗi khác nhau. Hai người so sánh ghi chép sau buổi nói chuyện sẽ không thống nhất được điều gì đã được nói. Còn diễn giả thì đang nói với một bức tường điện thoại giơ cao, một đám đông khó đọc.
Với một số người trong phòng, đây không chỉ là bất tiện; nó quyết định họ có theo kịp bài nói hay không. Một khán giả khiếm thính, hay một người đang theo dõi bằng ngoại ngữ thứ ba, cần một văn bản chung và đúng, chứ không phải năm mươi nỗ lực tốt nhất khác nhau. Điều đó có nghĩa là phiên âm người nói một lần và đưa cùng một kết quả cho tất cả mọi người. Nhưng phiên âm một lần chỉ có giá trị khi được làm tốt, và điều đó bắt đầu từ việc âm thanh đến từ đâu.
Bản phiên âm chỉ tốt bằng âm thanh tạo ra nó. Vì vậy, quyết định đầu tiên không phải là dùng mô hình nào, mà là đưa tín hiệu nào vào. Quyết định thứ hai là nói gì với mô hình trước khi nó bắt đầu.
Phiên âm trực tiếp lấy âm thanh từ nơi tín hiệu sạch đã có sẵn:
VocalStack tự kéo luồng từ URL, nên không có gì phải chạy ở phía bạn. Luồng RTMP thì ngược lại: bộ mã hóa của bạn đẩy luồng đi. Ngôn ngữ của người nói được tự động nhận diện, và họ có thể đổi ngôn ngữ bất cứ lúc nào. Nếu bạn biết ngôn ngữ và bản ghi bị nhiễu hoặc giọng nặng, việc chỉ định ngôn ngữ sẽ cải thiện độ chính xác.
Âm thanh sạch loại bỏ các lỗi do căn phòng gây ra. Nó không giúp gì với các lỗi do từ vựng, và những lỗi đó cần một loại trợ giúp khác.
Điện thoại không biết ai đang nói hay bài nói về điều gì, nên một tên sản phẩm hay một họ chỉ là một âm thanh khác để đoán. Còn buổi phát sóng thì có thể được cho biết trước những gì sẽ xuất hiện.
Nếu bạn thêm kịch bản hoặc slide trước khi bắt đầu, các tên và thuật ngữ trong đó sẽ thắng những gì engine nghe nhầm. Trong lúc ghi, tab Script đi theo người nói như một máy nhắc chữ. Đây là cải thiện độ chính xác lớn nhất đơn lẻ cho loại lời nói lấp đầy các hội nghị và bài giảng: dày đặc danh từ riêng và từ vựng mà không mô hình đa dụng nào từng nghe đủ nhiều.
Âm thanh tốt và một bảng thuật ngữ loại bỏ phần lớn lỗi. Câu hỏi là điều gì xảy ra với những lỗi còn lại.
Ngay cả khi có âm thanh tốt và kịch bản, một số dòng vẫn sẽ ra sai. Khác biệt nằm ở việc xảy ra sau đó.
Trên điện thoại, không có gì xảy ra. Dòng sai trôi qua, và bản dịch được xây trên nó cũng trôi theo.
Trong một buổi phát sóng, một dòng quá mơ hồ để đáng hiển thị sẽ bị ẩn khỏi người nghe với nhãn "Audio unclear" (âm thanh không rõ), thay vì được trình bày như sự thật.
Còn người dẫn chương trình thì có tab Fix: các từ mà engine không chắc chắn có thể được tô màu và gạch chân, một cú nhấp mở dòng để xem xét, và bất kỳ từ hay dòng nào cũng có thể được viết lại khi bản phiên âm vẫn đang trực tiếp. Mỗi người nghe thấy phần sửa bằng ngôn ngữ của chính họ. Mọi chỗ sửa đều được đánh dấu và có thể hoàn tác.
Điều quan trọng không phải là máy chủ không bao giờ mắc lỗi. Mà là lỗi hiển thị rõ ràng, có người trong phòng chịu trách nhiệm, và được sửa một lần cho tất cả mọi người.
Các chỗ sửa chỉ thay đổi những gì người nghe đọc. Những người nghe muốn nghe bài nói hơn là đọc thì nhận được cùng văn bản đã sửa, nhưng được đọc thành lời.
Một người nghe muốn nghe hơn đọc có thể bật đọc to từng dòng đã dịch. Mặc định, mỗi người nói được gán một giọng đọc có sẵn riêng, cùng giới tính với họ, nên một ban hội thảo vẫn nghe như một ban hội thảo. Bạn có thể gán giọng cho từng người nói, hoặc tắt tiếng một người.
Với sự đồng ý của người nói, bạn có thể đi xa hơn và nhân bản giọng của họ từ ba mươi giây lời nói, dưới dạng một đoạn clip tải lên hoặc lấy trực tiếp từ một người nói trong bản ghi; vài phút sẽ cho kết quả tốt hơn. Khi đó, bản dịch được đọc bằng chính giọng của người nói ở mọi ngôn ngữ. Một người nói đã có giọng được lưu cũng có thể được nhận diện trong các bản ghi sau này, dù hệ thống thà để một người nói không được gọi tên còn hơn gọi nhầm người.
Hai quy tắc được áp dụng, và chúng có chủ đích. Giọng nhân bản là dữ liệu sinh trắc học: nó chỉ được tạo khi người nói đồng ý rõ ràng và có thể bị xóa bất cứ lúc nào. Và một giọng chỉ đọc bản phiên âm hoặc bản dịch của nó; không thể bắt nó nói điều mà chủ nhân chưa từng nói.
Mọi điều trên đây đều xảy ra khi người nói đang nói. Khác biệt cuối cùng xuất hiện sau khi họ dừng lại.
Năm mươi bản phiên âm trên điện thoại sẽ biến mất khi ứng dụng đóng. Một buổi phát sóng thì giữ bản ghi trong thư viện của bạn: âm thanh, cùng bản phiên âm với mọi chỗ sửa và bản dịch. Ở đó, bạn có thể phát lại từng dòng, tìm kiếm bằng bất kỳ ngôn ngữ nào và xuất ra. Phần hướng dẫn trong Một liên kết, mọi ngôn ngữ mô tả những gì thư viện làm được. Người nghe không tốn thêm chi phí, dù có bao nhiêu người đi nữa. Bạn trả cho phần âm thanh được phiên âm, với $0.60 mỗi giờ cho trực tiếp và tối thiểu 5 phút cho mỗi bản phiên âm, còn trang bảng giá có bảng giá đầy đủ.
Điện thoại trong tay mọi người vẫn là phương án dự phòng tốt cho một cuộc trò chuyện ngoài hành lang. Với một căn phòng cần cùng hiểu một người nói, người nói nên được phiên âm một lần, từ nguồn, với một người có thể sửa những gì sai. Bạn có thể xem điều đó trông như thế nào trong bản demo tương tác trên trang chủ.
