WER chấm một cái tên sai, một con số sai và một chữ “not” bị thiếu ngang với một từ “the” bị rơi mất. Hãy đánh giá một hệ thống phiên âm qua những lỗi nó bắt được và việc bạn có thấy được các lần sửa của nó hay không, chứ không qua con số tổng quát.
Tỷ lệ lỗi từ (WER) là thước đo tiêu chuẩn cho nhận dạng giọng nói. Lấy một bản phiên âm tham chiếu đã được người kiểm tra, đặt đầu ra của máy thẳng hàng với nó theo từng từ, rồi đếm ba loại lỗi: thay thế (một từ sai), chèn thêm (một từ không hề được nói) và xóa bỏ (một từ bị thiếu). Cộng chúng lại rồi chia cho số từ trong bản tham chiếu.
WER = (số lần thay thế + số lần chèn thêm + số lần xóa bỏ) / số từ trong bản tham chiếu
Việc căn thẳng hàng không làm bằng mắt. Hai bản văn được căn theo khoảng cách chỉnh sửa tối thiểu (khoảng cách Levenshtein, áp dụng cho từ thay vì ký tự): trong mọi cách ghép đầu ra với bản tham chiếu, bộ chấm chọn cách có ít thao tác chỉnh sửa nhất và đếm các thao tác đó. Vì các lần chèn thêm được tính và mẫu số là độ dài của bản tham chiếu, WER có thể vượt 100 phần trăm: một mô hình điền đầy một phút im lặng bằng chữ sẽ bị chấm điểm tệ hơn một mô hình không viết gì cả.
Giả sử bản tham chiếu là “we will meet Dr Okafor at nine on Thursday”, gồm chín từ, còn máy viết “we will meet the doctor at nine on Tuesday”. Có ba lần thay thế (Dr, Okafor, Thursday) trên chín từ, tức WER là 33 phần trăm. Hai phần ba số từ đúng, nhưng bạn vẫn sai cuộc họp và sai ngày. Nếu chỉ “Thursday” sai thì điểm là 11 phần trăm. Một phiên bản mà mọi từ đều đúng nhưng có thêm một chữ “um” không ai nói cũng được 11 phần trăm, vì một lần chèn thêm được tính giống một lần thay thế.
Trước khi đếm, cả hai bản văn thường được chuẩn hóa, và các lựa chọn ở bước này làm điểm thay đổi nhiều không kém gì bản thân mô hình. “Dr” có phải cùng một từ với “Doctor” không? “nine” có giống “9” không? Viết hoa và dấu câu có được tính không? Chấm nghiêm ngặt sẽ đánh dấu “Dr” so với “Doctor” là một lần thay thế. Hầu hết các điểm được công bố đều viết thường tất cả, bỏ dấu câu và viết mọi số theo một cách, dạng chữ hoặc dạng số, trước khi so sánh. Vì vậy con số của một nhà cung cấp lặng lẽ phụ thuộc vào một bộ chuẩn hóa mà bạn không nhìn thấy. Các ngôn ngữ viết không có khoảng trắng giữa các từ, như tiếng Trung, tiếng Nhật và tiếng Thái, không có ranh giới từ rõ ràng để đếm, nên chúng được chấm bằng tỷ lệ lỗi ký tự (CER): cùng công thức, nhưng áp dụng cho ký tự.
Từ đó suy ra hai điều. Thứ nhất, WER 5 phần trăm là một từ trong hai mươi từ, tức vài trăm từ trong một buổi nói chuyện kéo dài một giờ. Để hình dung, người phiên âm là con người thường được trích dẫn ở mức khoảng 4 đến 5 phần trăm với lời nói trong hội thoại, và một kết quả năm 2017 được trích dẫn nhiều trên kho ghi âm điện thoại Switchboard cho thấy máy đạt khoảng 5,1 phần trăm, dù cả hai con số đều phụ thuộc vào âm thanh và quy tắc chấm. Thứ hai, con số phụ thuộc hoàn toàn vào âm thanh kiểm thử: giọng đọc sạch cho một con số, còn một buổi tọa đàm ồn ào với giọng vùng miền và nhiều người nói chồng lên nhau cho một con số rất khác. WER tổng quát mô tả bộ kiểm thử của nhà cung cấp cũng nhiều như mô tả hệ thống của họ.
Đó là cách đếm. Điều nó bỏ qua là cái giá của mỗi lỗi đối với người đọc.
WER coi mọi từ là ngang nhau. Người đọc thì không:
Mỗi điều trên chỉ là một hoặc hai lỗi trong cột WER. Trong cột của người đọc, chúng dao động từ không đáng kể đến một cuộc họp khác vào một ngày khác. Vì vậy câu hỏi không chỉ là “tỷ lệ lỗi là bao nhiêu” mà còn là “lỗi thuộc loại nào, và cái gì bắt được chúng”.
Nhiều lớp bắt được những gì nhận dạng làm sai, và mọi thay đổi đều được ghi lại để có thể kiểm tra và hoàn tác. Với phiên âm trực tiếp, việc này diễn ra ngay khi văn bản vẫn đang đến: mỗi dòng hiện trước dưới dạng bản nháp có thể còn thay đổi, rồi mới trở thành bản chính thức (Độ trễ dịch trực tiếp được giải thích trình bày lý do).
Một số lỗi khớp với âm thanh nhưng không khớp với câu: “their” ở chỗ câu cần “there”. Những lỗi này có thể được bắt từ ngữ cảnh, và việc sửa đến tay người đọc dưới dạng một cập nhật hiển thị được (transcript.amended trong API), chứ không phải một lần viết lại âm thầm. Ngữ cảnh giúp tốt với các từ mà câu có thể đoán trước. Nó bó tay với những từ không đoán được.
Tên và thuật ngữ kỹ thuật là những lỗi mà ngữ cảnh không sửa được, vì một cái tên thường chỉ xuất hiện một lần, không có gì xung quanh để đoán nó. Một kịch bản tham chiếu giải quyết việc này: đưa cho hệ thống giọng nói, slide hoặc danh sách tên và thuật ngữ trước khi bắt đầu, và các từ đó sẽ được ưu tiên hơn những gì bộ máy nghe nhầm. Trong lúc ghi âm, kịch bản bám theo bản phiên âm như một máy nhắc chữ, để người dẫn chương trình thấy bộ máy đã đi được bao xa. Kịch bản bao phủ những từ bạn có thể đoán trước; âm thanh nhiễu và giọng vùng miền tạo ra những từ bạn không đoán được.
Có những lỗi chỉ người trong phòng mới nhìn thấy. Hiệu chỉnh thủ công cho phép người dẫn chương trình viết lại bất kỳ từ hay dòng nào khi bản phiên âm vẫn đang chạy, và mọi người nghe trên buổi phát sóng đều thấy thay đổi. Hệ thống chỉ cho người dẫn chương trình các ứng viên có khả năng: những từ mà bộ máy không chắc chắn có thể được tô màu và gạch chân, và người dẫn chương trình có thể lần lượt duyệt các đoạn chưa chắc thay vì đọc lại toàn bộ bản phiên âm. Qua API, GET /v1/recordings/{id}/corrections liệt kê các lần hiệu chỉnh của một bản ghi âm và POST /v1/corrections/{id}/revert hoàn tác một lần; xem tài liệu API. Tuy vậy, ngay cả người trong phòng cũng không thể sửa một dòng mà không ai nghe được.
Lớp cuối cùng chấp nhận rằng có một số âm thanh không thể phục hồi. Khi một dòng có điểm dưới ngưỡng tin cậy của bản phiên âm (confidence.hideBelow, mặc định 0.60), người nghe thấy "Audio unclear" thay cho nó thay vì một phỏng đoán, và dòng đó không bao giờ được đọc thành tiếng. Người đọc mất một dòng; họ không nhận thêm một dòng bịa đặt.
Cùng những câu hỏi đã định hình các lớp này cũng áp dụng cho mọi tuyên bố về độ chính xác của bất kỳ nhà cung cấp nào, kể cả của chúng tôi.
Dưới đây là danh sách ngắn để đọc bất kỳ tuyên bố độ chính xác nào:
VocalStack không công bố con số WER nội bộ, vì lý do đầu tiên ở trên: nó sẽ mô tả bộ kiểm thử của chúng tôi, không phải âm thanh của bạn. Chúng tôi đo độ chính xác liên tục. Khi so sánh với các hệ thống khác, chúng tôi dùng các điểm chuẩn độc lập đã công bố và số liệu do nhà cung cấp công bố, không bao giờ dùng thử nghiệm riêng. Phần còn lại để âm thanh của chính bạn quyết định.
