Một bản phiên âm có nhãn cần đúng cả hai câu trả lời, và vì nhãn nằm trên các từ, một nhãn sai có thể được sửa mà không cần chạm vào văn bản.
Bản phiên âm một cuộc họp trả lời hai câu hỏi cùng lúc: đã nói gì, và ai đã nói. Người đọc chỉ thấy một việc: một cái tên đứng cạnh mỗi dòng. Bên dưới là hai bài toán riêng, mỗi bài có đầu vào và cách thất bại riêng.
Nhận dạng giọng nói lắng nghe từ ngữ. Nó chuyển âm thanh thành văn bản và, khi làm tốt, cho thời điểm bắt đầu và kết thúc của từng từ. Nó không quan tâm giọng có đổi giữa chừng một câu hay không; việc của nó là viết đúng câu.
Phân tách người nói lắng nghe giọng nói. Nó không biết từ ngữ. Việc của nó là chia dòng thời gian thành các lượt nói và cho biết những lượt nào thuộc cùng một người: Người nói 1, Người nói 2. Từ "diarization" mượn chữ "diary" (nhật ký), và hình ảnh đó khá đúng với đầu ra: một cuốn nhật ký ghi ai đang giữ lời, và vào lúc nào.
Ba thuật ngữ gần nghĩa thường bị nhầm lẫn với nó. Phân tách người nói cho biết ai nói khi nào mà không cần biết họ là ai. Nhận diện người nói cho biết một đoạn lời thuộc về người nào trong số những giọng đã đăng ký. Xác minh người nói trả lời một câu có hoặc không: giọng này có thật sự là người X không? Các tuyên bố của nhà cung cấp dễ đọc hơn khi ba khái niệm được tách bạch, vì "nhãn người nói" có thể mang nghĩa bất cứ điều gì, từ một phỏng đoán thô về ranh giới lượt nói cho đến những cái tên theo một người qua nhiều bản ghi âm. Để biết những nhãn đó hứa được gì và không hứa được gì, hãy nhìn vào bên trong bộ phân tách.
Phần lớn hệ thống phân tách người nói hoạt động qua ba bước, và không bước nào liên quan đến ngôn ngữ.
Mỗi bước có thể sai theo cách riêng. Một người nói nhỏ tiếng có thể bị bỏ sót. Hai giọng gần giống nhau có thể bị gộp làm một. Một người chuyển từ điềm tĩnh sang hào hứng có thể bị tách thành hai.
Lĩnh vực này chấm điểm toàn bộ quá trình bằng tỷ lệ lỗi phân tách, DER: phần thời gian nói bị bỏ sót, bị nhận nhầm là có tiếng nói, hoặc được gán cho sai người nói, thường với một khoảng dung sai khoảng một phần tư giây quanh mỗi ranh giới. Khoảng dung sai này tồn tại vì không ai, người hay máy, có thể đặt một điểm đổi người nói chính xác đến từng mili giây. Mức dung sai đó ổn khi chấm riêng bộ phân tách. Nhưng nó không ổn với bản phiên âm, vì ở đó một ranh giới lệch một phần tư giây sẽ rơi ngay trúng một từ.
Đây là chỗ hai bài toán gặp nhau, và cũng là nơi chất lượng của một bản phiên âm có nhãn được quyết định. Bộ phân tách đặt ranh giới với một độ sai lệch nhất định, thường lệch vài phần của một giây về cả hai phía. Bộ nhận dạng đặt các từ lên cùng một dòng thời gian. Nếu xếp hai thứ này chồng lên nhau một cách máy móc, một ranh giới sẽ rơi vào giữa một từ, và một nửa của "ngày mai" thuộc về Người nói 1 trong khi nửa còn lại thuộc về Người nói 2.
Nhãn cũng có thể sai một thời gian trước khi đúng. Bộ phân tách càng nghe được nhiều âm thanh thì càng chắc chắn về các nhóm của mình, nên một nhãn ban đầu có thể trông sai theo tiêu chuẩn của những gì xuất hiện sau đó. Với bản phiên âm trực tiếp, nhãn có thể được sửa sau khi dòng đã hiện: realtime API của VocalStack gửi một khung transcript.amended, sửa văn bản hoặc người nói của một dòng đã chốt ngay tại chỗ, để người đọc thấy bản sửa chứ không thấy một mâu thuẫn.
Ngay cả một nhãn đặt đúng chỗ và ổn định hoàn toàn vẫn chỉ là một con số. Một con số đủ để theo dõi cuộc trò chuyện; còn một cái tên mới là thứ người ta muốn đọc.
Một nhãn trở thành tên theo hai cách, và cách này được xây dựng trên cách kia.
Cách thứ nhất là đặt tên trong cùng một bản ghi. Mỗi người nói mà quá trình phiên âm tìm thấy sẽ được gán một chỉ số, đếm từ 0. Bất kỳ ai có quyền truy cập đều có thể đặt tên cho từng người nói trong hoặc sau khi ghi âm. Tên là một lớp phủ lên các từ, nên có thể đặt, đổi hoặc xóa mà không chạm vào văn bản. Qua API, đó là PUT /v1/recordings/{id}/speakers/{idx} với name; tên rỗng sẽ xóa tên. Dòng có speaker là -1 không có nhãn, hoặc vì nhãn đang tắt, hoặc, trong bản nháp trực tiếp, vì dòng đó chưa được gán người nói.
Cách thứ hai là nhận diện qua nhiều bản ghi, chính là bài toán nhận diện ở phần đầu. Bộ phân tách chỉ có thể nói rằng hai giọng khác nhau, chứ không bao giờ biết họ là ai. Để đi từ "khác nhau" đến "đây là Ana", hệ thống cần một tham chiếu: một giọng đã lưu, lấy từ một bản ghi của chính người đó. Tối thiểu là ba mươi giây lời nói rõ ràng, và vài phút sẽ tốt hơn. Mẫu cũng nên nghe giống các bản ghi mà nó sẽ được so khớp: cùng một người nói qua micro laptop và qua micro sân khấu có thể nghe khác nhau đối với máy nhiều hơn so với hai người lạ được thu theo cùng một cách. Khi một giọng đã được lưu, mỗi người nói mà một bản phiên âm nghe thấy sẽ được so với giọng đó, và khi khớp thì cái tên sẽ được gắn vào bản phiên âm. Trên VocalStack, tính năng này nằm trong Voices: các bản phiên âm tệp và phiên trực tiếp trên Bảng điều khiển tự động so khớp với những giọng bạn đã lưu, còn phiên realtime API chỉ nhận diện những giọng bạn liệt kê trong identifyVoices.
Giọng đã lưu là dữ liệu sinh trắc học: nó có thể nhận ra một người trong bất kỳ bản ghi nào, và trên VocalStack nó còn đóng vai trò một giọng nhân bản có thể đọc các câu của người đó thành tiếng. Bảng điều khiển yêu cầu bạn xác nhận đã có sự cho phép của người đó trước khi lưu giọng, và bạn có thể xóa một giọng bất cứ lúc nào.
Tất cả những điều trên giả định rằng bạn muốn có nhãn người nói. Thường thì bạn không cần.
Một người đọc bài giảng không cần "Người nói 1" đứng trước mỗi dòng. Khán giả đã biết ai đang cầm micro. Vì vậy, cài đặt nhãn người nói có ba vị trí, và chúng giống nhau trên phiên realtime, buổi phát sóng, bản phiên âm và bản ghi âm.
auto trong API). Các dòng được gắn nhãn người nói khi nghe thấy hơn một giọng; bản ghi một người nói vẫn là văn bản thuần, và một giọng tham gia muộn vẫn được nhận ra. Form phiên âm trực tiếp mới trên Bảng điều khiển bắt đầu ở vị trí này.Tải tệp lên nhận cùng tùy chọn speakerLabels, và realtime API cho phép đổi tùy chọn này giữa chừng luồng; chi tiết nằm trong tài liệu API. Việc tách và đặt tên người nói không bao giờ làm tăng hóa đơn (bảng giá đầy đủ nằm trên trang bảng giá), nên lựa chọn này phụ thuộc vào điều người đọc nên thấy, chứ không phải vào chi phí.
Khi đã bật, phân tách người nói tốt nhưng không phải phép màu. Vẫn còn hai tình huống mà nó chưa xử lý được.
Thứ nhất là chồng tiếng. Khi hai người nói cùng lúc, một đoạn âm thanh mang hai giọng. Các bộ phân tách có thể xử lý chồng tiếng đã xuất hiện trong nghiên cứu và ngày càng nhiều trong sản phẩm: chẳng hạn, phân tách thần kinh đầu cuối (EEND) coi "ai đang nói" là một tập hợp các câu hỏi có/không đồng thời, thay vì một câu trả lời duy nhất. Tuy vậy, phần lớn hệ thống sản xuất vẫn gán một người nói cho mỗi đoạn, và bộ nhận dạng đặt trên chúng chỉ phiên âm từng giọng một. Tiếng nói chen ngang trong một buổi tranh luận sôi nổi là loại âm thanh khó nhất trong lĩnh vực này, và nhãn của mọi nhà cung cấp đều kém đi ở đó. Đó cũng là đoạn mà ai cũng muốn trích dẫn sau này.
Thứ hai là các giọng rất giống nhau. Anh chị em ruột có thể tạo ra những embedding quá gần nhau để tách một cách đáng tin cậy, nhất là khi họ đổi lượt nói ngắn suốt cả giờ đồng hồ. Âm thanh điện thoại làm việc này tệ hơn cho tất cả mọi người: đường dây băng hẹp được lấy mẫu ở 8 kHz và chỉ giữ lại tần số dưới khoảng 3,4 kHz, trong khi phần lớn điều phân biệt giọng này với giọng khác lại nằm trên ngưỡng cắt đó. Hai người nói qua cùng một đường dây điện thoại nghe giống nhau hơn đối với bộ phân tách so với khi bạn nghe bằng tai.
Cách khắc phục thực tế nhất cho cả hai nằm ở khâu trước mọi mô hình: cho mỗi người nói một micro riêng. Khi có một kênh cho mỗi người nói, việc phân tách chỉ còn là hỏi xem kênh nào to hơn, chồng tiếng trở thành hai bản âm thanh sạch thay vì một bản đục, và các embedding không bao giờ phải làm phần khó. Một micro bàn đơn rẻ hơn và hầu như luôn là thứ bạn đang có, và đó là lý do phần còn lại của bài viết này tồn tại.
Không giới hạn nào trong số này cần phải đến tay người đọc nguyên vẹn. Vì nhãn là một lớp phủ lên các từ, một nhãn sai không bao giờ làm mất văn bản: tên người nói có thể được đặt hoặc xóa trên một bản ghi vào bất cứ lúc nào, và trong bản phiên âm trực tiếp, người chủ trì có thể viết lại bất kỳ từ hay dòng nào khi buổi vẫn đang diễn ra, với mọi chỉnh sửa đều được đánh dấu và có thể hoàn tác.
Về phía từ ngữ, tỷ lệ lỗi từ đo lường điều gì và bỏ sót điều gì trình bày chi tiết các lớp sửa lỗi. WER đối với bộ nhận dạng cũng giống như DER đối với bộ phân tách, và một bản phiên âm cần cả hai chỉ số đều thấp.