Etiketli bir transkriptin iki yanıtın da doğru olması gerekir; etiketler kelimelerin üzerinde durduğu için yanlış bir etiket, metne dokunmadan düzeltilebilir.
Bir toplantının transkripti aynı anda iki soruyu yanıtlar: ne söylendi ve bunu kim söyledi. Okuyucu tek bir iş görür: bir satırın yanında bir ad. Altta ise her biri kendi girdilerine ve kendi başarısızlık biçimlerine sahip iki sorun vardır.
Konuşma tanıma kelimeleri dinler. Sesi metne çevirir ve iyi yapıldığında her kelime için bir başlangıç ve bitiş zamanı verir. Sesin cümlenin ortasında değişip değişmediği onu ilgilendirmez; işi cümleyi doğru yazmaktır.
Konuşmacı ayrıştırma (diarization) sesleri dinler. Hiçbir kelimeyi bilmez. Görevi zaman çizelgesini konuşma turlarına bölmek ve hangi turların aynı kişiye ait olduğunu söylemektir: Konuşmacı 1, Konuşmacı 2. Terim "diary" (günlük) sözcüğünden ödünç alınmıştır ve çıktının iyi bir benzetmesidir: kimin sözü ne zaman aldığını gösteren bir kayıt defteri.
Buna karışan üç yakın terim var. Diarization, kimseyi tanımadan kimin ne zaman konuştuğunu söyler. Konuşmacı belirleme (speaker identification), kayıtlı bir ses kümesinden seçim yaparak bir konuşma parçasının hangi bilinen kişiye ait olduğunu söyler. Konuşmacı doğrulama (speaker verification) evet-hayır sorusuna yanıt verir: bu ses gerçekten X kişisine mi ait? Satıcıların iddiaları bu üçünü birbirinden ayırdığınızda daha kolay okunur, çünkü "konuşmacı etiketleri" tur sınırlarına dair kaba bir tahminden, bir kişiyi bir kayıttan diğerine takip eden adlara kadar her şey anlamına gelebilir. Bu etiketlerin neyi vaat edebildiğini ve neyi edemediğini görmek için ayrıştırıcının içine bakmak gerekir.
Çoğu konuşmacı ayrıştırma sistemi üç adımda çalışır ve bunların hiçbiri dile dayanmaz.
Her adım kendi başına yanlış gidebilir. Sessiz bir konuşmacı kaçırılır. İki benzer ses birleştirilir. Sakin halden coşkuluya geçen tek bir kişi ikiye bölünür.
Alan tüm bunları konuşmacı ayrıştırma hata oranıyla (DER) ölçer: konuşma süresinin kaçırılan, yanlışlıkla konuşma olarak algılanan ya da yanlış konuşmacıya atfedilen payı; genellikle her sınırın etrafında yaklaşık çeyrek saniyelik bir affetme payıyla (forgiveness collar). Bu pay, hiçbir insanın ya da makinenin konuşmacı değişikliğini milisaniyesine kadar yerleştiremeyeceği için vardır. Bu tolerans, ayrıştırıcıyı tek başına puanlamak için yeterlidir. Bir transkript için ise yeterli değildir; orada çeyrek saniye kayan bir sınır bir kelimenin üzerine denk gelir.
İki sorun burada buluşur ve etiketli bir transkriptin kalitesi de burada belirlenir. Bir ayrıştırıcı sınırlarını bir miktar kesinliksizlikle yerleştirir; çoğu zaman her iki yönde de bir saniyenin bir kısmı kadar. Tanıyıcı ise kelimeleri aynı zaman çizelgesine yerleştirir. İkisini ham haliyle üst üste koyarsanız bir sınır bir kelimenin ortasına düşer ve "yarın" kelimesinin yarısı Konuşmacı 1'e, diğer yarısı Konuşmacı 2'ye ait olur.
Etiketler doğru olmadan önce bir süre yanlış da olabilir. Ayrıştırıcı, ne kadar çok ses duyarsa gruplarından o kadar emin olur; bu yüzden erken bir etiket, sonradan gelenlerin ölçütlerine göre yanlış görünebilir. Canlı bir transkriptte, bir satır gösterildikten sonra etiket revize edilebilir: VocalStack'in gerçek zamanlı API'si, kesinleşmiş bir satırın metnini ya da konuşmacısını yerinde düzelten bir transcript.amended çerçevesi gönderir; böylece okuyucu bir çelişki değil, bir revizyon görür.
Kusursuz yerleştirilmiş, kararlı bir etiket bile yine de sadece bir sayıdır. Bir sayı bir konuşmayı takip etmek için yeterlidir; insanların okumak istediği ise bir addır.
Bir etiket iki yolla ada dönüşür ve bu yollar birbirinin üzerine inşa edilir.
Birincisi, kayıt içinde adlandırmadır. Transkripsiyonun bulduğu her konuşmacı 0'dan başlayarak sayılan bir dizin alır. Erişimi olan herkes, kayıt sırasında ya da sonrasında her konuşmacıyı adlandırabilir. Ad, kelimelerin üzerinde bir katmandır; bu yüzden metne dokunmadan ayarlanabilir, değiştirilebilir ya da silinebilir. API üzerinden bu, bir name ile PUT /v1/recordings/{id}/speakers/{idx} çağrısıdır; boş bir ad adı temizler. speaker değeri -1 olan bir satırın etiketi yoktur; bunun nedeni ya etiketlerin kapalı olması ya da canlı bir taslakta satırın henüz atfedilmemiş olmasıdır.
İkincisi, kayıtlar arasında tanımadır; ilk bölümdeki belirleme sorunudur. Bir ayrıştırıcı yalnızca iki sesin farklı olduğunu söyleyebilir, kim olduklarını asla söyleyemez. "Farklı"dan "bu Ana"ya geçmek için sisteme bir referans gerekir: o tek kişinin bir kaydından alınmış, kaydedilmiş bir ses. En az otuz saniye temiz konuşma gerekir; birkaç dakika daha iyidir. Örnek, eşleştirileceği kayıtlara da benzemelidir: aynı kişi bir dizüstü bilgisayar mikrofonunda ve bir sahne mikrofonunda konuşuyorsa, aynı biçimde kaydedilmiş iki yabancıdan makineye göre daha az benzeyebilir. Bir ses kaydedildikten sonra, bir transkripsiyonun duyduğu her konuşmacı buna karşı karşılaştırılır ve bir eşleşme adı transkripte taşır. VocalStack'te bu, Voices altında yaşar; dosya transkripsiyonları ve Panel canlı oturumları kayıtlı seslerinizi otomatik olarak eşleştirir, gerçek zamanlı API oturumu ise yalnızca identifyVoices içinde listelediğiniz sesleri tanır.
Kayıtlı bir ses biyometrik veridir: herhangi bir kayıtta bir kişiyi tanıyabilir ve VocalStack'te aynı zamanda o kişinin satırlarını sesli okuyabilen bir klon olarak da işlev görür. Panel, bir sesi kaydetmeden önce kişinin iznine sahip olduğunuzu onaylamanızı ister ve bir ses istediğiniz zaman silinebilir.
Tüm bunlar, etiket istediğinizi varsayar. Çoğu zaman istemezsiniz.
Bir dersi okuyan tek bir kişinin her satırın önünde "Konuşmacı 1" görmesine gerek yoktur. Dinleyici, mikrofonun kimde olduğunu zaten bilir. Bu nedenle konuşmacı etiketleri ayarının üç konumu vardır ve bunlar gerçek zamanlı oturumda, yayında, transkripsiyonda ve kayıtta aynıdır.
auto). Birden fazla ses duyulduğunda satırlar konuşmacılarıyla etiketlenir; tek konuşmacılı bir kayıt düz metin olarak kalır, ama geç katılan ikinci bir ses yine de yakalanır. Panelin yeni canlı transkripsiyon formu bu konumla başlar.Bir dosya yüklemesi aynı speakerLabels seçeneğini alır ve gerçek zamanlı API, akış sırasında bunu değiştirmenize izin verir; ayrıntılar API referansında bulunur. Konuşmacı ayırma ve adlandırma faturaya hiçbir zaman eklenmez (fiyatlandırma sayfasında fiyat çizelgesi yer alır); bu yüzden seçim, ne kadar ödeyeceğinizle değil, okuyucunun neyi görmesi gerektiğiyle ilgilidir.
Açıkken konuşmacı ayrıştırma iyidir ama sihirli değildir. İki durum hâlâ onu geride bırakır.
Birincisi örtüşmedir. İki kişi aynı anda konuştuğunda, ses akışının bir bölümü iki sesi taşır. Örtüşmeyi göz önünde bulunduran ayrıştırıcılar araştırmalarda ve giderek ürünlerde mevcuttur: örneğin uçtan uca sinir ayrıştırması (EEND), "kim konuşuyor" sorusunu tek bir yanıt yerine eşzamanlı evet-hayır soruları kümesi olarak ele alır. Yine de çoğu üretim sistemi her ses parçasına tek bir konuşmacı atar ve üstteki tanıyıcı her seferinde tek bir sesi yazıya döker. Hararetli bir panelde üst üste konuşmalar, alandaki en zor ses kaydıdır ve her satıcının etiketleri orada kötüleşir. Bu aynı zamanda, sonradan herkesin alıntılamak istediği kısımdır.
İkincisi, çok benzer seslerdir. Kardeşler, bir saat boyunca kısa konuşma sıraları paylaşıyorlarsa, birbirinden güvenilir biçimde ayrılamayacak kadar yakın gömmeler üretebilir. Telefon sesi herkes için bunu daha da kötüleştirir: dar bant bir hat 8 kHz'de örneklenir ve yaklaşık 3,4 kHz'in üzerinde hiçbir şey taşımaz; oysa bir sesi diğerinden ayıran şeylerin çoğu bu sınırın üzerindedir. Aynı telefon hattındaki iki kişi, bir ayrıştırıcıya sizin duyduğunuzdan daha çok benziyor gibi gelir.
İkisi için de en pratik çare, herhangi bir modelin öncesindedir: her kişiye kendi mikrofonunu verin. Konuşmacı başına bir kanal olduğunda konuşmacı ayrıştırma "hangi kanal yüksek?" sorusuna indirgenir; örtüşme, tek ve bulanık bir kayıt yerine iki temiz parça olur ve gömmelerden zor kısmı yapmaları hiç istenmez. Tek bir masa mikrofonu daha ucuzdur ve neredeyse her zaman elinizde olandır; bu yüzden bu makalenin geri kalanı var.
Bu sınırların hiçbiri okuyucuya değişmeden ulaşmak zorunda değildir. Etiketler kelimelerin üzerinde bir katman olduğu için yanlış bir etiket hiçbir zaman metninize mal olmaz: konuşmacı adları bir kayıtta istediğiniz anda ayarlanabilir ya da temizlenebilir; canlı bir transkripsiyonda ise oturum sahibi çalışırken herhangi bir kelimeyi ya da satırı yeniden yazabilir ve her düzeltme işaretlenir ve geri alınabilir.
Kelime tarafı için, kelime hata oranının neyi ölçtüğü ve neyi kaçırdığı düzeltme katmanlarını ayrıntılı olarak anlatır; WER, tanıyıcı için DER'in ayrıştırıcı için yaptığı şeydir ve bir transkriptin ikisinin de düşük olması gerekir.