WER memberi markah yang sama kepada nama yang salah, nombor yang salah dan perkataan "tidak" yang hilang seperti kepada "the" yang tertinggal. Nilai sistem transkripsi berdasarkan jenis ralat yang dapat ditangkapnya dan sama ada anda boleh melihat pembetulannya, bukan berdasarkan angka utamanya.
Kadar ralat perkataan (WER) ialah ukuran piawai bagi pengecaman pertuturan. Ambil transkrip rujukan yang telah disemak oleh seseorang, jajarkan keluaran mesin dengan transkrip itu perkataan demi perkataan, dan kira tiga jenis kesilapan: penggantian (perkataan yang salah), sisipan (perkataan yang tidak pernah disebut) dan pemadaman (perkataan yang hilang). Jumlahkan ketiga-tiganya dan bahagikan dengan bilangan perkataan dalam rujukan.
WER = (penggantian + sisipan + pemadaman) / bilangan perkataan dalam rujukan
Penjajaran ini tidak dilakukan dengan mata. Kedua-dua transkrip dijajarkan mengikut jarak sunting minimum (jarak Levenshtein, dikenakan pada perkataan dan bukan huruf): daripada semua cara untuk memadankan keluaran dengan rujukan, pengira memilih cara dengan sunting paling sedikit dan mengira sunting tersebut. Oleh kerana sisipan dikira dan penyebutnya ialah panjang rujukan, WER boleh melebihi 100 peratus: model yang mengisi seminit senyap dengan teks mendapat skor yang lebih teruk daripada model yang tidak menulis apa-apa.
Anggap rujukannya ialah "kita akan jumpa Dr Okafor pukul sembilan hari Khamis", sembilan perkataan, dan mesin menulis "kita akan jumpa doktor itu pukul sembilan hari Selasa". Itu tiga penggantian (Dr, Okafor, Khamis) daripada sembilan perkataan: WER 33 peratus. Dua pertiga perkataan betul, tetapi anda masih pergi ke mesyuarat yang salah pada hari yang salah. Jika hanya "Khamis" yang salah, skornya ialah 11 peratus. Versi yang setiap perkataannya betul tetapi menambah "um" yang tidak pernah disebut juga mendapat 11 peratus, kerana sisipan dikira sama seperti penggantian.
Sebelum kiraan dibuat, kedua-dua teks biasanya dinormalkan, dan pilihan yang dibuat di peringkat ini menggerakkan skor sama banyak seperti model itu sendiri. Adakah "Dr" sama dengan "Doctor"? Adakah "sembilan" sama dengan "9"? Adakah huruf besar-kecil dan tanda baca dikira? Pemarkahan yang ketat akan menandakan "Dr" berbanding "Doctor" sebagai penggantian. Kebanyakan skor yang diterbitkan menukar semua huruf kepada huruf kecil, membuang tanda baca dan menulis setiap nombor dengan satu cara, sama ada sebagai perkataan atau sebagai digit, sebelum membandingkan. Oleh itu, angka sesebuah vendor secara senyap bergantung pada penormal yang tidak dapat anda lihat. Bahasa yang ditulis tanpa ruang antara perkataan, seperti Cina, Jepun dan Thai, tidak mempunyai sempadan perkataan yang jelas untuk dikira, jadi ia dinilai menggunakan kadar ralat aksara (CER): formula yang sama, tetapi dikenakan pada aksara.
Dua perkara menyusul. Pertama, WER 5 peratus bermakna satu perkataan daripada dua puluh, iaitu beberapa ratus perkataan dalam ucapan sejam. Sebagai perbandingan, transkriber manusia sering disebut berada pada sekitar 4 hingga 5 peratus bagi pertuturan perbualan, dan keputusan tahun 2017 yang kerap dipetik pada korpus telefon Switchboard meletakkan mesin pada kira-kira 5.1 peratus, walaupun kedua-dua angka ini bergantung pada audio dan peraturan pemarkahan. Kedua, angka itu sepenuhnya bergantung pada audio ujian: pertuturan bacaan yang bersih memberi satu angka, dan panel bising dengan loghat dan pertindihan suara memberi angka yang sangat berbeza. WER utama menggambarkan set ujian vendor sama banyak dengan menggambarkan sistem vendor itu.
Itu kiraannya. Apa yang tidak diambil kira ialah kos setiap ralat kepada pembaca.
WER memperlakukan setiap perkataan sama rata. Pembaca tidak:
Setiap satu daripada ini ialah satu atau dua ralat dalam lajur WER. Dalam lajur pembaca, ia berjulat daripada tiada apa-apa hinggalah kepada mesyuarat yang berbeza pada hari yang berbeza. Maka persoalannya bukan hanya "berapa kadar ralatnya" tetapi "apakah jenis ralatnya, dan apa yang menangkapnya".
Beberapa lapisan menangkap apa yang tersilap dikenal pasti oleh pengecaman, dan setiap perubahan direkodkan supaya ia boleh diperiksa dan dibatalkan. Dalam transkripsi langsung, perkara ini berlaku semasa teks masih mengalir: setiap baris muncul dahulu sebagai draf yang mungkin masih berubah dan kemudian menjadi muktamad (Kelewatan terjemahan langsung, dijelaskan menerangkan sebabnya).
Sesetengah kesilapan sepadan dengan bunyi tetapi tidak dengan ayat: "their" di tempat ayat memerlukan "there". Ini boleh ditangkap daripada konteks, dan pembetulan sampai kepada pembaca sebagai kemas kini yang kelihatan (transcript.amended dalam API), bukan penulisan semula yang senyap. Konteks berguna untuk perkataan yang boleh diramal oleh ayat. Ia tidak berdaya terhadap perkataan yang tidak boleh diramalnya.
Nama dan istilah teknikal ialah ralat yang tidak dapat diperbetulkan oleh konteks, kerana nama sering hanya muncul sekali, tanpa apa-apa di sekelilingnya untuk meramalkannya. Skrip rujukan menyelesaikan perkara ini: berikan kepada sistem ucapan, slaid atau senarai nama dan istilah sebelum anda bermula, dan perkataannya mengambil keutamaan berbanding apa yang salah didengar oleh enjin. Semasa rakaman, skrip mengikuti transkrip seperti teleprompter, supaya hos dapat melihat sejauh mana enjin telah sampai. Skrip meliputi perkataan yang boleh anda ramal; audio bising dan loghat menghasilkan yang tidak boleh anda ramal.
Sesetengah ralat hanya boleh dilihat oleh orang yang berada di dalam bilik. Pembetulan manual membenarkan hos menulis semula mana-mana perkataan atau baris semasa transkripsi masih langsung, dan setiap pendengar pada siaran melihat perubahan itu. Sistem menunjukkan kepada hos calon yang mungkin: perkataan yang enjin tidak pasti boleh diwarnakan dan digariskan, dan hos boleh melangkah melalui segmen yang tidak pasti satu demi satu, bukan membaca semula keseluruhan transkrip. Melalui API, GET /v1/recordings/{id}/corrections menyenaraikan pembetulan sesuatu rakaman dan POST /v1/corrections/{id}/revert membatalkan satu pembetulan; lihat Rujukan API. Namun, walaupun orang di dalam bilik tidak boleh membetulkan baris yang tiada siapa dapat dengar.
Lapisan terakhir menerima bahawa sesetengah audio tidak dapat dipulihkan. Apabila baris mendapat skor di bawah ambang keyakinan transkripsi (confidence.hideBelow, 0.60 secara lalai), pendengar melihat "Audio unclear" menggantikannya dan bukannya tekaan, dan baris itu tidak sekali-kali dibacakan dengan kuat. Pembaca kehilangan satu baris; mereka tidak memperoleh satu baris yang direka.
Soalan yang membentuk lapisan-lapisan ini juga berguna untuk menilai mana-mana dakwaan ketepatan vendor, termasuk milik kami.
Senarai semak ringkas untuk membaca mana-mana dakwaan ketepatan:
VocalStack tidak menerbitkan angka WER dalaman, atas sebab pertama di atas: ia akan menggambarkan set ujian kami, bukan audio anda. Kami mengukur ketepatan secara berterusan. Apabila kami membandingkan sistem lain, kami menggunakan penanda aras bebas yang diterbitkan dan angka yang diterbitkan vendor, tidak sekali-kali ujian persendirian. Selebihnya diserahkan kepada audio anda untuk menentukannya.
