WER menilai nama yang salah, angka yang salah, dan kata
Word error rate adalah tolok ukur standar untuk pengenalan ucapan. Ambil transkrip acuan yang sudah diperiksa seseorang, sejajarkan keluaran mesin dengannya kata demi kata, lalu hitung tiga jenis kesalahan: substitusi (kata yang salah), penyisipan (kata yang tidak pernah diucapkan) dan penghapusan (kata yang hilang). Jumlahkan, lalu bagi dengan jumlah kata dalam acuan.
WER = (substitusi + penyisipan + penghapusan) / jumlah kata dalam acuan
Penyejajaran tidak dilakukan dengan mata. Kedua transkrip disejajarkan dengan jarak edit minimum (jarak Levenshtein, diterapkan pada kata, bukan huruf): dari semua cara memasangkan keluaran dengan acuan, penilai memilih yang editnya paling sedikit lalu menghitungnya. Karena penyisipan dihitung dan penyebutnya adalah panjang acuan, WER bisa melebihi 100 persen: model yang mengisi satu menit hening dengan teks mendapat skor lebih buruk daripada model yang tidak menulis apa pun.
Misalkan acuannya "we will meet Dr Okafor at nine on Thursday", sembilan kata, dan mesin menulis "we will meet the doctor at nine on Tuesday". Itu tiga substitusi (Dr, Okafor, Thursday) dari sembilan kata: WER 33 persen. Dua pertiga kata benar, tetapi Anda tetap datang ke rapat yang salah di hari yang salah. Jika hanya "Thursday" yang salah, skornya 11 persen. Versi dengan setiap kata benar tetapi ditambah "um" yang tidak pernah diucapkan juga mendapat 11 persen, karena penyisipan dihitung sama dengan substitusi.
Sebelum dihitung, kedua teks biasanya dinormalisasi, dan pilihan di tahap ini menggeser skor sama besarnya dengan model. Apakah "Dr" sama dengan "Doctor"? Apakah "nine" sama dengan "9"? Apakah huruf besar-kecil dan tanda baca dihitung? Penilaian ketat akan menandai "Dr" melawan "Doctor" sebagai substitusi. Sebagian besar skor yang dipublikasikan mengubah semua huruf menjadi kecil, menghapus tanda baca, dan menulis setiap angka dengan satu cara, sebagai kata atau sebagai digit, sebelum membandingkan. Angka sebuah vendor karena itu diam-diam bergantung pada normalisator yang tidak bisa Anda lihat. Bahasa yang ditulis tanpa spasi antarkata, seperti Tionghoa, Jepang, dan Thai, tidak punya batas kata yang jelas untuk dihitung, sehingga dinilai dengan character error rate (CER) sebagai gantinya: rumus yang sama, diterapkan pada karakter.
Dua hal menyusul. Pertama, WER 5 persen berarti satu kata dari dua puluh, yang menjadi beberapa ratus kata dalam ceramah satu jam. Sebagai gambaran, transkriptor manusia sering disebut sekitar 4 sampai 5 persen pada ucapan percakapan, dan hasil terkenal tahun 2017 pada korpus telepon Switchboard menempatkan mesin di sekitar 5.1 persen, meski kedua angka itu bergantung pada audio dan aturan penilaian. Kedua, angkanya sepenuhnya bergantung pada audio uji: ucapan bacaan yang bersih memberi satu angka, dan panel berisik dengan aksen serta tumpang tindih suara memberi angka yang sangat berbeda. WER utama menggambarkan set uji vendor sama banyaknya dengan menggambarkan sistem vendor.
Itulah hitungannya. Yang terlewat adalah biaya setiap kesalahan bagi orang yang membaca.
WER memperlakukan setiap kata sama. Pembaca tidak.
Masing-masing hal ini hanya satu atau dua kesalahan di kolom WER. Di kolom pembaca, dampaknya berkisar dari tidak ada sama sekali hingga rapat yang berbeda di hari yang berbeda. Jadi pertanyaannya bukan hanya "berapa tingkat kesalahannya", tetapi "kesalahan jenis apa, dan apa yang menangkapnya".
Beberapa lapisan menangkap apa yang keliru dikenali mesin, dan setiap perubahan dicatat sehingga bisa diperiksa dan dibatalkan. Pada transkripsi langsung, ini terjadi saat teks masih mengalir: setiap baris muncul pertama sebagai draf yang mungkin masih berubah, lalu menjadi final (Latensi terjemahan langsung, dijelaskan menjelaskan alasannya).
Sebagian kesalahan cocok dengan bunyi tetapi tidak dengan kalimat: "their" padahal kalimat membutuhkan "there". Ini bisa ditangkap dari konteks, dan koreksi sampai ke pembaca sebagai pembaruan yang terlihat (transcript.amended di API), bukan penulisan ulang diam-diam. Konteks baik untuk kata yang bisa diprediksi kalimat. Ia tidak berdaya untuk kata yang tidak bisa diprediksi.
Nama dan istilah teknis adalah kesalahan yang tidak bisa diperbaiki konteks, karena sebuah nama sering muncul hanya sekali, tanpa apa pun di sekitarnya untuk memprediksinya. Naskah referensi menyelesaikan ini: berikan sistem ucapan, slide, atau daftar nama dan istilah sebelum Anda mulai, dan katanya mendapat prioritas atas apa yang salah didengar mesin. Selama rekaman, naskah mengikuti transkrip seperti prompter, sehingga pembawa acara bisa melihat sejauh mana mesin sudah berjalan. Naskah menutupi kata yang bisa Anda prediksi; audio berisik dan aksen menghasilkan kata yang tidak bisa Anda prediksi.
Sebagian kesalahan hanya bisa dilihat oleh orang di ruangan. Koreksi manual memungkinkan pembawa acara menulis ulang kata atau baris mana pun selagi transkripsi masih langsung, dan setiap pendengar di siaran melihat perubahannya. Sistem mengarahkan pembawa acara ke kandidat yang mungkin: kata yang diragukan mesin dapat diberi warna dan garis bawah, dan pembawa acara bisa menelusuri segmen yang tidak pasti satu per satu alih-alih membaca ulang seluruh transkrip. Lewat API, GET /v1/recordings/{id}/corrections mencantumkan koreksi sebuah rekaman dan POST /v1/corrections/{id}/revert membatalkan satu koreksi; lihat referensi API. Namun bahkan orang di ruangan tidak bisa mengoreksi baris yang tidak seorang pun bisa dengar.
Lapisan terakhir menerima bahwa sebagian audio tidak bisa dipulihkan. Ketika sebuah baris mendapat skor di bawah ambang kepercayaan transkripsi (confidence.hideBelow, 0.60 secara default), pendengar melihat "Audio tidak jelas" sebagai gantinya, bukan tebakan, dan baris itu tidak pernah dibacakan. Pembaca kehilangan satu baris; mereka tidak mendapatkan baris yang dikarang.
Pertanyaan yang membentuk lapisan-lapisan ini juga berlaku untuk klaim akurasi vendor mana pun, termasuk milik kami.
Daftar singkat untuk membaca klaim akurasi apa pun:
VocalStack tidak mempublikasikan angka WER internal, karena alasan pertama di atas: angka itu hanya menggambarkan set uji kami, bukan audio Anda. Kami mengukur akurasi secara terus-menerus. Saat kami membandingkan sistem lain, kami memakai tolok ukur independen yang dipublikasikan dan angka yang dipublikasikan vendor, tidak pernah uji privat. Sisanya biarlah audio Anda sendiri yang memutuskan.
