Akurasi terjemahan langsung sebagian besar ditentukan sebelum model mana pun berjalan, yaitu dari letak mikrofon. Ambil audio dari meja mixer, bukan dari kursi di baris dua belas, transkripsikan sekali, dan satu kesalahan menjadi satu baris yang bisa diperbaiki untuk semua orang.
Aplikasi terjemahan yang sudah ada di ponsel adalah pencapaian yang nyata. Aplikasi itu sering menjalankan model pengenalan ucapan yang cukup kecil untuk muat di perangkat dan baterainya (sebagian menyerahkan audio ke server saat ada koneksi). Untuk kalimat yang pendek, jelas, dan sehari-hari, aplikasi itu bekerja dengan baik: menanyakan arah, membaca menu, atau percakapan di balik konter.
Ruangan penuh orang yang mendengarkan satu pembicara adalah masalah yang berbeda. Hal-hal yang salah dalam ucapan nyata justru hal-hal yang paling sulit ditangani model kecil: kata dan nama yang jarang muncul, kata yang terdengar mirip ("their" dan "there", "sail" dan "sale"), istilah teknis, aksen, orang yang berbicara bersamaan, dan kebisingan latar. Di klub layar, model yang mendengar "sale" sudah membuat tebakan yang masuk akal, tetapi tebakan yang keliru dengan yakin.
Ada dua hal yang membuat model kecil lebih sering menebak dibanding model besar. Pertama, model itu sudah dipadatkan agar muat di ponsel, sehingga ia mengenal lebih sedikit kata dan lebih sedikit cara mengucapkannya; nama keluarga yang belum pernah ia temui hanya didekati dari bunyinya. Kedua, pengenalan langsung harus memutuskan sebuah kata sebelum sisa kalimat datang, sehingga model tidak bisa memakai apa yang bisa memastikan "sail" atau "sale": kata-kata yang muncul sesudahnya, atau naskah yang memberi tahu topik pembicaraan. Dalam pengenalan ucapan, konteks berarti tepat dua hal itu: kata-kata di sekitarnya, dan apa yang sudah diketahui sebelumnya.
Ketika model tidak yakin, ia menebak. Terjemahan kemudian dibangun di atas tebakan itu, dan orang yang membacanya tidak punya cara untuk tahu. Tak seorang pun di ruangan bisa melihat bahwa satu baris salah, apalagi memperbaikinya. Dan ruangan itu bukan satu pendengar, melainkan lima puluh.
Ponsel mendengarkan ruangan, bukan pembicaranya. Jaraklah penyebabnya: mikrofon jepit atau mikrofon meja berjarak beberapa sentimeter dari mulut, sedangkan ponsel di baris dua belas berjarak sepuluh meter atau lebih, dan sebagian besar suara yang sampai ke sana sudah memantul dari dinding, langit-langit, dan sandaran kursi lebih dulu. Pantulan suara datang terlambat dan kabur. Selain itu ponsel menangkap orang yang batuk dua baris di belakang, gumaman tetangga, dan apa pun yang dilakukan pengeras suara pada suara itu sepanjang perjalanannya ke seluruh aula. Setiap kursi mendapat rekaman yang sedikit berbeda, sehingga setiap kursi mendapat transkrip yang sedikit berbeda pula.
Ponsel juga hanya menerjemahkan untuk satu orang. Lima puluh peserta yang mengangkat lima puluh ponsel menghasilkan lima puluh transkrip independen dari ceramah yang sama, dengan lima puluh kumpulan kesalahan yang berbeda. Dua orang yang membandingkan catatan setelahnya tidak akan sepakat tentang apa yang dikatakan. Sementara itu, pembicara berbicara kepada dinding ponsel yang terangkat, dan itu audiens yang sulit dibaca.
Bagi sebagian orang di ruangan, ini lebih dari sekadar tidak nyaman; ini menentukan apakah mereka bisa mengikuti pembicaraan sama sekali. Peserta yang mengalami gangguan pendengaran, atau seseorang yang mengikuti dalam bahasa ketiga, memerlukan satu teks bersama yang benar, bukan lima puluh usaha terbaik. Artinya pembicara ditranskripsikan sekali dan semua orang mendapat hasil yang sama. Transkripsi sekali hanya berguna jika dikerjakan dengan baik, dan itu dimulai dari asal audionya.
Transkrip hanya sebaik audio yang dibuat darinya. Maka keputusan pertama bukanlah model mana yang dipakai, melainkan sinyal mana yang diumpankan. Keputusan kedua adalah apa yang diberitahukan kepada model sebelum ia mulai.
Transkripsi langsung mengambil audionya dari tempat sinyal yang bersih sudah tersedia:
VocalStack mengambil stream dari URL sendiri, jadi tidak ada yang perlu dijalankan di sisi Anda. Umpan RTMP bekerja sebaliknya: encoder Anda yang mengirimkannya. Bahasa pembicara dideteksi secara otomatis, dan pembicara boleh berganti bahasa kapan saja. Jika Anda tahu bahasanya dan rekamannya bising atau aksennya kental, menyebutkan bahasanya akan meningkatkan akurasi.
Audio yang bersih menghilangkan kesalahan yang disebabkan ruangan. Audio itu tidak berbuat apa-apa untuk kesalahan yang disebabkan kosakata, dan kesalahan jenis itu butuh bantuan yang berbeda.
Ponsel tidak tahu siapa yang berbicara atau apa topik ceramahnya, jadi nama produk atau nama keluarga hanyalah bunyi lain yang didekati. Siaran bisa diberi tahu di muka apa yang akan muncul.
Jika Anda menambahkan naskah atau slide sebelum mulai, nama dan istilah di dalamnya mengalahkan apa yang salah didengar mesin. Selama rekaman, tab Script mengikuti pembicara seperti teleprompter. Ini kenaikan akurasi terbesar untuk jenis ucapan yang mengisi konferensi dan kuliah: padat dengan nama diri dan kosakata yang belum cukup sering didengar model serba guna.
Audio yang baik dan glosarium menghilangkan sebagian besar kesalahan. Pertanyaannya adalah apa yang terjadi pada kesalahan yang tersisa.
Bahkan dengan audio yang baik dan naskah, beberapa baris tetap akan keluar salah. Yang membedakan adalah apa yang terjadi berikutnya.
Di ponsel, tidak terjadi apa-apa. Baris yang salah berlalu, dan terjemahan yang dibangun di atasnya ikut berlalu.
Dalam siaran, baris yang terlalu tidak jelas untuk ditampilkan disembunyikan dari pendengar sebagai "Audio unclear", bukan disajikan seolah-olah fakta.
Lalu ada host, yang memiliki tab Fix: kata-kata yang tidak yakin dikenali mesin bisa diberi warna dan garis bawah, satu klik membuka baris untuk ditinjau, dan kata atau baris apa pun bisa ditulis ulang selagi transkripsi masih langsung. Setiap pendengar melihat koreksi dalam bahasanya sendiri. Setiap perbaikan ditandai dan bisa dibatalkan.
Intinya bukan bahwa server tidak pernah salah. Intinya adalah kesalahan itu terlihat, dimiliki oleh seseorang di ruangan, dan diperbaiki sekali untuk semua orang.
Koreksi memperbaiki apa yang dibaca pendengar. Pendengar yang lebih suka mendengarkan ceramah mendapat teks terkoreksi yang sama, diucapkan.
Pendengar yang lebih suka mendengarkan daripada membaca bisa meminta setiap baris terjemahan dibacakan keras-keras. Secara bawaan setiap pembicara mendapat suara bawaan yang berbeda dengan jenis kelamin yang sesuai, sehingga sebuah panel tetap terdengar seperti panel. Anda bisa menetapkan suara untuk setiap pembicara, atau membisukan salah satunya.
Dengan izin pembicara, Anda bisa melangkah lebih jauh dan mengkloning suaranya dari tiga puluh detik ucapannya, baik diunggah sebagai klip maupun diambil langsung dari pembicara dalam sebuah rekaman; beberapa menit akan memberi hasil yang lebih baik. Terjemahan kemudian dibacakan dengan suara pembicara sendiri dalam setiap bahasa. Pembicara yang sudah punya suara tersimpan juga bisa dikenali di rekaman berikutnya, meski sistem lebih memilih membiarkan pembicara tanpa nama daripada menamai orang yang salah.
Dua aturan berlaku, dan keduanya disengaja. Suara kloning adalah data biometrik: ia hanya dibuat dengan persetujuan eksplisit pembicaranya dan bisa dihapus kapan saja. Dan suara hanya pernah membacakan transkrip atau terjemahannya; suara tidak bisa dibuat mengatakan sesuatu yang tidak pernah diucapkan pemiliknya.
Semua yang sejauh ini terjadi berlangsung selama pembicara sedang berbicara. Perbedaan terakhir muncul setelah ia berhenti.
Lima puluh transkrip ponsel lenyap begitu aplikasinya ditutup. Siaran menyimpan rekamannya di pustaka Anda: audionya, dan transkripnya dengan setiap koreksi dan terjemahan. Di sana rekaman bisa diputar ulang baris demi baris, dicari dalam bahasa apa pun, dan diekspor; panduan Satu tautan, setiap bahasa menjelaskan apa yang bisa dilakukan pustaka itu. Pendengar tidak dikenai biaya, berapa pun jumlahnya. Anda membayar untuk audio yang ditranskripsikan, $0.60 per jam untuk live, dengan minimum 5 menit per transkripsi, dan halaman harga memuat daftar tarifnya.
Ponsel di setiap tangan tetap menjadi cadangan yang baik untuk percakapan di koridor. Untuk ruangan yang harus memahami satu pembicara bersama-sama, pembicara sebaiknya ditranskripsikan sekali, dari sumbernya, dengan seseorang yang bisa memperbaiki apa pun yang keliru. Anda bisa melihat seperti apa itu di demo interaktif di halaman beranda.
