ライブ翻訳の精度は、モデルが動く前にほぼ決まります。その決め手はマイクの位置です。音声は12列目の座席からではなく、ミキシングデスクから取ります。一度だけ文字起こしすれば、誤りは一行の修正として、誰かが全員のために直せます。
スマートフォンに内蔵された翻訳アプリは、確かに大きな成果です。多くは端末にも電池にも収まる小さな音声認識モデルで動いており（接続があればサーバーに音声を送るものもあります）、道を尋ねる、メニューを読む、カウンター越しに会話するといった、短くて明瞭な日常の文であれば十分に役目を果たします。
一人の話者の話を大勢が聞く部屋は、まったく別の問題です。実際の話し言葉で起きる問題は、小さなモデルが最も苦手とするものそのものです。珍しい単語や人名、「their」と「there」、「sail」と「sale」のように音が似た語、専門用語、なまり、話者同士の重なり、背景雑音などです。セーリングクラブで「sale」と聞き取ったモデルは、もっともらしい推測をしたつもりで、自信を持って間違えているのです。
小さなモデルが大きなモデルより多く推測してしまう理由は二つあります。一つは、スマートフォンに収まるよう圧縮されているため、知っている単語も言い回しも少ないことです。出会ったことのない姓は、音の響きだけから近い綴りを当てるしかありません。もう一つは、リアルタイム認識では文の残りが届く前に単語を確定させなければならないことです。そのためモデルは、「sail」と「sale」を見分けられたはずの手がかりを使えません。その手がかりとは、後に続く単語と、話が何についてなのかを示す台本です。音声認識でいう文脈とは、まさにこの二つ、つまり前後の単語と、事前にわかっていることを指します。
モデルは自信がないとき、推測します。翻訳はその推測の上に組み立てられ、読む人にはそれを知る手段がありません。部屋にいる誰にも、どの行が間違っていたのかは見えず、ましてそれを直すこともできません。しかも部屋にいるのは一人の聞き手ではなく、五十人です。
スマートフォンが聞いているのは話者の声ではなく、部屋の音です。理由は距離にあります。ラベルマイクや卓上マイクは口から数センチのところにありますが、十二列目にあるスマートフォンは十メートル以上離れており、そこに届く音の大半は、まず壁や天井、椅子の背に反射してきたものです。反射音は遅れて届き、音がにじみます。さらにスマートフォンは、二列後ろで咳をする人、隣の人のささやき、会場のスピーカーが声をどう変えて会場の端まで運ぶかといった音も拾います。座席ごとに録音は少しずつ違うので、文字起こしも座席ごとに少しずつ違います。
また、スマートフォンの翻訳は一人のためのものです。五十人が五十台のスマートフォンを掲げれば、同じ講演から五十通りの文字起こしができ、誤りもそれぞれ別々です。後で書き留めた内容を比べても、二人の意見は一致しないでしょう。一方、話者は掲げられたスマートフォンの壁に向かって話すことになり、それは非常に読みにくい聴衆です。
会場の一部の人にとって、これは不便にとどまらず、講演についていけるかどうかを左右します。聴覚に障害のある参加者や、第三言語で聞いている人には、五十通りのベストエフォートではなく、正しい共有テキストが一つ必要です。つまり、話者の声を一度だけ文字起こしし、全員に同じ結果を届けることです。ただし一度の文字起こしが報われるのは、それが十分に良くできている場合だけです。その出発点は、音声がどこから来るかにあります。
文字起こしは、それを作る音声の質以上にはなりません。ですから最初に決めるべきは、どのモデルを使うかではなく、どの信号をモデルに入力するかです。二つ目は、処理を始める前にモデルへ何を伝えるかです。
リアルタイム文字起こしは、すでにきれいな信号がある場所から音声を取り込みます。
VocalStackはURLのストリームを自分で取得するため、お客様側で動かすものは何もありません。RTMPフィードは逆の方向で、エンコーダーがVocalStackへ送り込みます。話者の言語は自動で検出され、話者は途中で言語を切り替えてもかまいません。言語がわかっていて、録音が雑音まじりだったり強いなまりがあったりする場合は、言語を指定すると精度が上がります。
クリーンな音声は、会場に由来する誤りを取り除きます。ただし語彙に由来する誤りには効きません。それには別の種類の手助けが必要です。
スマートフォンには、誰が話しているのか、講演が何についてなのかがわかりません。そのため製品名や姓も、近い音で当てはめるべき一つの音にすぎません。放送なら、事前に何が出てくるかを伝えておけます。
開始前に台本やスライドを追加すると、そこに含まれる名前や用語が、エンジンの聞き違いより優先されます。録音中は、Script タブが話者を追いかけ、テレプロンプターのように表示します。カンファレンスや講義を埋め尽くすような話し言葉、つまり一般的なモデルが十分に聞いたことのない固有名詞や専門語彙が多い話し言葉にとって、これは精度を最も大きく上げる要素です。
良い音声と用語集があれば、ほとんどの誤りは取り除けます。問題は、残った誤りがどうなるかです。
良い音声と台本があっても、いくつかの行は間違って出てきます。違いは、その後に何が起きるかです。
スマートフォンでは、何も起きません。間違った行は流れ去り、その上に組み立てられた翻訳も一緒に消えます。
ブロードキャストでは、聞き手に事実として示すには不明瞭すぎる行は、「音声が不明瞭」として聞き手から隠されます。事実のように偽って示されることはありません。
さらにホストには Fix タブがあります。エンジンが自信を持てなかった単語は色付けされ下線が引かれ、行をクリックすると確認のために開きます。どの単語や行も、ライブの文字起こし中に書き直せます。すべての聞き手は、修正を自分の言語で見ることができます。修正はすべて印が付けられ、取り消すこともできます。
大事なのは、サーバーが間違えないことではありません。間違いが見えること、会場の誰かがその責任を持つこと、そして一度直せば全員のために直ることです。
修正が直すのは、聞き手が読む内容です。講演を聞きたい聞き手には、同じ修正済みのテキストが読み上げられて届きます。
読むより聞きたい聞き手は、翻訳された各行を読み上げてもらえます。初期設定では、話者ごとに性別が合う異なる標準音声が割り当てられるため、パネルは依然としてパネルらしく聞こえます。話者ごとに音声を割り当てたり、特定の話者をミュートしたりすることもできます。
話者の許可があれば、さらに踏み込めます。話者の発話30秒からクローン音声を作れます。クリップをアップロードするか、録音中の話者から直接取り込みます。数分あればより良い結果になります。翻訳は、どの言語でも話者本人の声で読み上げられます。保存された音声を持つ話者は、後の録音でも識別されることがあります。ただし、システムは誤った人の名前を出すくらいなら、話者を無名のままにすることを選びます。
二つのルールがあり、どちらも意図的なものです。クローン音声は生体データであり、話者本人の明示的な同意がある場合にのみ作られ、いつでも削除できます。また、音声が話せるのは文字起こしまたはその翻訳だけで、所有者が言っていないことを言わせることはできません。
ここまでの出来事はすべて、話者が話している間に起きます。最後の違いは、話し終えた後に現れます。
五十台のスマートフォンの文字起こしは、アプリを閉じると消えてしまいます。ブロードキャストでは、録音がライブラリに残ります。音声と、すべての修正と翻訳を含む文字起こしです。そこでは行ごとに再生でき、どの言語でも検索でき、エクスポートもできます。ライブラリの仕組みは一つのリンクで全言語で詳しく説明しています。聞き手は何人いても無料です。料金はトランスクライブした音声に対して支払います。ライブは1時間あたり$0.60で、文字起こし1件につき最低5分です。料金の一覧は料金ページにあります。
ホールの廊下での立ち話には、今もスマートフォンがあれば十分です。しかし、一人の話者を一緒に理解しなければならない部屋では、話者の声は一度だけ、音源から文字起こしされるべきです。そして、何か間違いが起きたときに直せる人がいる必要があります。その様子は、トップページのインタラクティブデモでご覧いただけます。
