多言語の部屋にブースを言語ごとに用意する必要はありません。必要なのは、卓からのきれいな音声フィードが一本、聴衆が各自のスマートフォンで開く一つのリンク、そして話している最中に聞き間違えた名前を直す手段です。
講演、礼拝、講義、議会の会議では、一人が話し、聴衆のすべてがその言語で考えているわけではありません。従来の解決策は、高額であるか、一部しかカバーできないか、あるいは個々人任せのどれかです。
高額な方法は、言語ごとに通訳を付けることです。言語ごとに一人ずつ付けても、ブースと受信機、そして部屋にいる言語ごとの専門家が必要になり、その専門家たちが同じことを言うとは限りません。時間に追われる中で、通訳者はそれぞれ独自の判断を下します。ある用語にどの単語を使うか、何を圧縮するか、話者が早口になったとき何を省くか。普通の講演なら、その違いはほとんど問題になりません。しかし法的審問、議会の採決、技術的な説明では違いが重大です。定義された用語、用量、条項が、フランス語の聞き手には一つの意味で、アラビア語の聞き手には別の意味で伝わることがあり、それに気づける人が部屋にいないかもしれません。部分的な方法は、一つの画面に表示される字幕で、第二言語が一つだけのものです。個別の方法は、部屋の中で五十台の電話をかざすことです。五十の、少しずつ誤った文字起こしが生まれ、それぞれの電話は話者と同じくらい明瞭に、反響や咳払いも拾ってしまいます。
代わりに、話者の音声を一度、きれいな音源から文字起こしし、その一つの文字起こしを聴衆が必要とする各言語に翻訳します。こうすれば、すべての言語は同じ言葉から始まり、聴衆は自分の端末で言語を選べます。イベントが終わると録音は保存されます。ここでは、主催者と視聴者それぞれの設定方法と、そのコストを説明します。
リアルタイム文字起こしは、どのデバイスのマイクからでも、サーバーURLとストリームキーを受け付けるOBSやその他のエンコーダーからのRTMPフィードからでも、YouTubeライブからでも、インターネットラジオ局からでも、ストリームを配信するあらゆるURLからでも開始できます。ストリームの場合、VocalStackが音声を直接取得するので、手元側で何かを動かす必要はありません。
設定よりも音源の方が重要です。会場のマイクや、テーブルに置いた電話は、話者と部屋の両方を拾います。壁、椅子、聴衆からの反響です。音声認識は、その雑音に対して声が小さくなるほど精度が大きく落ちます。だからこそ、あの五十台の電話は互いに食い違うのです。ミキシングデスクからのフィードは、部屋の音をほとんど含まず、話者本人のマイクの音を運ぶので、文字起こしは部屋ではなく話者を追います。会場にデスクがあれば、そこからフィードを取ってください。
話し言葉の言語は自動的に検出され、話者はいつでも言語を切り替えられます。事前に言語を指定しておくと、ノイズの多い録音や強いアクセントの場合に役立ちます。話者ラベルは、オフ、オン、またはWhen Neededから選べます。When Neededにすると、二人目の話者が聞こえた時点で話者ラベルがオンになります。音声が届き始めたら、聴衆がそれを見つけられる場所が必要です。
ブロードキャストとはリンクのことです。一つのアドレスと、視聴者がスキャンしてライブ翻訳を開き、言語を選ぶためのQRコードです。リンクは、ブロードキャストに付けた名前から作られます。後で名前を変更しても古いリンクは機能し続けるので、プログラムに印刷したQRコードが無効になることはありません。
ブロードキャストはデフォルトで公開されています。リンクを知っている人なら誰でも開けます。非公開にしてパスワードを設定すると、文字起こしが表示される前に視聴者にパスワードが求められます。
一つのブロードキャストに複数のリアルタイム文字起こしをつなげられるので、二つのステージを持つ会議でも一つのリンクを共有できます。リンクは人を呼び込みますが、人をとどまらせるのは名前を正しく出せるかどうかです。
音声認識エンジンは、人が普段どう話すかで学習しているため、音が曖昧なとき、より一般的な単語を選びがちです。製品名、姓、村の名前、化学物質名には、それぞれより頻出する似た音の単語があり、認識エンジンに稀な単語が来ると伝えない限り、そちらが出力されます。スクリプトはそのためにあります。開始前にスクリプトまたはスライドを追加すれば、そこに含まれる名前や用語が、聞き間違えたものより優先されます。専門的な講演では、認識が失敗しがちなのはまさにこうした名前や用語の部分です。録音中、「Script」タブはテレプロンプターのように追従し、それまでに話された単語を点灯させます。
設定はこれで全部です。リンクの反対側では、さらに操作することはほとんどありません。
視聴者にはリンクかQRコード、そしてスマートフォンがあれば十分です。ブラウザでリンクを開くと、主催者が録音を押すまではThe broadcast hasn't started yetと表示され、その後は**Live. The first line appears in a moment.**に変わります。主催者が選んだ言語（一つの文字起こしにつき最大10言語、利用可能な100言語から）から選んで、話者が話すのに合わせて文字起こしを読みます。主催者は自分の言語で話し続けます。視聴者はいつでも言語を変えられ、それまでの文字起こしが新しい言語で表示し直されます。
聴きたい視聴者には、翻訳された各行が読み上げられます。初期設定では、話者ごとに性別の合う標準音声が割り当てられるので、パネルは依然としてパネルらしく聞こえます。
三つの段階は順番に進み、それぞれが前の段階を待ちます。音声認識は、単語を確定するためにある程度の音声を必要とするので、文字起こしは話者よりわずかに遅れて続きます。翻訳は一つのフレーズ全体を必要とします。言語によって語順が違い、文末が文頭の意味を変えることがあるからです。そのため、翻訳は一、二秒遅れて続きます。音声合成は翻訳された文が揃うまで始められないため、読み上げは最後に来ます。これは調整で取り除くべき不具合ではなく、これら三つを行うどんなシステムにとっても必要なことです。人間の通訳者も、動詞が来るまで待つのですから。
話者の同意を得れば、主催者は話者本人が一人で話している三十秒の音声（MP3、M4A、WAV。数分あればなお良い）からその話者の声をクローンできます。その後、翻訳はどの言語でも話者本人の声で読み上げられます。声は、それ自体が生体データであることを忘れないでください。GDPRの下では、人を識別するために処理される音声データは一般に第9条の特別な区分に該当し、イリノイ州を含む一部の米国の州は声紋を別途規制しています。サンプルを録音する前に、録音後ではなく、話者から明示的な同意を得てください。声はいつでも削除できます。クローンを作ると話者も登録されるため、今後の録音では名前付きでラベルが付けられます。主催者は話者ごとに声を割り当てたり、一人をミュートしたりできます。
途中から参加した視聴者は、入室前に話されたすべての内容を見てから、ライブに追従します。接続が切れても、接続が戻ると、ページは自動的に追いつきます。主催者が一時停止すると、視聴者には**Paused. The transcript continues when the host resumes.**と表示されます。主催者が停止すると、ページには録音の日付と長さが表示され、ブロードキャストには過去の録音が再生用に一覧表示されます。
視聴者が読めるのは、エンジンが聞き取った内容だけであり、リアルタイムの認識では一部を誤ることがあります。
主催者の画面には、まさにそのためのFixタブがあります。Mark uncertain wordsは、エンジンが確信を持てなかった単語に色を付けて下線を引き、Click to correctは確認のために行を開きます。このタブは不確かな区間を一つずつ順番に案内するので、話者が話を続けている間に、デスクにいる二人目の人が修正作業を進められます。
主催者が単語や行を書き直すと、話されている途中の行であっても、すべての視聴者にその修正が表示されます。信頼度が低すぎる行は、誤ったものを見せる代わりに、視聴者にはAudio unclearとして隠されます。主催者にはすべての単語が見えたままです。空欄は把握できている欠落ですが、自信満々の誤りはデマです。
これらの修正は、話が終わっても消えません。
すべてが保存されます。録音、修正と翻訳を含む文字起こし、そして音声は、主催者のライブラリに保存されます。リプレイは、到着したとおりに、行ごとに、音声付きで再生します。言葉が確定すると、タイトルと要約がすべての言語で作成され、主催者画面のSummaryとExportタブから、そのままイベントの成果物として取り出せます。
エクスポートは、SRT字幕、PDF、Excel、またはJSON形式で、修正と翻訳を含めて出力できます。音声はMP3でダウンロードできます。すべての文字起こしは、どの言語でも検索できます。
Audienceビューには、誰が聴いたか、どの言語で、いつ参加したかが表示されます。主催者にとっては、どの言語が必要だったのかについて、初めての実際の人数が分かることが多いでしょう。それまでの推定は、英語で「翻訳が必要な方は挙手してください」と尋ねたときに手を挙げた人数程度でした。視聴者の識別子は、録音と一緒に削除されます。
音声認識、話者識別、音声合成は、当社が運用するサーバー上で実行され、お客様の音声が処理のために第三者に送られることはありません。当社は、お客様の音声、文字起こし、声をモデルの学習に使用しません。
保持期間はプランによります。従量課金では、元の音声と声は7日間、文字起こしは30日間保持されます。PremiumとEnterpriseでは、アカウントが存続する限り保持されます。プランがもう一つ決めるのは、請求額です。
重要な数字は二つあります。従量課金とPremiumでは、リアルタイム文字起こしは音声1時間あたり$0.60で、一つの文字起こしにつき5分の最低料金があり、秒単位で課金されます。これはダッシュボードでもAPIでも同じです。Enterpriseはボリューム料金です。視聴者と言語は無料です。5言語に翻訳された1時間のイベントを200人が聴いても、費用は$0.60です。ファイルはより安く（1時間あたり$0.20）なります。リアルタイム文字起こしはイベント全体をリアルタイムで実行するためです。プランによって、同時実行数、最大録音時間、起動の速さが異なります。従量課金では、コールドスタートに最大15秒かかることがあるので、話者より少し前に録音を押してください。目安は「後ろの席の方、聞こえていますか？」と言う少し前です。詳しい表は料金ページにあります。
ホームページには二台の電話によるデモがあります。新しいアカウントをダッシュボードで作成すると、サインアップ特典として$5のクレジットが付き、カードの登録は不要です。リアルタイムの料金では、このクレジットで8時間以上のブロードキャストが可能です。
この方法と、誰もが携帯電話に持っているライブ翻訳機能のどちらにするか迷っていますか。電話では会場に不十分な理由をお読みください。大規模なイベントについては、多言語会議のチェックリストが、音声経路、一つのリンクで複数のステージを扱う方法、予算を扱っています。開発者は、すべてをコードから、同じ料金でAPIリファレンスを通じて行えます。
