リアルタイム文字起こしと翻訳を解説。音声認識のしくみ、遅延、精度を左右する要素、費用までを紹介します。
リアルタイム文字起こしは、話している最中の音声をテキストに変えます。言葉は話された直後に画面に現れ、確定した行に落ち着き、追いかけている誰もが読めます。リアルタイム翻訳を加えれば、読む人それぞれが同じ話を自分の言語で、テキストでも音声の読み上げでも追えます。
このガイドでは、リアルタイム文字起こしと翻訳を両側から取り上げます。視聴者に何が見えるのか、音声はどこから来られるのか、精度を決めるものは何か、開発者がAPIで何を得られるのか、そして費用です。
リアルタイム文字起こしは、ライブ文字起こしやライブの音声テキスト変換とも呼ばれ、音声がまだ届いている間に動く音声認識です。録音済みのファイルは、録音全体を手元に置いて文字起こしできます。ライブの文字起こしは、直近の数秒だけを手がかりに言葉を確定させ、話者が話し続けるかぎり付いていかなければなりません。
ライブ字幕とは、同じものを動画の上や画面に短い行として表示したものです。
VocalStackのリアルタイム文字起こしは、100言語を聞き取れます。話されている言語を自動で検出し、話者が切り替えれば追従します。その点と、言語を事前に指定すべき場合については、言語の自動検出のしくみで説明しています。
テキストは二段階で届きます。最新の言葉はまず下書きとして現れ、音声が追加されるにつれて変わることがあります。少し後に、下書きは確定した行に落ち着き、二度と変わりません。
下書きがあるのは、認識エンジンが単語の一部を、その後に続く言葉で決めるからです。「ice cream」と「I scream」は、次の単語が届くまで同じように聞こえます。推測を早く見せることが、文字起こしにライブ感を与えます。
テキストが話者からどれくらい遅れるかは、段階によって異なります。
この連鎖の外にも、二つの遅延があります。音源がマイクではなく公開ストリームの場合、ストリーム自体がすでにライブ側の端から遅れています。普通のインターネットラジオなら1〜3秒、HLSなら数秒から30秒ほどです。そして従量課金では、リアルタイム文字起こしの開始に最大15秒かかることがあります。Auto、Fast、Accuracyの各遅延モードを含む詳しい内訳は、リアルタイム翻訳の遅延を解説にあります。
翻訳は文字起こしの上で動きます。一つのリアルタイム文字起こしは、100言語から選んだ最大10言語に同時に翻訳できます。視聴者は、それぞれ自分の端末でその中から一つを選び、いつでも変えられます。それまでの文字起こしは、新しい言語で表示し直されます。
すべての言語は同じ文字起こしから翻訳されるので、どの視聴者にも同じ言葉が届き、修正は全員に反映されます。
読むより聞きたい視聴者は、翻訳された各行を音声で読み上げてもらえます。デフォルトでは、話者ごとに性別に合った別々のストック音声が割り当てられるので、パネルディスカッションも複数の人が話しているように聞こえます。話者の同意があれば、主催者はその話者が一人で話している約30秒の音声から声をクローンでき、その場合、翻訳は本人の声で読み上げられます。
声のルールは、意図的に狭く設定されています。声が読み上げるのは、その同じ人が話した内容を、視聴者が選んだ言語に翻訳したものだけです。誰かが入力したテキストを読み上げることはなく、ある話者の言葉を別の話者の声で読み上げることもありません。
主催者の設定から後から参加する人まで、会場全体でこれがどう機能するかは、一つのリンクで、すべての言語へにあります。
リアルタイム文字起こしには、音声の入力元が必要です。VocalStackが現在対応しているのは次のとおりです。
YouTube自身のプレーヤー内のCCボタンによる字幕は、近日対応予定です。それまでは、YouTubeの配信の視聴者は、ブロードキャストのリンクで字幕を追います。
今日Windowsでリアルタイム文字起こしが必要な場合は、ChromeまたはEdgeの拡張機能、OBSプラグイン、ブラウザー上のダッシュボードが使えます。
ブロードキャストは、他の人がリアルタイム文字起こしを追うための手段で、リンク一つとQRコードです。視聴者はブラウザーで開き、言語を選んで読みます。アカウントは不要で、何もインストールせず、費用もかかりません。視聴者数や言語数が増えても請求額は変わりません。
ブロードキャストはデフォルトで公開で、パスワードで保護することもできます。リンクの名前を変更しても古いものは使い続けられるので、プログラムに印刷したQRコードが古くなりません。一つのブロードキャストに複数のリアルタイム文字起こしをつなげられるので、二つのステージで一つのリンクを共有できます。
遅れて参加した視聴者は、入室前に話された内容をすべて見てから、ライブを追います。その後、Audienceビューで、誰が、どの言語で聞いたか、いつ参加したかが分かります。
イベントについては、多言語カンファレンスのチェックリストが音声、ステージ、予算を扱い、教会・講堂・議会場のためのリアルタイム文字起こしは、同じ設定の毎週版を扱っています。
上記のすべては、コードから実行できます。自分のアプリでライブ音声を扱うには、APIにリアルタイムセッションがあります。サーバーがAPIキーでPOST /v1/realtime/sessionsを一度呼び出すと、短時間だけ有効なstreamUrlが返ります。クライアントはそこへWebSocketを開き、収録した生の音声をそのまま送り、文字起こしをJSONフレームとして受け取ります。
フレームは、読み手が見るのと同じ二段階に従います。transcript.draftはライブの末尾を置き換え、transcript.committedは確定した行を追加し、翻訳がオンのときは、文全体が翻訳付きで届きます。ターゲット言語、話者ラベル、遅延モードは、session.updateでセッション中に変更できます。
リアルタイムセッションは何も保存しません。言葉を保存し、修正し、聴衆と共有したい場合は、音声をリアルタイム文字起こしとブロードキャストに公開します。TypeScript、Python、PHPの公式SDKが両方をラップしており、MCPサーバーを使えば、AIアシスタントが同じアカウントを使えます。
WebSocketのチュートリアルでは、動作する字幕ビューを一歩ずつ作り、APIリファレンスにはすべてのフィールドが載っています。APIの利用は、ダッシュボードと同じ料金で課金されます。
精度は、認識エンジンが動く前に、与えられる音声でほぼ決まります。最も差が出るのは次の四つです。
マイク。 話者に近いマイクや、会場のミキシングデスクからのフィードは、部屋の音をあまり含まずに声を運びます。テーブルに置いたスマホは、話者に加えて反響、椅子、咳を拾います。これが最大の要因で、その理由はスマホが会場には足りない理由で説明しています。
ノイズと重なり。 背景のノイズは、言葉の欠落や存在しない言葉の挿入を引き起こし、二人が同時に話すと、言葉も誰が言ったかも混乱します。音声文字起こしの誤りでは、よくある七つの原因と、それぞれの現れ方、直し方を挙げています。
リファレンススクリプト。 よく知られた名前や用語は、そのまま認識されます。会社の製品名、社内の略語、ゲストの珍しい姓は、事前には分からないので、開始前にスクリプトやスライドを追加すると、そこに含まれる名前や用語が、綴ったとおりに書かれます。
話者ラベル。 ラベルはOff、On、When Neededから選べ、When Neededでは二人目の話者が聞こえた時点でオンになります。何が話されたかと誰が話したかという二つの答えが、別々のもので、別々に直されることは、話者分離と音声認識の違いで説明しています。
遅延モードも影響します。Fastはテキストを早く出しますが修正が増え、Accuracyは少し長く待ちます。
精度の数字が一つだけでは、見かけほど多くは語れません。単語誤り率は、間違った名前を、落ちた「the」と同じ一つの誤りとして数えるため、単語誤り率が測るものと、見落とすものは、システムを、どの誤りを見つけて直せるかで評価するよう勧めています。
完璧なライブ文字起こしはないため、主催者画面にはFixタブがあります。認識エンジンが自信のなかった言葉に印を付けられ、任意の行を開いて直せます。話者が話し続けている間に、デスクの二人目の担当者がそれらを順に確認できます。
主催者が単語や行を書き換えると、まだ話されている最中のものであっても、すべての視聴者がすべての言語でその修正を見ます。信頼度が低すぎて聞き取られた行は、間違って表示されるのではなく、視聴者から「Audio unclear」として隠されます。主催者には引き続き見えます。
録音は、文字起こし、修正、翻訳とともに保存されます。その後、次のことができます。
音声と文字起こしの保持期間はプランによって異なり、料金ページに一覧があります。
ほとんどのライブ文字起こしツールは、デモでは似て見えます。違いは、次の質問で表れます。右の列は、現在のVocalStackを説明しています。
| 質問 | なぜ重要か | VocalStack |
|---|---|---|
| どの言語を聞き取れるか | 話者の言語を文字起こしできないツールは、翻訳が優れていても役に立ちません。 | 100言語、自動検出、話の途中での切り替えにも対応 |
| テキストは話者からどれくらい遅れるか | 読み手は、ときどきある間違いより、広がっていく遅れのほうに気づきます。 | 元のテキストは一瞬遅れ、翻訳は一、二秒後。遅延モードは三つ |
| 翻訳はできるか、言語は誰が選ぶか | 一つの画面に一つの字幕言語では、他の全員が取り残されます。 | 一つの文字起こしにつき最大10言語、視聴者がそれぞれ選択 |
| 翻訳を音声で話せるか | 読み進められない視聴者や、読みたくない視聴者がいます。 | デフォルトはストック音声、話者の同意があれば本人のクローン音声 |
| 聴衆にはどう届くか | アプリやアカウントは、入口で人を失います。 | リンクとQRコード一つ、アカウント不要、パスワードは任意 |
| ライブで間違いを直せるか | 聞き間違えた名前が一時間繰り返されるのは、実害になります。 | ライブ修正がすべての視聴者に届く |
| 音声はどこから取れるか | ツールに合わせて、あなたの環境を変える必要はないはずです。 | マイク、ブラウザー拡張機能、デスクトップアプリ、OBS、RTMP、ストリームのリンク |
| APIはあるか | 自社の製品の中に字幕を入れたいかもしれません。 | REST・WebSocket API、SDK、MCPサーバー、ダッシュボードと同じ料金 |
| 料金体系は | 視聴者あたり、席あたりの料金は、聴衆とともに増えます。 | 音声の秒単位。視聴者と言語は無料 |
VocalStackでは、文字起こしした音声の秒数に対して支払います。執筆時点では、リアルタイム文字起こしは1時間あたり$0.60、ファイルは1時間あたり$0.20で、どのプランでも、ダッシュボードでもAPIでも同じです。翻訳、音声、要約、ブロードキャスト、視聴者が請求に加わることはないので、200人が5言語で読む1時間の講演も、誰も読まない場合と同じ$0.60です。
プランの違いは次のとおりです。
リアルタイムで読む人がいなければ、後から録音をファイルの料金でアップロードしてください。各プランの現在の価格、保持期間、上限は料金ページにあります。
新規のVocalStackアカウントには、$5のサインアップクレジットが付き、カードは不要です。1時間あたり$0.60なら、翻訳とブロードキャスト込みで約8時間のリアルタイム文字起こしです。その後は秒単位で支払います。視聴者は常に無料です。
はい。リアルタイム文字起こしは、話している間に最大10言語へ同時に翻訳できます。翻訳は元のテキストの一、二秒後に表示され、視聴者がそれぞれ自分の言語を選びます。
主に音声しだいです。近くのマイクやデスクからのフィード、少ない背景ノイズ、一度に一人だけが話すこと、名前を入れたリファレンススクリプトが、最良の結果をもたらします。ライブ修正により、話が続いている間に、主催者がまだ残っている間違いを直せます。
元の言語のテキストは話者から一瞬遅れる程度で、翻訳は一、二秒後に続きます。公開ストリームでは、音声がVocalStackに届く前に、ストリーム自体の遅延が加わります。
はい。ChromeまたはEdgeの拡張機能、OBS Studioプラグイン、ブラウザー上のダッシュボードで使えます。デスクトップアプリは現在macOSで、Windowsは近日対応予定です。
いいえ。視聴者は、ブラウザーでブロードキャストのリンクを開くかQRコードを読み取り、言語を選んで読みます。インストールするものはありません。
ダッシュボードを開き、マイクからリアルタイム文字起こしを開始して、そのブロードキャストのリンクをスマホで開いてください。サインアップクレジットで最初の数時間を賄えて、下書きが確定していく様子と、翻訳が追いかけてくる様子を、ご自身で確かめられます。