实时转录与翻译详解:实时语音转文字如何运作、延迟多少、什么影响准确度,以及费用。
实时转录会在说话人还在讲话时就把语音变成文字。文字在说出之后片刻出现在屏幕上,逐渐沉淀为定稿行,所有跟随的人都能阅读。再加上实时翻译,每位读者都可以用自己的语言跟随同一段讲话,可以是文字,也可以是朗读。
本指南从两个角度介绍实时转录与翻译:听众看到什么、音频可以来自哪里、什么决定准确度、开发者能从 API 得到什么,以及费用。
实时转录,也叫现场转录或实时语音转文字,是在音频仍在传入时就运行的语音识别。录好的文件可以拿到整段录音之后再转录。而实时转录只能凭最近几秒的内容来确定文字,并且在说话人讲话的整个过程中都要跟得上。
实时字幕是同样的东西,只是显示为视频上或屏幕上的短行文字。
在 VocalStack 上,一个实时转录可以听 100 种语言。它会自动检测所说的语言,说话人切换语言时也会跟着切换,自动语言检测的工作原理对此有说明,也介绍了什么时候该提前指定语言。
文字分两个阶段到达。最新的字词先以草稿出现,随着更多音频进入,草稿还可能改变。片刻之后,草稿会沉淀为不再改变的定稿行。
之所以有草稿,是因为识别器判断一个词,部分要看它后面是什么。“ice cream”和“I scream”听起来很像,直到下一个词出现。尽早显示猜测,才让转录文本有现场感。
文字比说话人慢多少,取决于所处的阶段:
还有两种延迟在这条链之外。当来源是公开直播流而不是麦克风时,直播流本身已经落后于它的实时边缘:普通网络电台流是一两秒,HLS 则是几秒到半分钟不等。另外在按量付费(Pay as you go)下,实时转录启动最多可能需要 15 秒。完整的拆解,包括 Auto、Fast 和 Accuracy 三种延迟模式,见实时翻译延迟详解。
翻译叠加在转录文本之上。一个实时转录可以同时翻译成最多 10 种语言,从 100 种中选择。每位听众在自己的设备上选择其中一种,并且可以随时更换;到目前为止的转录文本会用新语言重新显示。
每种语言都从同一份转录文本翻译而来,所以每位听众得到的是同样的文字,一次修改会传到所有人。
不想阅读、更想收听的听众,可以让每一行译文被朗读出来。默认情况下,每位说话人会得到一个性别匹配、彼此不同的预设语音,所以一场座谈听起来仍然像好几个人。经说话人同意,主持人可以根据此人单独说话约 30 秒的内容克隆他的声音,之后译文就用他自己的声音朗读。
声音的规则有意定得很窄。声音只会朗读同一个人说过的话,翻译成听众选择的语言。它绝不会朗读别人输入的文字,也绝不会用一位说话人的声音朗读另一位说话人的话。
这套机制如何服务整个房间,从主持人的设置到迟到的听众,见一个链接,所有语言。
实时转录需要一个音频来源。VocalStack 目前接受这些来源:
在 YouTube 自带播放器里通过 CC 按钮显示字幕,即将推出。在那之前,YouTube 直播的观众可以在直播链接上跟随字幕。
如果你现在就需要在 Windows 上做实时转录,Chrome 或 Edge 扩展、OBS 插件,以及浏览器中的 Dashboard 都可以使用。
直播是让其他人跟随实时转录的方式。它就是一个链接和一个二维码。听众在浏览器中打开它,选择语言,边读边看。他们无需账户,无需安装任何东西,也不产生费用:账单不会随听众或语言的数量而变化。
直播默认是公开的,也可以用密码保护。如果你重命名它的链接,旧链接仍然有效,所以印在节目单上的二维码不会过时。一个直播可以承载多个实时转录,所以两个舞台可以共用一个链接。
迟到的听众会看到他们进来之前说过的全部内容,然后继续实时跟随。之后,Audience 视图会显示谁听了、用什么语言、什么时候加入的。
对于活动,多语言会议清单涵盖了音频、舞台和预算,教堂、讲堂和议事厅的实时转录则涵盖同一套设置的每周版本。
上面的一切都可以通过代码完成。如果要在自己的应用中处理实时音频,API 提供了 realtime 会话:你的服务器用 API 密钥调用一次 POST /v1/realtime/sessions,得到一个短期有效的 streamUrl。你的客户端向它打开一个 WebSocket,随着采集发送原始音频,并以 JSON 帧读取返回的转录文本。
这些帧遵循读者看到的同样两个阶段。transcript.draft 会替换实时的末尾部分,transcript.committed 会添加一个定稿行,开启翻译后,整句话会连同它们的译文一起到达。目标语言、说话人标签和延迟模式都可以在会话中途通过 session.update 更改。
realtime 会话不存储任何内容。当你希望文字被保存、修改并与观众分享时,应改为把音频发布到一个实时转录和一个直播。TypeScript、Python 和 PHP 的官方 SDK 封装了这两者,MCP 服务器则让 AI 助手使用同一个账户。
WebSocket 教程会一步步搭建一个可用的字幕视图,API 参考列出了每一个字段。API 用量的计费费率与 Dashboard 相同。
准确度主要在任何识别器运行之前,就由它拿到的音频决定。有四点影响最大。
麦克风。 靠近说话人的麦克风,或来自会场调音台的信号,带着人声而很少带入房间的声音。放在桌上的手机听到的是说话人加上回声、椅子声和咳嗽声。这是最大的单一因素,为什么手机不足以应对一个房间解释了原因。
噪声和重叠。 背景噪声会导致丢字和凭空多出字词,两个人同时说话则会让文字和“谁说的”都变得混乱。音频转录错误列出了七个常见原因,各自的表现和解决办法。
参考讲稿。 常见的名字和术语会被如实识别。公司的产品名、内部缩写或嘉宾不常见的姓氏无法预先知道,所以在开始之前添加讲稿或幻灯片,其中的名字和术语就会按你拼写的样子写出来。
说话人标签。 标签可以是 Off、On,或 When Needed,后者会在听到第二位说话人后才开启。说话人分离与语音识别解释了“说了什么”和“谁说的”这两个答案如何相互独立,并分别修正。
延迟模式也有影响:Fast 出字更快,但会改动更多内容,Accuracy 则等得稍久一点。
单一的准确度数字,说明的东西比看上去的少。词错误率把一个错误的名字和漏掉的一个“the”同等看待,所以词错误率衡量什么、遗漏什么主张按系统让你发现并改正哪些错误来评判它。
没有哪份实时转录是完美的,所以主持人屏幕上有一个 Fix 标签页。它可以标出识别器不确定的词,任何一行都可以打开并改正。说话人继续讲话时,桌边的第二个人可以逐个处理这些词。
当主持人改写一个词或一行(即使它还在被说出),每位听众都会用各自的语言看到更正。置信度太低的一行,会以“Audio unclear”的形式对听众隐藏,而不是错误地显示出来;主持人仍然能看到它。
录音会连同它的转录文本、更正和翻译一起保存。之后你可以:
音频和转录文本保留多久取决于套餐,价格页面里有列出。
大多数实时转录工具在演示中看起来都差不多;差别体现在下面这些问题里。右栏描述的是 VocalStack 目前的情况。
| 问题 | 为什么重要 | VocalStack |
|---|---|---|
| 能听懂哪些语言? | 无法转录说话人语言的工具帮不上忙,翻译再好也没用。 | 100 种语言,自动检测,讲话中途可切换 |
| 文字比说话人慢多少? | 读者更在意不断增大的差距,而不是偶尔的错字。 | 原文文字慢不到一秒,译文晚一两秒;三种延迟模式 |
| 它能翻译吗?由谁选择语言? | 一个屏幕上只有一种字幕语言,会把其他人排除在外。 | 每个转录最多 10 种语言,每位听众自己选择 |
| 能朗读译文吗? | 有些听众无法跟着阅读,或者不想读。 | 默认使用预设语音;经说话人同意,可使用其自己的克隆声音 |
| 观众怎么获取? | 应用和账户会把人拦在门外。 | 一个链接和二维码,无需账户,可选密码 |
| 能实时修改错误吗? | 一个听错的名字被重复一小时,会造成真正的损害。 | 实时更正推送给每位听众 |
| 音频可以来自哪里? | 你的设置不应该为了迁就工具而改变。 | 麦克风、浏览器扩展、桌面应用、OBS、RTMP、直播流链接 |
| 有 API 吗? | 你可能想把字幕放进自己的产品里。 | REST 和 WebSocket API、SDK、MCP 服务器,费率与 Dashboard 相同 |
| 如何计价? | 按听众或按席位计价的方式会随观众增长而变贵。 | 按音频秒数计费;听众和语言免费 |
在 VocalStack 上,你按转录的音频秒数付费。截至撰写本文时,所有套餐中,无论在 Dashboard 还是通过 API,实时转录为 每小时 $0.60,文件为每小时 $0.20。翻译、语音、摘要、直播和听众都不会增加账单,所以一场一小时的演讲,被 200 个人用五种语言阅读,和没有人阅读一样,都是 $0.60。
各套餐在几个方面有差别:
如果没有人需要在事情发生时同步阅读,可以事后按文件费率上传录音。各套餐当前的价格、保留期限和限制见价格页面。
新的 VocalStack 账户附带 $5 的注册额度,无需绑定银行卡。按每小时 $0.60,大约相当于八小时的实时转录,翻译和直播都包含在内。之后按秒付费。听众永远免费。
可以。一个实时转录可以在说话人讲话时同时翻译成最多 10 种语言。译文在原文之后一两秒出现,每位听众选择自己的语言。
主要取决于音频。靠近的麦克风或调音台信号、很少的背景噪声、每次只有一个人说话,再加上写有名字的参考讲稿,效果最好。实时更正让主持人在讲话进行中就能修正仍然存在的错误。
原语言文字比说话人慢不到一秒,译文晚一两秒跟上。公开的直播流在音频到达 VocalStack 之前会带有它自己的延迟。
可以,通过 Chrome 或 Edge 扩展、OBS Studio 插件,或浏览器中的 Dashboard。桌面应用目前在 macOS 上,Windows 即将推出。
不需要。听众在浏览器中打开直播链接或扫描它的二维码,选择语言就能阅读。无需安装任何东西。
打开 Dashboard,用麦克风开始一个实时转录,并在手机上打开它的直播链接。注册额度足够覆盖你的头几个小时,你可以亲眼看到草稿沉淀、译文跟上。