多语言现场不需要为每种语言配一个译员间。只需要从调音台接出一路干净的音频,听众用自己的手机打开一个链接,再加上在演讲进行中修正听错名字的办法。
演讲、礼拜、讲座或议会会议通常只有一个人在说话,而台下的听众并非都以这种语言思考。常见的解决办法要么昂贵,要么只能覆盖一部分人,要么只能私下进行。
昂贵的办法是为每种语言配一位译员。即便每种语言只配一位,也意味着要有译员间、接收机,以及每种语言各一名专业译员,而且这些译员说的并不完全一样。在时间压力下,每位译员都会自行决定:某个术语用哪个词,哪些内容要压缩,讲者语速加快时舍弃什么。普通演讲上,这些差异几乎无关紧要。但在法律听证、议会表决或技术简报中,差异就很重要:一个定义术语、一个剂量或一条条款,可能对法语听众是一个意思,对阿拉伯语听众却是另一个意思,而房间里的人没有办法察觉。部分的办法是在一块屏幕上显示一种第二语言的字幕。私下的办法则是把五十部手机举向会场——五十份略有出入的文字稿,每部手机都把回声和咳嗽听得和讲话者一样清楚。
另一种做法是:从一路干净的音源只转录讲话者一次,再把这份转录文本翻译成听众需要的每种语言,这样所有语言都从同一组词句出发,每位听众在自己的设备上选择语言。活动结束后,录音会被保留。下面说明主办方和听众各自如何设置,以及需要付出的成本。
实时转录可以接收任何设备的麦克风、来自 OBS 或其他编码器的 RTMP 信号(只需填写服务器地址和串流密钥)、YouTube 直播、网络电台,或任何提供音频流的 URL。对于音频流,VocalStack 会自行拉取音频,您这边无需运行任何程序。
音源比任何设置都重要。会场里的麦克风,或放在桌上的手机,收到的是讲话者加上整个房间的声音:墙壁、椅子和听众产生的混响。当人声相对于这些噪声变弱时,语音识别的准确率会急剧下降,这正是那五十部手机结果互相不一致的原因。调音台的输出主要承载讲话者自己的麦克风信号,房间里的声音很少,因此转录会跟随讲话者,而不是房间。如果场地设有调音台,请从那里取音频。
系统会自动检测所说的语言,讲话者随时可以换语种。如果事先指定语言,在嘈杂的录音或口音较重的情况下会有帮助。说话人标签可以关闭、开启,或设为 When Needed,即一旦听到第二位说话人就自动开启。音频进入之后,听众还需要一个地方找到它。
直播就是这个链接:一个地址加一个二维码,听众扫码即可打开实时翻译并选择语言。链接由您为直播取的名称生成。之后改名,旧链接仍然有效,因此印在节目单上的二维码不会失效。
直播默认公开,任何拿到链接的人都可以打开。如果将其设为私密并设置密码,听众需要先输入密码,才会看到转录文字。
一场直播可以由多路实时转录同时供稿,因此一场有两个会场的大会可以共用一个链接。链接负责把人请进来,留住他们的则是名字和术语是否准确。
语音识别器是按人们通常的说法训练的,所以遇到含糊的读音时,它会倾向于常见的词。产品名、姓氏、村庄名、化学物质,每一个都有一个出现得更频繁的近音词,除非识别器事先知道生僻词即将出现,否则输出的就是那个近音词。脚本的作用正在于此。开始前添加脚本或幻灯片,其中的名字和术语会优先于被听错的词。在专业性较强的演讲中,识别通常就是在这些名字和术语上出错。录制期间,Script 标签页会像提词器一样跟随进度,点亮已经说出的词句。
设置就是这些。在链接的另一端,需要做的更少。
听众只需要一个链接或二维码,以及一部手机。他们在浏览器中打开链接,在主办方按下录制之前,会看到 The broadcast hasn't started yet;主办方开始后则显示 Live. The first line appears in a moment. 他们可以从主办方选定的语言中挑选(每场转录最多 10 种,可从 100 种语言中选择),然后边听讲话边阅读转录内容。主办方仍然用自己的语言讲话。听众可以随时切换语言,切换后会以新语言重新显示此前的全部转录内容。
如果听众更愿意收听,每句译文都会被朗读出来。默认情况下,每位讲话者使用一种性别相符的不同预设语音,因此小组讨论听起来仍然是多人讨论。
三个阶段按顺序进行,每一阶段都要等待前一阶段完成。识别需要一段语音才能确定词语,因此转录会比讲话者慢几分之一秒。翻译需要一个完整的短语,因为不同语言的语序不同,句末可能改变句首的含义,所以翻译会晚一两秒。语音合成需要译文句子完整后才能开始,因此朗读的句子排在最后。这不是需要调校掉的故障,而是任何完成这三项工作的系统都必须经历的过程,包括人工译员,他们也要等到动词出现才能开口。
经讲话者同意,主办方可以用此人单独说话的三十秒音频(MP3、M4A 或 WAV 格式;几分钟更好)克隆其声音。之后,每种语言的译文都会以讲话者本人的声音朗读。请将声音视为生物识别数据加以对待。根据 GDPR,为识别个人而处理的声音数据通常属于第 9 条规定的特殊类别;包括伊利诺伊州在内的一些美国州还会单独监管声纹。请在录制样本之前而非之后取得讲话者的明确同意;声音可以随时删除。克隆还会登记讲话者,之后的录音中他们会以姓名标注。主办方可以为每位讲话者指定一种声音,也可以将某位讲话者静音。
迟到的听众会先看到此前已经说过的全部内容,然后再实时跟上。如果连接断开,连接恢复后页面会自动补齐内容。主办方暂停时,听众会看到 Paused. The transcript continues when the host resumes.;主办方结束后,页面会显示录音的日期和时长,直播中也会列出过往录音供回放。
听众只能阅读引擎听到的内容,而实时识别会听错一部分。
主办方界面中有一个 Fix 标签页,正是为此而设。Mark uncertain words 会为引擎不确定的词语上色并加下划线,Click to correct 会打开一行供审阅。该标签页会逐个列出不确定的片段,因此桌边的另一位工作人员可以在讲话继续的同时逐一处理。
主办方改写某个词或某一行时,即使是仍在说话时的内容,每位听众都会看到更正。置信度过低的句子会以 Audio unclear 的形式对听众隐藏,而不是显示错误内容;主办方仍然能看到每一个词。空白是已知的缺口,而说得很笃定的错词则是谣言。
这些更正在活动结束后也不会消失。
所有内容都会被保留。录音、带有更正和译文的转录文本以及音频,都会保存到主办方的资料库中。回放会按原样逐行重放,并附带音频。文字定稿后,系统会以每种语言撰写标题和摘要,主办方界面中的 Summary 和 Export 标签页会直接把它们带出活动现场。
导出格式为 SRT 字幕、PDF、Excel 或 JSON,其中包含更正和译文;音频可以下载为 MP3。每份转录文本都可以用任意语言搜索。
Audience 视图会显示谁在收听、使用哪种语言、何时加入。这往往是组织者第一次真正掌握谁需要哪种语言的确切人数。在此之前,通常的估计来自于用英语询问“是否需要翻译”后举手的人数。听众标识符会随录音一并删除。
语音识别、说话人识别和语音合成都运行在我们运营的服务器上,您的音频不会为处理之目的发送给任何第三方。我们不会使用您的音频、转录文本或声音来训练模型。
保留期限随套餐而定:按量付费套餐下,原始音频和声音保留 7 天,转录内容保留 30 天;Premium 和 Enterprise 则在账户存续期间一直保留。套餐决定的另一件事是账单。
有两个数字需要关注。在按量付费和 Premium 套餐下,实时转录为 $0.60/小时(按音频时长计费,每秒计量,每次转录最少 5 分钟),在控制台和 API 中计费方式相同;Enterprise 为批量费率。听众和语言数量不收费:一场一小时的活动,用五种语言供两百人收听,只需 $0.60。文件转录更便宜($0.20/小时),因为实时转录会以实时速度运行整场活动。各套餐在并发数、最长录音时长和启动速度上有所不同:按量付费套餐下,冷启动可能需要长达 15 秒,因此请在讲话者开口之前稍早按下录制,大约提前一句“后排的人都听得到吗?”的时间。完整对照表见价格页面。
首页有一个双手机演示,在 控制台 注册的新账户会获得 $5 的注册额度,无需绑定银行卡。按实时费率计算,这笔额度足够支持超过八小时的直播。
在本方案与每部手机内置的实时翻译之间犹豫不决?请阅读为什么手机不足以应对会场的实时翻译。对于一场完整的活动,多语言会议字幕清单涵盖音频路径、同一链接下的多个会场以及预算。开发者可以通过 API 参考 用代码完成以上全部操作,费率相同。