实时翻译的准确率,大部分在任何模型运行之前就已经决定,取决于麦克风放在哪里。从调音台取音频,只转录一次,一个错误就会变成一行可以为所有人修正的字幕。
手机内置的翻译应用是了不起的成就。它们通常运行一个小到足以放进设备、又不至于耗尽电量的语音模型(有些会在网络连接可用时把音频交给服务器处理)。对于简短、清晰的日常对话,它们确实能胜任:问路、看菜单、柜台前的简单交流。
一个会场里,许多人在听同一位讲话者,这是另一类问题。真实语音中最容易出错的地方,恰恰是小模型最不擅长的:不常见的词和人名、发音相近的词(“their”和“there”,“sail”和“sale”)、专业术语、口音、人们相互抢话,以及背景噪声。在帆船俱乐部里,模型听到“sale”,它做出了一个合理的猜测,却是一个自信满满的错误。
有两个原因使小模型比大模型更容易猜测。一是为了装进手机而被压缩过,它认识的词更少,表达方式也更少;遇到没听过的姓氏时,它只能根据声音去近似。二是实时识别必须在整句话说完之前就确定一个词,因此模型无法利用那些能够区分“sail”和“sale”的信息:后面出现的词,或者说明演讲主题的稿件。在语音识别中,“上下文”正是指这两样东西:前后的词,以及事先已知的信息。
模型不确定时,就只能猜。译文随之建立在这个猜测之上,而读者无从知道。会场里没有人能看出哪一行出了错,更不用说纠正。而且,会场里的听众不是一个人,而是五十个人。
手机听到的是整个房间,而不是讲话者。问题在于距离:领夹式或桌面麦克风离嘴只有几厘米,而第十二排的手机离讲台有十米甚至更远,大部分声音在到达之前已经在墙壁、天花板和椅背之间反射过了。反射的声音既迟到又模糊。此外,手机还会录到后排的咳嗽声、邻座的低语,以及扩音设备在穿过大厅时对人声造成的各种改变。每个座位收到的录音都略有不同,因此每个座位得到的转录也略有不同。
手机的翻译也只服务一个人。五十位与会者举起五十部手机,就会对同一场演讲产生五十份彼此独立的转录,每份的错误也各不相同。活动结束后,两个人对照笔记,也未必对讲话者说了什么达成一致。与此同时,讲话者面对的是一片举起的手机,很难从中读出听众的反应。
对会场中的某些人来说,这不只是不便,而是决定他们能否跟上演讲。听力受损的与会者,或以第三种语言听讲的人,需要的是一份正确的共同文本,而不是五十份尽力而为的结果。因此,应当只转录讲话者一次,并把同一份结果交给所有人。但只有转录做得好,只转录一次才有价值,而这一切要从音频的来源开始。
转录的质量取决于它所依据的音频。因此,第一个决定不是使用哪种模型,而是把哪一路信号输入模型。第二个决定是,在开始之前告诉模型会遇到什么。
实时转录从已经有干净信号的地方取得音频:
VocalStack 会自行拉取 URL 音频流,您这边无需运行任何程序。RTMP 信号则是反方向:由您的编码器推送过来。讲话者的语言会被自动检测,讲话者也可以随时切换语言。如果您知道讲话所用的语言,而录音嘈杂或口音很重,指定语言会提高准确率。
干净的音频能消除由会场环境造成的错误,但对词汇造成的错误毫无作用,这类错误需要另一种帮助。
手机并不知道谁在讲话、讲的是什么主题,因此产品名或姓氏对它而言只是一个需要去近似的声音。而直播可以预先得知会听到什么。
如果在开始之前添加脚本或幻灯片,其中的人名和术语会优先于引擎误听的结果。录制期间,Script 标签页会像提词器一样跟随讲话者。对于充斥会议和讲座的那类语音而言,这是准确率最大的一项提升:其中密集的专有名词和词汇,是任何通用模型都没有听过足够多次的。
好的音频加上术语表,能消除大部分错误。问题在于,剩下的错误会如何处理。
即使有好的音频和脚本,仍然会有一些句子出错。区别在于接下来发生什么。
在手机上,什么也不会发生。错误的那一行滚动过去,建立在它之上的译文也随之消失。
在直播中,如果某一行不够清楚、不值得展示,它会以“Audio unclear”标注并对听众隐藏,而不会被当作事实呈现。
主办方还有 Fix 标签页:引擎不确定的词语可以被标上颜色并加上下划线,点击某一行即可打开它进行审阅,并且在转录仍在进行时,可以改写任何词语或整行内容。每位听众都会以自己的语言看到更正。每一处修改都有标记,并且可以撤销。
重点不在于服务器从不犯错,而在于错误是可见的,由会场中的某个人负责,并且为所有人修正一次。
更正修改的是听众阅读的内容。更喜欢听讲的听众,听到的也是同一份经过更正的文本,只是以语音朗读。
比起阅读,更喜欢听的听众,可以让每一行译文朗读出来。默认情况下,每位讲话者会分配到一个性别相符、彼此不同的预设语音,因此一个小组讨论听起来仍然是小组讨论。您也可以为每位讲话者指定语音,或将某位讲话者静音。
经讲话者同意后,您还可以进一步克隆其声音:只需 30 秒的讲话,上传为音频片段,或直接取自录音中的讲话者即可;若提供几分钟的语音,效果会更好。之后,译文将以讲话者本人的声音、以每种语言朗读。已保存声音的讲话者,在之后的录音中也可以被识别,不过系统宁可不为讲话者标注姓名,也不愿标错人。
有两条规则是刻意设定的。克隆语音属于生物识别数据:只有在讲话者明确同意的情况下才会制作,并且可以随时删除。另外,声音只会朗读转录文本或其译文,无法被用来说出其本人从未说过的话。
以上一切都发生在讲话者说话的过程中。最后一项区别则出现在讲话者停止之后。
手机上的五十份转录会随应用关闭而消失。直播则会将录音保存在您的资料库中:音频,以及包含每一处更正和译文的转录文本。在这里,可以逐行回放、以任何语言搜索并导出;一个链接,所有语言一文介绍了资料库的功能。听众的数量再多,也不产生额外费用。您只需为转录的音频付费:直播每小时 $0.60,每次转录最少计 5 分钟;费率表见定价页面。
手机在每个人手中,仍然是走廊闲聊的好备选。但对于必须一起理解同一位讲话者的会场而言,讲话者应当从源头转录一次,并且有人能够修正出错的地方。您可以在首页上的互动演示中看到这一效果。