一份糟糕的转录文本通常只有一两个原因,而页面上的错误会告诉你是哪几个。七种常见的音频转录错误成因,每一种看起来是什么样、为什么会发生,以及在录音和转录文本中的修复方法。
音频转录错误很少是随机的。如果转录文本把“Kubernetes”写成“Cooper Netties”,把两个人的话归到同一个名字下,或者在说话人说“fifteen”的地方写成“fifty”,它其实已经告诉你问题出在哪里。每种原因都会留下自己独特的错误,也各有各的解决办法。有些办法属于下一次录音,有些则属于你手头已有的转录文本。
本指南从错误出发。在下面的列表中找出与你的转录文本相符的那一种,然后跳到对应的章节:错误长什么样、用通俗的话说它为什么会发生,以及该怎么处理。
大多数转录问题可以归入七种模式。把症状和原因对应起来:
两种原因经常叠加。一位戴着耳机、在嘈杂咖啡馆里带着口音说话的远程嘉宾,会同时造成三种错误。先解决影响行数最多的原因:通常先是音频,然后是语言,最后才是具体的词。
表现。 在咖啡馆录制的音频里,“Let's move the launch to March”被转成“Let's move the lunch to March”。一声摔门的巨响下,一个词消失了。在空调嗡嗡作响的长时间静默中,出现了一行没人说过的话,比如“Thank you for watching.”。
原因。 语音识别会根据收到的声音猜测最可能的词。噪音首先盖住语音中较轻的部分:词尾和夹在中间的短词。真实信号变少之后,猜测就更依赖“通常接下来会出现什么”,而“lunch”比“launch”常见得多。在完全没有语音的稳定噪音之上,有些系统仍然会输出一句固定的话,因为它们被训练成只要听到声音就要写点什么。
在录音中修复。 把麦克风移近说话人,而不是把音量调大。距离加倍会使说话人的直达声减弱约 6 dB,而房间噪音保持不变,所以靠近比任何设置都管用。如果可以,录音时关掉风扇和空调,并在有软装饰面的房间里录音,而不是玻璃和瓷砖的房间。
在转录文本中修复。 对于嘈杂的录音,在 VocalStack 中请指定口语语言,而不要使用自动语言检测。控制台自己的提示就是这么说的:指定语言可提高嘈杂录音和浓重口音下的准确度。对于实时转录,Accuracy 延迟模式愿意接受稍多一点的延迟,换取在困难音频上更少的错误。引擎最没把握的行(低于该转录的置信度阈值,默认 0.60)会向听众显示为“Audio unclear”,而不是一个猜测,并且永远不会被朗读出来。纯属凭空捏造的一行可以手动隐藏:被隐藏的行不会出现在转录文本、导出文件、字幕和播放器中。
表现。 “The data shows a thirty percent rise”变成“The data shows a dirty percent rise”。这些错误跟着某一位说话人贯穿整段录音,其他人的行则干干净净。
原因。 识别系统是从训练时用到的语音中学会词语听起来是什么样的。当说话人对某个音的发法与那些语音中的大多数不同,比如把“th”发成“d”,系统恰恰听到了所说的内容,并选择与该声音最匹配的真实词语。自动语言检测可能让情况更糟:浓重的口音会把线索推向完全不同的另一种语言(参见自动语言检测的工作原理)。
在录音中修复。 对于现场演讲,开始前先添加参考脚本(Reference Script,见下面关于术语的章节),让说话人可能说出的词提前为系统所知。好的麦克风对任何口音都有帮助,因为每个音都有更多信息送达引擎。
在转录文本中修复。 为该录音指定口语语言。然后使用 Fix 选项卡:Mark uncertain words 会为引擎不确定的词着色并加下划线,你可以逐个跳转到不确定的片段,而不必把全文重读一遍。引擎考虑过其他词时,会把它们作为建议的修正列出,所以把“dirty”改成“thirty”通常点一下就行。Play just this word 让你在修改前先用耳朵确认。
表现。 一位说话人问“So we agree on Tuesday?”,另一位插话说“No, Thursday works”。转录文本只在 Speaker 1 名下显示一行:“So we agree on Tuesday no Thursday works.”。或者相反:会议进行到一半时情绪激动起来的一个人,被显示成 Speaker 1 和 Speaker 3。
原因。 底层其实有两项独立的工作。语音识别负责写出词语;说话人分离则根据每个声音的特征判断谁在什么时候说话。大多数系统会给每一段音频指定一位说话人,所以两个人同时说话时,其中一人就吃亏了。一个人声音的变化(兴奋、疲倦、离麦克风更远)会让他看起来像一个新的人。说话人分离与语音识别详细解释了这两项工作。
在录音中修复。 给每个人配一支自己的麦克风。对于多位说话人,这一项改变比任何设置都管用。在小组讨论或有观众提问的会议上,请主持人在回答前用自己的麦克风把每个问题复述一遍。
在转录文本中修复。 选择说话人标签设置:When Needed(默认)在听到第二个声音后才开始为行加标签,On 为每一行加标签,Off 则一个都不加。在录音期间或之后为每位说话人命名。名字是覆盖在文字之上的一层,所以绝不会改动文本,并且会应用到该转录中每一段录音里的这个人。把你经常录音的说话人保存下来,之后的转录就能按名字认出他们。把两句话连在一起的一行可以拆成两行:点击新一行开始的位置即可。
表现。 “We deployed it on Kubernetes”变成“We deployed it on Cooper Netties”。“Ms Nguyen”变成“Miss Win”。一个药名变成三个简短的英文词。句子的其余部分都没问题。
原因。 系统只能写出它认识的词,而一个名称往往只出现一次,周围也没有任何可以据此预测它的内容。当它从未见过这个词时,就会选发音最接近的普通词。这是准确转录专业术语时最难的情形:句子本身没有任何线索,再多的上下文也无济于事。
在录音中修复。 在说话人说出这些词之前就把它们告诉系统。在 VocalStack 中,这就是参考脚本(Reference Script):开始前添加现场演讲的稿子或幻灯片,或者一份名称与术语的列表,其中的名称和术语会优先于被听错的内容。演讲过程中,脚本会像提词器一样跟随转录文本。每一个被脚本纠正的词,都会在修正列表中标为 SCRIPT,如果说话人确实说的是别的,可以撤销。
在转录文本中修复。 把名称改正一次,再用搜索检查其余位置。转录处于实时状态时,修正会送达每一位听众,以他们正在阅读的每种语言呈现,而且每一处修正都列有记录,可以撤销。导出文件(SRT、PDF、Excel、JSON)包含这些修正,因此字幕和文档都带有改正后的拼写。
表现。 一场演讲以西班牙语问候开头,随后转为英语,英语部分却变成看似西班牙语的胡言乱语。或者一份英文转录中间的几行,出现成了某种相近的语言。有些系统在语言设置错误时,会写出一份粗糙的翻译,而不是所说的原话。
原因。 没有指定语言时,系统必须从声音中检测语言,往往只依据最初几秒。问候语、引语或浓重的口音,都可能把它引向错误的方向。一旦选错了语言,那一段里的每个词就会一起出错。
在录音中修复。 如果录音只使用一种语言,就指定它。当确实有两种或更多语言在使用时,保持检测开启,这样每一部分都会用各自的语言转录;只指定一种语言会把另一种硬塞进去。实时转录进行时可以更改语言,更改会立即生效。
在转录文本中修复。 被听成错误语言的行无法逐词修正,因为其中没有一处是对的。VocalStack 可以重新转录这一行:选择它实际使用的语言,该行的音频就会用那种语言重新识别。结果会作为一次普通修正替换该行,撤销方式与其他修正相同。
表现。 在一段英文录音中,“The fees went up”变成“The thieves went up”,“free”和“three”互相调换。错误遍布整段录音,在通话中的远程说话人身上最严重。
原因。 区分“f”“s”和“th”的许多声音位于频率范围的高端。电话线路无法传输约 3.4 kHz 以上的内容,蓝牙耳机常常会把麦克风切换到频带窄得多的通话模式。视频通话中的低码率压缩会去掉更多。系统收到的音频里这些声音已经不存在了,只能在如今听起来完全一样的词之间猜。
在录音中修复。 使用有线麦克风,或者麦克风保持在全音质模式的耳机。如果可以,让每位远程说话人在自己那一端录音,而不是录整个通话。对于活动,请从调音台取音频信号,而不是用会场里的笔记本电脑或手机麦克风:VocalStack 的实时设置只需要从调音台接出一根线,而手机内置麦克风会收进更多房间里的声音。
在转录文本中修复。 从未被采集的音频无法恢复,无论是机器还是人都做不到。利用不确定词的标记找到受损的片段,播放该行来核对,并改正你能听清的内容。当没有人能分辨说了什么时,隐藏该行比留下一个猜测更诚实。
表现。 “Fifteen”变成“fifty”。“One twenty”变成“120”,而说话人其实说的是一美元二十美分。“The third of the fourth”被写成顺序错误的日期。每个错误都只涉及一个词,句子里其他词都是对的。
原因。 “Fifteen”和“fifty”的区别主要在于哪个音节重读,而这种区别是在噪音或说话人语速很快时最先丢失的。口头说出的数字也省略了书面数字所需要的内容:单位、小数点、日和月的顺序。系统只能猜格式,而它的猜测是最常见的格式,不一定是你的。
在录音中修复。 请说话人把数字完整说出来,并带上单位:“one dollar twenty”“the fifteenth of March”。对于有准备的演讲,把这些数字放进脚本里。
在转录文本中修复。 在转录文本被引用、发送或发布之前,用耳朵核对每一个重要的数字。错误的数字读起来和正确的一样,所以页面上没有任何东西会提醒你。词错误率衡量什么、又遗漏什么解释了为什么一个错误的数字造成的损失,超过它在错误率中所占的份额。
当一份转录文本问题很多时,按下面的顺序修复,这样任何一次修复都不会被下一次推翻:
然后让下一次录音更容易:每位说话人一支麦克风,指定好语言,并准备一份包含这些名称的脚本。大多数音频转录错误,在有人按下录音键之前就已经决定了。
对于听证会、医疗问诊,或任何一个词出错就会产生后果的场合,无论转录文本由哪个系统生成,使用前都应由人工核对。想知道你自己的音频会产生上面哪些错误,可以在控制台里试一段录音。