Mae WER yn pwyso enw anghywir, rhif anghywir ac "nid" a gollwyd yn gyfartal â "y" a ollyngwyd. Barnwch system drawsgrifio yn ôl pa wallau y mae'n eu dal a pha un a allwch weld ei chywiriadau, nid yn ôl ei ffigur pennawd.
Cyfradd gwallau geiriau yw'r mesur safonol ar gyfer adnabod lleferydd. Cymerwch drawsgrifiad cyfeirio y mae rhywun wedi'i wirio, aliniwch allbwn y peiriant yn erbyn hwnnw gair wrth air, a chyfrifwch dri math o gamgymeriad: amnewidiadau (gair anghywir), mewnosodiadau (gair na ddywedwyd erioed) a dileadau (gair ar goll). Adiwch nhw i gyd a rhannwch â nifer y geiriau yn y cyfeirnod.
WER = (amnewidiadau + mewnosodiadau + dileadau) / geiriau yn y cyfeirnod
Nid yw'r aliniad yn cael ei wneud â llygad. Mae'r ddau drawsgrifiad yn cael eu halinio yn ôl y pellter golygu lleiaf (pellter Levenshtein, wedi'i gymhwyso i eiriau yn hytrach na llythrennau): o'r holl ffyrdd o baru allbwn â'r cyfeirnod, mae'r sgoriwr yn dewis yr un â'r lleiaf o olygiadau ac yn cyfrif y rheiny. Gan fod mewnosodiadau'n cyfrif a bod y rhannydd yn hyd y cyfeirnod, gall WER fod yn uwch na 100 y cant: mae model sy'n llenwi munud dawel â thestun yn sgorio'n waeth na'r un nad yw'n ysgrifennu dim.
Tybiwch mai'r cyfeirnod yw "byddwn yn cyfarfod Dr Okafor am naw ddydd Iau", naw gair, a bod y peiriant yn ysgrifennu "byddwn yn cyfarfod y meddyg am naw ddydd Mawrth". Dyna dri amnewidiad (Dr, Okafor, Iau) dros naw gair: WER o 33 y cant. Mae dwy ran o dair o'r geiriau'n gywir, ac rydych dal yn y cyfarfod anghywir ar y diwrnod anghywir. Pe bai "Iau" yn anghywir yn unig, byddai'r sgôr yn 11 y cant. Mae fersiwn lle mae pob gair yn gywir ond gydag "um" ychwanegol na ddywedodd neb hefyd yn sgorio 11 y cant, oherwydd bod mewnosodiad yn cyfrif yr un fath ag amnewidiad.
Cyn cyfrif, mae'r ddau destun fel arfer yn cael eu normaleiddio, ac mae'r dewisiadau a wneir yno'n symud y sgôr cymaint â'r model. Ai'r un gair yw "Dr" â "Doctor"? Ai'r un peth yw "naw" a "9"? A yw priflythrennau ac atalnodi'n cyfrif? Byddai sgorio llym yn nodi "Dr" yn erbyn "Doctor" fel amnewidiad. Mae'r rhan fwyaf o sgoriau cyhoeddedig yn troi popeth yn llythrennau bach, yn tynnu atalnodi ac yn ysgrifennu pob rhif mewn un ffordd, fel geiriau neu fel digidau, cyn cymharu. Felly mae ffigur gwerthwr yn dibynnu'n dawel ar normaleiddiwr na allwch ei weld. Nid oes gan ieithoedd sy'n cael eu hysgrifennu heb fylchau rhwng geiriau, fel Tsieineeg, Japaneeg a Thai, ffin eiriau glir i'w chyfrif, felly fe'u sgorir yn lle hynny yn ôl cyfradd gwallau nodau (CER): yr un fformiwla, wedi'i chymhwyso i nodau.
Mae dau oblygiad i hyn. Yn gyntaf, mae cyfradd WER o 5 y cant yn golygu un gair mewn ugain, sy'n dod i sawl cant o eiriau mewn sgwrs awr o hyd. Er cymhariaeth, dyfynnir trawsgrifwyr dynol yn aml ar oddeutu 4 i 5 y cant ar leferydd sgyrsiol, ac roedd canlyniad a ddyfynnir yn helaeth o 2017 ar gorpws ffôn Switchboard yn rhoi peiriant tua 5.1 y cant, er bod y ddau ffigur yn dibynnu ar y sain a'r rheolau sgorio. Yn ail, mae'r rhif yn dibynnu'n llwyr ar y sain brawf: mae lleferydd darllen glân yn rhoi un ffigur, a phanel swnllyd gydag acenion a siarad croes yn rhoi ffigur hollol wahanol. Mae WER pennawd yn disgrifio set brawf y gwerthwr cymaint ag y mae'n disgrifio system y gwerthwr.
Dyna'r cyfrif. Yr hyn nad yw'n ei gynnwys yw cost pob gwall i'r person sy'n darllen.
Mae WER yn trin pob gair yn gyfartal. Nid felly y mae darllenwyr:
Mae pob un o'r rhain yn un neu ddau o wallau yng ngholofn WER. Yng ngholofn y darllenydd maen nhw'n amrywio o ddim byd i gyfarfod gwahanol ar ddiwrnod gwahanol. Felly nid y cwestiwn yw "beth yw'r gyfradd gwallau" yn unig, ond "pa fathau o wallau, a beth sy'n eu dal".
Mae sawl haen yn dal yr hyn y mae adnabod yn ei gamgymryd, ac mae pob newid yn cael ei gofnodi fel y gellir ei archwilio a'i wrthdroi. Ar drawsgrifiad byw, mae hyn yn digwydd tra mae'r testun yn dal i gyrraedd: mae pob llinell yn ymddangos gyntaf fel drafft a all newid o hyd, ac yna'n dod yn derfynol (Oedi cyfieithu byw, wedi'i egluro yn esbonio pam).
Mae rhai camgymeriadau'n cyd-fynd â'r sain ond nid â'r frawddeg: "their" lle mae'r frawddeg angen "there". Gellir dal y rhain o'r cyd-destun, a bydd cywiriad yn cyrraedd darllenwyr fel diweddariad gweladwy (transcript.amended yn yr API), nid ailysgrifennu tawel. Mae cyd-destun yn dda ar gyfer geiriau y gall y frawddeg eu rhagweld. Mae'n ddiymadferth gyda'r rhai na all eu rhagweld.
Enwau a thermau technegol yw'r gwallau na all cyd-destun eu trwsio, oherwydd yn aml dim ond unwaith y mae enw'n ymddangos, heb ddim o'i gwmpas i'w ragweld ohono. Mae sgript cyfeirio yn datrys hyn: rhowch y lleferydd, y sleidiau neu restr o enwau a thermau i'r system cyn i chi ddechrau, ac mae ei geiriau'n cael blaenoriaeth dros yr hyn a glywodd yr injan yn anghywir. Yn ystod y recordiad, mae'r sgript yn dilyn y trawsgrifiad fel autocue, fel y gall y gwesteiwr weld pa mor bell y mae'r injan wedi cyrraedd. Mae sgript yn cwmpasu'r geiriau y gallwch eu rhagweld; mae sain swnllyd ac acenion yn cynhyrchu'r rhai na allwch.
Mae rhai gwallau dim ond person yn yr ystafell all eu gweld. Mae cywiriadau â llaw yn caniatáu i'r gwesteiwr ailysgrifennu unrhyw air neu linell tra bod y trawsgrifiad yn dal yn fyw, ac mae pob gwrandäwr ar y darllediad yn gweld y newid. Mae'r system yn tynnu sylw'r gwesteiwr at yr ymgeiswyr tebygol: gall geiriau yr oedd yr injan yn ansicr ohonynt gael eu lliwio a'u tanlinellu, a gall y gwesteiwr fynd trwy'r segmentau ansicr un ar y tro yn hytrach nag ailddarllen y trawsgrifiad cyfan. Trwy'r API, mae GET /v1/recordings/{id}/corrections yn rhestru cywiriadau recordiad ac mae POST /v1/corrections/{id}/revert yn dadwneud un; gweler y cyfeirnod API. Hyd yn oed felly, ni all person yn yr ystafell gywiro llinell na allai neb ei chlywed.
Mae'r haen olaf yn derbyn nad yw rhywfaint o sain yn adferadwy. Pan fydd llinell yn sgorio'n is na throthwy hyder y trawsgrifiad (confidence.hideBelow, 0.60 yn ddiofyn), mae gwrandawyr yn gweld "Sain aneglur" yn ei lle yn lle dyfaliad, ac nid yw'r llinell byth yn cael ei darllen yn uchel. Mae darllenwyr yn colli llinell; nid ydynt yn ennill un ffug.
Mae'r cwestiynau a siapiodd yr haenau hyn yn gweithio ar unrhyw hawliad cywirdeb gwerthwr, gan gynnwys ein un ni.
Rhestr wirio fer ar gyfer darllen unrhyw hawliad cywirdeb:
Nid yw VocalStack yn cyhoeddi ffigur WER mewnol, am y rheswm cyntaf uchod: byddai'n disgrifio ein set brawf, nid eich sain. Rydym yn mesur cywirdeb yn barhaus. Pan fyddwn yn cymharu systemau eraill, rydym yn defnyddio meincnodau annibynnol cyhoeddedig a ffigurau a gyhoeddir gan werthwyr, byth profion preifat. Y gweddill yw i'ch sain eich hun ei benderfynu.
