Mae angen i drawsgrifiad wedi'i labelu gael y ddau ateb yn gywir, ac oherwydd bod y labeli'n eistedd ar ben y geiriau, gellir cywiro un anghywir heb gyffwrdd â'r testun.
Mae trawsgrifiad o gyfarfod yn ateb dau gwestiwn ar yr un pryd: beth a ddywedwyd, a phwy a'i dywedodd. Y cyfan a wêl darllenydd yw un swydd, enw wrth ymyl llinell. Oddi tano mae dwy broblem, pob un â'i mewnbynnau ei hun a'i ffyrdd ei hun o fethu.
Mae adnabod lleferydd yn gwrando am eiriau. Mae'n troi sain yn destun ac, pan wneir hynny'n dda, mae'n rhoi amser dechrau a diwedd ar gyfer pob gair. Nid yw'n poeni a newidiodd y llais hanner ffordd drwy frawddeg; ei swydd yw cael y frawddeg yn gywir.
Mae dideoli siaradwyr yn gwrando am leisiau. Nid yw'n gwybod dim am eiriau. Ei swydd yw rhannu'r llinell amser yn droeon a dweud pa droeon sy'n perthyn i'r un person: Siaradwr 1, Siaradwr 2. Benthyciwyd y gair o'r Saesneg "diary", ac mae hynny'n ddarlun teg o'r allbwn: cofnod o bwy oedd yn dal y llawr, a phryd.
Mae tri thymor cyfagos yn cael eu drysu â hyn. Mae dideoli yn dweud pwy sy'n siarad pryd, heb wybod neb. Mae adnabod siaradwr yn dweud pa berson hysbys sy'n perthyn i ddarn o leferydd, gan ddewis o set o leisiau cofrestredig. Mae gwirio siaradwr yn ateb cwestiwn ie-neu-na: ai'r llais hwn yw person X go iawn? Mae hawliadau gwerthwyr yn haws eu darllen unwaith y cedwir y tri ar wahân, oherwydd gall "labeli siaradwyr" olygu unrhyw beth o ddyfaliad bras o ffiniau troeon i enwau sy'n dilyn person o un recordiad i'r nesaf. I weld beth all y labeli hynny ei addo a beth na allant, edrychwch y tu mewn i'r dideoliwr.
Mae'r rhan fwyaf o systemau dideoli yn gweithio mewn tri cham, heb yr un ohonynt yn cynnwys iaith.
Gall pob cam fynd o'i le ar ei ben ei hun. Mae siaradwr tawel yn cael ei golli. Mae dau lais tebyg yn cael eu huno. Mae un person sy'n symud o dawel i fywiog yn cael ei hollti'n ddau.
Mae'r maes yn sgorio hyn i gyd gyda'r gyfradd gwall dideoli, DER: cyfran yr amser lleferydd a gollwyd, a ganfuwyd yn anghywir fel lleferydd, neu a briodolwyd i'r siaradwr anghywir, fel arfer gyda choler maddeuant tua chwarter eiliad o amgylch pob ffin. Mae'r goler yn bodoli oherwydd nad oes neb, dyn na pheiriant, yn gallu gosod newid siaradwr i'r milieiliad. Mae'r goddefgarwch hwnnw'n iawn i sgorio dideoliwr ar ei ben ei hun. Nid yw'n iawn i drawsgrifiad, lle mae ffin sy'n chwarter eiliad i ffwrdd yn glanio ar air.
Dyma lle mae'r ddwy broblem yn cyfarfod, a lle mae ansawdd trawsgrifiad wedi'i labelu'n cael ei benderfynu. Mae dideoliwr yn gosod ei ffiniau gydag ychydig o amhenodoldeb, yn aml ffracsiwn o eiliad y naill ffordd neu'r llall. Mae adnabyddwr yn gosod geiriau ar yr un llinell amser. Os gosodir y ddau dros ei gilydd yn ddiofal, mae ffin yn glanio y tu mewn i air, fel bod hanner "yfory" yn perthyn i Siaradwr 1 a'r hanner arall i Siaradwr 2.
Gall labeli fod yn anghywir am beth amser cyn bod yn gywir. Mae dideoliwr yn dod yn fwy sicr o'i grwpiau po fwyaf o sain y mae wedi'i glywed, felly gall label cynnar edrych yn anghywir yn ôl safonau'r hyn sy'n dod yn ddiweddarach. Ar drawsgrifiad byw gellir diwygio label ar ôl i linell gael ei dangos: mae API amser real VocalStack yn anfon ffrâm transcript.amended sy'n cywiro testun neu siaradwr llinell a gadarnhawyd yn ei lle, fel bod darllenydd yn gweld y diwygiad yn hytrach na gwrthddywediad.
Hyd yn oed label wedi'i osod yn berffaith ac yn sefydlog, nid yw ond yn rhif o hyd. Mae rhif yn ddigon i ddilyn sgwrs; enw yw'r hyn y mae pobl eisiau ei ddarllen.
Mae label yn troi'n enw mewn dwy ffordd, ac maen nhw'n adeiladu ar ei gilydd.
Y cyntaf yw enwi o fewn recordiad. Mae pob siaradwr y mae trawsgrifiad yn ei ganfod yn cael mynegai, wedi'i rifo o 0. Gall unrhyw un sydd â mynediad enwi pob siaradwr yn ystod y recordiad neu ar ei ôl. Haen dros y geiriau yw'r enw, felly gellir ei osod, ei newid neu ei glirio heb gyffwrdd â'r testun. Dros yr API, dyna PUT /v1/recordings/{id}/speakers/{idx} gyda name; mae enw gwag yn clirio'r enw. Nid oes gan linell y mae ei speaker yn -1 label, naill ai oherwydd bod labeli wedi'u diffodd neu, mewn drafft byw, oherwydd nad yw'r llinell wedi'i phriodoli eto.
Yr ail yw adnabod ar draws recordiadau, y broblem adnabod o'r adran gyntaf. Dim ond dweud bod dau lais yn wahanol y gall dideoliwr, byth pwy ydyn nhw. I fynd o "gwahanol" i "dyma Ana", mae angen cyfeirnod ar y system: llais wedi'i gadw, wedi'i gymryd o recordiad o'r un person hwnnw. Deg eiliad ar hugain o leferydd glân yw'r isafswm, ac mae ychydig funudau'n well. Dylai'r sampl hefyd swnio fel y recordiadau y bydd yn cael ei gymharu â hwy: gall yr un person ar feicroffon gliniadur ac ar feicroffon llwyfan swnio'n llai tebyg i beiriant na dau ddieithryn wedi'u recordio yn yr un modd. Unwaith y cedwir llais, mae pob siaradwr y mae trawsgrifiad yn ei glywed yn cael ei gymharu ag ef, ac mae paru yn cario'r enw i'r trawsgrifiad. Yn VocalStack mae hyn yn byw o dan Lleisiau; mae trawsgrifiadau ffeil a sesiynau byw y Dangosfwrdd yn paru eich lleisiau wedi'u cadw'n awtomatig, ac mae sesiwn API amser real ond yn cydnabod y lleisiau a restrwch yn identifyVoices.
Mae llais wedi'i gadw yn ddata biometrig: gall adnabod person mewn unrhyw recordiad, ac yn VocalStack mae hefyd yn gweithredu fel clôn a all ddarllen eu llinellau'n uchel. Mae'r Dangosfwrdd yn gofyn i chi gadarnhau bod gennych ganiatâd y person cyn cadw un, a gellir dileu llais ar unrhyw adeg.
Mae hyn i gyd yn tybio eich bod eisiau labeli o gwbl. Yn aml nid ydych.
Nid oes angen "Siaradwr 1" o flaen pob llinell ar un person sy'n darllen darlith. Mae'r gynulleidfa eisoes yn gwybod pwy sydd â'r meicroffon. Felly mae gan y gosodiad labeli siaradwyr dri safle, ac maen nhw'r un fath ar sesiwn amser real, darllediad, trawsgrifiad a recordiad.
auto yn yr API). Mae llinellau'n cael eu labelu gyda'u siaradwr unwaith y clywir mwy nag un llais; mae recordiad un siaradwr yn aros yn destun plaen, ac mae ail lais sy'n ymuno'n hwyr yn dal i gael ei godi. Dyma lle mae ffurflen trawsgrifio byw newydd y Dangosfwrdd yn cychwyn.Mae uwchlwytho ffeil yn cymryd yr un opsiwn speakerLabels, ac mae'r API amser real yn gadael i chi newid yn ystod y ffrwd; mae'r manylion yn gyfeirnod yr API. Nid yw gwahanu a enwi siaradwyr byth yn ychwanegu at y bil (mae'r tudalen brisiau yn cynnwys y gyfradd), felly mae'r dewis yn ymwneud â'r hyn y dylai'r darllenydd ei weld, nid â faint y mae'n ei gostio.
Wedi'i droi ymlaen, mae dideoli yn dda ond nid yn hud. Mae dau sefyllfa'n dal i'w guro.
Y cyntaf yw gorgyffwrdd. Pan fydd dau berson yn siarad ar yr un pryd, mae un darn o sain yn cario dau lais. Mae dideoliwyr sy'n ymwybodol o orgyffwrdd yn bodoli mewn ymchwil ac, fwyfwy, mewn cynhyrchion: er enghraifft, mae dideoli niwral o'r dechrau i'r diwedd (EEND) yn trin "pwy sy'n siarad" fel set o gwestiynau ie-neu-na cydamserol yn hytrach nag un ateb. Ond mae'r rhan fwyaf o systemau cynhyrchu'n dal i neilltuo un siaradwr i bob darn, ac mae'r adnabyddwr ar ben y rhain yn trawsgrifio un llais ar y tro. Siarad dros ei gilydd mewn panel poeth yw'r sain galetaf yn y maes, ac mae labeli pob gwerthwr yn gwaethygu yno. Hefyd, dyma'r rhan y mae pawb yn awyddus i'w dyfynnu wedyn, yn ddibynadwy.
Yr ail yw siaradwyr tebyg iawn. Gall brodyr a chwiorydd gynhyrchu mewnosodiadau sy'n rhy agos i'w gwahanu'n ddibynadwy, yn enwedig pan fyddant yn cyfnewid troeon byr am awr. Mae sain ffôn yn gwneud hyn yn waeth i bawb: mae llinell gul yn cael ei samplu ar 8 kHz ac nid yw'n cario dim uwchben tua 3.4 kHz, ond mae llawer o'r hyn sy'n gwahaniaethu un llais oddi wrth un arall yn gorwedd uwchben y torbwynt hwnnw. Mae dau berson ar yr un llinell ffôn yn swnio'n fwy tebyg i ddideoliwr nag y maen nhw i chi.
Y ffordd fwyaf ymarferol o ddatrys y ddau yw cyn unrhyw fodel: rhowch feicroffon ei hun i bob person. Gyda un sianel fesul siaradwr, mae dideoli'n cael ei leihau i ofyn pa sianel sy'n uchel, mae gorgyffwrdd yn dod yn ddau drac glân yn lle un aneglur, ac nid oes gofyn i'r mewnosodiadau wneud y gwaith caled. Mae un meicroffon bwrdd yn rhatach a dyna bron bob amser sydd gennych, a dyna pam mae gweddill yr erthygl hon yn bodoli.
Nid oes rhaid i'r un o'r ddau gyfyngiad gyrraedd y darllenydd heb newid. Gan fod labeli'n haen dros y geiriau, nid yw label anghywir byth yn costio'r testun i chi: gellir gosod neu glirio enwau siaradwyr ar recordiad ar unrhyw adeg, ac mewn trawsgrifiad byw gall y gwesteiwr ailysgrifennu unrhyw air neu linell tra bod y sesiwn yn dal i redeg, gyda phob cywiriad wedi'i nodi a'i ddadwneud.
Ar yr ochr eiriau, mae beth mae cyfradd gwallau geiriau yn ei fesur a beth mae'n ei golli yn trafod haenau cywiro mewn manylder; mae WER i'r adnabyddwr yr hyn yw DER i'r dideoliwr, ac mae angen i'r ddau fod yn isel mewn trawsgrifiad.