Trawsgrifio a chyfieithu amser real wedi'u hesbonio: sut mae lleferydd i destun byw yn gweithio, yr oedi, beth sy'n effeithio ar gywirdeb a'r gost.
Mae trawsgrifio amser real yn troi lleferydd yn destun tra bo'r person yn dal i siarad. Mae geiriau'n ymddangos ar y sgrin eiliadau ar ôl iddynt gael eu llefaru, yn setlo'n llinellau terfynol, a gall unrhyw un sy'n dilyn eu darllen. Ychwanegwch gyfieithu amser real a gall pob darllenydd ddilyn yr un lleferydd yn ei iaith ei hun, fel testun neu wedi'i ddarllen yn uchel.
Mae'r canllaw hwn yn ymdrin â thrawsgrifio a chyfieithu amser real o'r ddwy ochr: beth mae gwrandäwr yn ei weld, o ble y gall y sain ddod, beth sy'n penderfynu cywirdeb, beth mae datblygwyr yn ei gael o API, a beth mae'n ei gostio.
Trawsgrifio amser real, a elwir hefyd yn drawsgrifio byw neu leferydd i destun byw, yw adnabod lleferydd sy'n rhedeg tra bo'r sain yn dal i gyrraedd. Gellir trawsgrifio ffeil wedi'i recordio â'r recordiad cyfan wrth law. Rhaid i drawsgrifiad byw ymrwymo i eiriau gyda dim ond yr ychydig eiliadau diwethaf i fynd arnynt, a chadw i fyny â'r siaradwr cyhyd ag y mae'n siarad.
Capsiynau byw yw'r un peth wedi'i ddangos fel llinellau byr dros fideo neu ar sgrin.
Ar VocalStack gall trawsgrifiad byw wrando mewn 100 iaith. Mae'n canfod yr iaith lafar ohono'i hun ac yn dilyn y siaradwr os bydd yn newid, y mae sut mae canfod iaith awtomatig yn gweithio yn ei esbonio, ynghyd â phryd i enwi'r iaith ymlaen llaw.
Mae testun yn cyrraedd mewn dau gam. Mae'r geiriau diweddaraf yn ymddangos yn gyntaf fel drafft, a all newid o hyd wrth i ragor o sain ddod i mewn. Eiliad yn ddiweddarach mae'r drafft yn setlo'n llinell derfynol nad yw'n newid eto.
Mae'r drafft yn bodoli oherwydd bod adnabyddwr yn penderfynu ar air yn rhannol yn ôl yr hyn sy'n ei ddilyn. Mae "Ice cream" ac "I scream" yn swnio'n debyg nes i'r gair nesaf gyrraedd. Dangos y dyfaliad yn gynnar yw'r hyn sy'n gwneud i drawsgrifiad deimlo'n fyw.
Mae pa mor bell y tu ôl i'r siaradwr y mae'r testun yn rhedeg yn dibynnu ar y cam:
Mae dau oedi y tu allan i'r gadwyn honno. Pan fo'r ffynhonnell yn ffrwd gyhoeddus yn hytrach na meicroffon, mae'r ffrwd ei hun eisoes ar ei hôl hi o'i hymyl fyw: eiliad neu dair ar gyfer ffrwd radio rhyngrwyd plaen, a rhwng sawl eiliad a hanner munud ar gyfer HLS. Ac ar Talu wrth fynd, gall trawsgrifiad byw gymryd hyd at 15 eiliad i ddechrau. Mae'r dadansoddiad llawn, gan gynnwys y dulliau oedi Auto, Fast ac Accuracy, yn Oedi cyfieithu byw, wedi'i esbonio.
Mae cyfieithu'n rhedeg ar ben y trawsgrifiad. Gellir cyfieithu trawsgrifiad byw i hyd at 10 iaith ar unwaith, wedi'u dewis o 100. Mae pob gwrandäwr yn dewis un o'r rheini ar ei ddyfais ei hun a gall ei newid ar unrhyw adeg; caiff y trawsgrifiad hyd yma ei ddangos eto yn yr iaith newydd.
Caiff pob iaith ei chyfieithu o'r un trawsgrifiad, felly mae pob gwrandäwr yn cael yr un geiriau, ac mae cywiriad yn cyrraedd pob un ohonynt.
Gall gwrandäwr a fyddai'n well ganddo wrando na darllen gael pob llinell wedi'i chyfieithu wedi'i darllen yn uchel. Yn ddiofyn caiff pob siaradwr lais stoc gwahanol sy'n cyfateb i'w ryw, felly mae panel yn dal i swnio fel sawl person. Gyda chydsyniad siaradwr, gall gwesteiwr glonio llais y siaradwr hwnnw o tua 30 eiliad ohono'n siarad ar ei ben ei hun, ac yna caiff y cyfieithiad ei ddarllen yn ei lais ei hun.
Mae'r rheol ar gyfer lleisiau'n gul yn fwriadol. Dim ond yr hyn a ddywedodd yr un person y mae llais yn ei ddarllen, wedi'i gyfieithu i iaith a ddewisodd y gwrandäwr. Nid yw byth yn darllen testun y mae rhywun yn ei deipio, ac nid yw byth yn darllen geiriau un siaradwr yn llais siaradwr arall.
Mae sut mae hyn yn gweithio ar gyfer ystafell gyfan, o osodiad y gwesteiwr i wrandäwr sy'n cyrraedd yn hwyr, yn Un ddolen, pob iaith.
Mae angen ffynhonnell sain ar drawsgrifiad byw. Dyma'r rhai y mae VocalStack yn eu cymryd heddiw:
Mae capsiynau y tu mewn i chwaraewr YouTube ei hun, drwy ei fotwm CC, yn dod yn fuan. Tan hynny, mae gwylwyr ffrwd YouTube yn dilyn y capsiynau ar ddolen y darllediad.
Os oes angen trawsgrifio byw arnoch ar Windows heddiw, mae'r estyniad Chrome neu Edge, yr ategyn OBS a'r Dashboard mewn porwr i gyd yn gweithio yno.
Darllediad yw'r ffordd y mae pobl eraill yn dilyn trawsgrifiad byw. Mae'n un ddolen a chod QR. Mae gwrandawyr yn ei agor mewn porwr, yn dewis iaith ac yn darllen ymlaen. Nid oes angen cyfrif arnynt, nid ydynt yn gosod dim, ac nid ydynt yn costio dim: nid yw'r bil yn newid gyda nifer y gwrandawyr na'r ieithoedd.
Mae darllediad yn gyhoeddus yn ddiofyn a gellir ei ddiogelu â chyfrinair. Os byddwch yn ailenwi ei ddolen, mae'r hen un yn dal i weithio, felly nid yw cod QR a argraffwyd ar raglen yn mynd yn hen. Gall un darllediad gario sawl trawsgrifiad byw, felly gall dau lwyfan rannu un ddolen.
Mae gwrandäwr sy'n cyrraedd yn hwyr yn gweld popeth a ddywedwyd cyn iddo ddod i mewn, yna'n dilyn yn fyw. Wedyn mae'r olwg Audience yn dangos pwy a wrandawodd, ym mha iaith, a phryd yr ymunodd.
Ar gyfer digwyddiadau, mae'r rhestr wirio cynhadledd amlieithog yn ymdrin â sain, llwyfannau a chyllideb, ac mae trawsgrifio byw ar gyfer eglwysi, neuaddau darlithio a siambrau cyngor yn ymdrin â'r fersiwn wythnosol o'r un gosodiad.
Gellir gwneud popeth uchod o god. Ar gyfer sain fyw yn eich ap eich hun, mae gan yr API sesiynau amser real: mae eich gweinydd yn gwneud un alwad i POST /v1/realtime/sessions gydag allwedd API ac yn cael streamUrl byrhoedlog yn ôl. Mae eich cleient yn agor WebSocket iddo, yn anfon sain amrwd wrth iddi gael ei chipio, ac yn darllen y trawsgrifiad yn ôl fel fframiau JSON.
Mae'r fframiau'n dilyn yr un ddau gam ag y mae darllenydd yn eu gweld. Mae transcript.draft yn disodli'r gynffon fyw, mae transcript.committed yn ychwanegu llinell derfynol, a chyda chyfieithu ymlaen, mae brawddegau cyfan yn cyrraedd gyda'u cyfieithiadau ynghlwm. Gellir newid ieithoedd targed, labeli siaradwyr a'r dull oedi yng nghanol sesiwn gyda session.update.
Nid yw sesiwn amser real yn storio dim. Pan fyddwch am gadw'r geiriau, eu cywiro a'u rhannu â chynulleidfa, rydych yn cyhoeddi'r sain i drawsgrifiad byw a darllediad yn lle hynny. Mae SDKs swyddogol ar gyfer TypeScript, Python a PHP yn lapio'r ddau, ac mae gweinydd MCP yn gadael i gynorthwyydd AI ddefnyddio'r un cyfrif.
Mae'r tiwtorial WebSocket yn adeiladu golwg capsiynau sy'n gweithio gam wrth gam, ac mae gan y cyfeirnod API bob maes. Caiff defnydd API ei godi ar yr un gyfradd â'r Dashboard.
Caiff cywirdeb ei benderfynu'n bennaf cyn i unrhyw adnabyddwr redeg, gan y sain a roddir iddo. Mae pedwar peth yn gwneud y gwahaniaeth mwyaf.
Y meicroffon. Mae meicroffon yn agos at y siaradwr, neu borthiant o ddesg gymysgu'r lleoliad, yn cario'r llais gydag ychydig iawn o'r ystafell ynddo. Mae ffôn ar fwrdd yn clywed y siaradwr ynghyd ag adlais, cadeiriau a pheswch. Dyma'r ffactor unigol mwyaf, ac mae pam nad yw ffôn yn ddigon ar gyfer ystafell yn esbonio pam.
Sŵn a gorgyffwrdd. Mae sŵn cefndir yn achosi geiriau a ollyngir a rhai a ddyfeisir, ac mae dau berson yn siarad ar unwaith yn drysu'r geiriau a phwy a'u dywedodd. Mae gwallau trawsgrifio sain yn rhestru saith achos cyffredin, sut mae pob un yn edrych a sut i'w drwsio.
Sgript cyfeirio. Caiff enwau a thermau adnabyddus eu hadnabod fel y maent. Ni ellir gwybod enwau cynnyrch cwmni, byrfodd mewnol neu gyfenw anarferol gwestai ymlaen llaw, felly ychwanegwch sgript neu sleidiau cyn i chi ddechrau, a chaiff yr enwau a'r termau ynddynt eu hysgrifennu'n union fel y gwnaethoch eu sillafu.
Labeli siaradwyr. Gall labeli fod yn Off, On, neu When Needed, sy'n eu troi ymlaen unwaith y clywir ail siaradwr. Mae diarization siaradwyr yn erbyn adnabod lleferydd yn esbonio sut mae'r ddau ateb, beth a ddywedwyd a phwy a'i dywedodd, ar wahân ac yn cael eu trwsio ar wahân.
Mae'r dull oedi o bwys hefyd: mae Fast yn cael testun allan yn gynt ond yn ei ddiwygio'n fwy, mae Accuracy yn aros ychydig yn hirach.
Mae un ffigur cywirdeb yn dweud llai nag y mae'n ymddangos. Mae cyfradd gwallau geiriau yn cyfrif enw anghywir yr un fath â "the" a ollyngwyd, a dyna pam mae beth mae cyfradd gwallau geiriau yn ei fesur, a beth mae'n ei golli yn dadlau dros farnu system yn ôl pa wallau y mae'n gadael i chi eu dal a'u trwsio.
Nid oes unrhyw drawsgrifiad byw yn berffaith, felly mae gan sgrin y gwesteiwr dab Fix. Gall nodi'r geiriau yr oedd yr adnabyddwr yn ansicr yn eu cylch, a gellir agor unrhyw linell a'i chywiro. Gall ail berson wrth y ddesg weithio drwyddynt tra bo'r siaradwr yn dal ati.
Pan fydd y gwesteiwr yn ailysgrifennu gair neu linell, hyd yn oed un sy'n dal i gael ei llefaru, mae pob gwrandäwr yn gweld y cywiriad, ym mhob iaith. Caiff llinell a glywyd â rhy ychydig o hyder ei chuddio rhag gwrandawyr fel "Audio unclear" yn hytrach na'i dangos yn anghywir; mae'r gwesteiwr yn dal i'w gweld.
Caiff y recordiad ei gadw gyda'i drawsgrifiad, cywiriadau a chyfieithiadau. Wedyn gallwch:
Mae pa mor hir y caiff sain a thrawsgrifiadau eu cadw'n dibynnu ar y cynllun, ac mae'r dudalen brisiau yn ei restru.
Mae'r rhan fwyaf o offer trawsgrifio byw yn edrych yn debyg mewn arddangosiad; mae'r gwahaniaethau'n ymddangos yn y cwestiynau isod. Mae'r golofn ar y dde yn disgrifio VocalStack fel y mae heddiw.
| Cwestiwn | Pam mae'n bwysig | VocalStack |
|---|---|---|
| Pa ieithoedd y gall eu clywed? | Ni all offeryn nad yw'n trawsgrifio iaith y siaradwr helpu, ni waeth pa mor dda yw ei gyfieithu. | 100 iaith, wedi'u canfod yn awtomatig, gyda newid yng nghanol sgwrs |
| Faint y tu ôl i'r siaradwr y mae'r testun? | Mae darllenwyr yn sylwi ar fwlch sy'n tyfu yn fwy nag ar air anghywir achlysurol. | Testun gwreiddiol ffracsiwn o eiliad y tu ôl, cyfieithiad eiliad neu ddwy yn ddiweddarach; tri dull oedi |
| A yw'n cyfieithu, a phwy sy'n dewis yr iaith? | Mae un iaith isdeitl ar un sgrin yn gadael pawb arall allan. | Hyd at 10 iaith fesul trawsgrifiad, mae pob gwrandäwr yn dewis ei iaith ei hun |
| A all siarad y cyfieithiad? | Ni all rhai gwrandawyr ddarllen ymlaen, neu byddai'n well ganddynt beidio. | Lleisiau stoc yn ddiofyn; llais clonio'r siaradwr ei hun gyda'i gydsyniad |
| Sut mae'r gynulleidfa'n ei gael? | Mae apiau a chyfrifon yn colli pobl wrth y drws. | Un ddolen a chod QR, dim cyfrif, cyfrinair dewisol |
| A allwch chi drwsio camgymeriadau'n fyw? | Mae enw a glywyd yn anghywir ac a ailadroddir am awr yn gwneud niwed go iawn. | Cywiriadau byw wedi'u gwthio i bob gwrandäwr |
| O ble gall y sain ddod? | Ni ddylai eich gosodiad orfod newid i gyd-fynd â'r offeryn. | Meicroffon, estyniadau porwr, ap bwrdd gwaith, OBS, RTMP, dolenni ffrwd |
| A oes API? | Efallai y byddwch am gael capsiynau y tu mewn i'ch cynnyrch eich hun. | API REST a WebSocket, SDKs, gweinydd MCP, yr un gyfradd â'r Dashboard |
| Sut mae wedi'i brisio? | Mae prisio fesul gwrandäwr neu fesul sedd yn tyfu gyda'ch cynulleidfa. | Fesul eiliad o sain; gwrandawyr ac ieithoedd am ddim |
Ar VocalStack rydych yn talu fesul eiliad o sain a drawsgrifir. Ar adeg ysgrifennu, mae trawsgrifio byw yn costio $0.60 yr awr ac mae ffeiliau'n costio $0.20 yr awr, ar bob cynllun, yn y Dashboard a thrwy'r API fel ei gilydd. Nid yw cyfieithu, lleisiau, crynodebau, darlledu a gwrandawyr byth yn ychwanegu at y bil, felly mae sgwrs awr a ddarllenir gan 200 o bobl mewn pum iaith yn costio'r un $0.60 ag un a ddarllenir gan neb.
Mae'r cynlluniau'n wahanol mewn ychydig o ffyrdd:
Os nad oes angen i neb ddarllen ymlaen wrth iddo ddigwydd, uwchlwythwch y recordiad wedyn ar gyfradd y ffeiliau. Mae prisiau cyfredol, cyfnodau cadw a therfynau pob cynllun ar y dudalen brisiau.
Mae cyfrif VocalStack newydd yn dod â $5 o gredyd arwyddo ac nid oes angen cerdyn. Ar $0.60 yr awr mae hynny tua wyth awr o drawsgrifio byw, gyda chyfieithu a darlledu wedi'u cynnwys. Wedi hynny rydych yn talu fesul eiliad. Mae gwrandawyr bob amser am ddim.
Gall. Gellir cyfieithu trawsgrifiad byw i hyd at 10 iaith ar unwaith tra bo'r person yn siarad. Mae'r cyfieithiad yn ymddangos eiliad neu ddwy ar ôl y testun gwreiddiol, ac mae pob gwrandäwr yn dewis ei iaith ei hun.
Mae'n dibynnu'n bennaf ar y sain. Mae meicroffon agos neu borthiant desg, ychydig o sŵn cefndir, un person yn siarad ar y tro a sgript cyfeirio â'r enwau ynddi yn rhoi'r canlyniadau gorau. Mae cywiriadau byw yn gadael i westeiwr drwsio'r hyn sy'n dal yn anghywir tra bo'r sgwrs yn mynd rhagddi.
Mae'r testun yn yr iaith wreiddiol yn llusgo y tu ôl i'r siaradwr gan ffracsiwn o eiliad, ac mae cyfieithiadau'n dilyn eiliad neu ddwy yn ddiweddarach. Mae ffrwd gyhoeddus yn ychwanegu ei hoediad ei hun cyn i'r sain gyrraedd VocalStack.
Gallwch, drwy'r estyniad Chrome neu Edge, yr ategyn OBS Studio, neu'r Dashboard mewn porwr. Mae'r ap bwrdd gwaith ar macOS heddiw, gyda Windows yn dod yn fuan.
Nac oes. Mae gwrandawyr yn agor dolen y darllediad neu'n sganio ei god QR mewn porwr, yn dewis iaith ac yn darllen. Nid oes dim i'w osod.
Agorwch y Dashboard, dechreuwch drawsgrifiad byw o'ch meicroffon ac agorwch ei ddolen darllediad ar eich ffôn. Mae'r credyd arwyddo yn cwmpasu eich oriau cyntaf, a gallwch weld y drafftiau'n setlo a'r cyfieithiad yn dilyn drosoch eich hun.